实验室学生在2020年腾讯广告算法大赛中荣获冠军

  8月3日，2020年腾讯广告算法大赛在深圳腾讯滨海大厦落下帷幕。在此次比赛，实验室2018级直博生郭达雅参加了此次比赛的最终答辩及颁奖环节，最终卫冕冠军并获得最佳答辩奖双料荣誉，成功将70,000美金（约50万人民币）的冠军大奖收入囊中。

  腾讯广告算法大赛已经连续举办了四年，今年的赛题是“广告受众基础属性预估”，即通过点击广告的记录预测出用户属性，与以往的比赛不同，这是一道“逆向思考”的赛题。在此次比赛中，吸引了超1,000所国内外院校及3,000多家企事业单位的11,000人报名参与，规模超过同期其他算法大赛2倍之多，已经成为全球顶级、最受瞩目的算法赛事之一。

  在此次比赛中，实验室学生郭达雅取得冠军的关键点，就是将目前NLP领域中最热门的预训练模型BERT成功运用到本赛题的广告领域中。预训练虽然在NLP取得了巨大的成功，但由于广告具有稀疏性，使得广告词表大小达到几百万，难以预训练BERT。因此，针对这些问题，实验室学生提出了两阶段的预训练方法对BERT进行训练。其中第一阶段使用word2vec预训练广告的embedding，目标是将类似的广告进行聚类。而在第二阶段，使用改进的masked language modeling（MLM）掩盖掉广告属性的一部分（广告id或者其属性），从而使得不同属性的embedding能够在语义空间上对齐。最终，该队伍不但在初复赛中一路保持领先，更是获得决赛和答辩单项奖双料冠军。

来源：郭达雅