讲座主题：
预训练模型--自然语言处理的新范式
主讲人姓名及介绍：
车万翔博士，哈尔滨工业大学计算机学院教授、博士生导师，斯坦福大学访问学者（合作导师Christopher Manning教授）。现任中国中文信息学会计算语言学专业委员会委员、青年工作委员会副主任；中国计算机学会高级会员、曾任YOCSEF哈尔滨主席（2016-2017年度）。在ACL、EMNLP、AAAI、IJCAI等国内外高水平期刊和会议上发表学术论文50余篇，其中AAAI 2013年的文章获得了最佳论文提名奖，论文累计被引用2,600余次（Google Scholar数据），H-index值为27。出版教材 2 部，译著 2 部。
报告摘要：
以Word2vec，GloVe等为代表的词向量技术可以视为一种早期的预训练模型，然而这些模型假设“一个词由唯一的向量表示”。以ELMo为代表的上下文相关词向量模型取消了以上的假设，BERT等模型进一步使用更深层的网络进行预训练，本报告首先介绍预训练模型的演化过程，接着介绍预训练模型在应用方面的最新研究进展，另外还列举了一些对预训练模型进行定性和定量分析的工作，最后对自然语言处理中预训练模型的发展趋势进行了展望。
