微软让谷歌的BERT NLP模型变得更好

导读 微软人工智能研究人员今天表示,他们已经创建了一个多任务深度神经网络(MT-DNN),它结合了谷歌的BERT AI,以实现最先进的结果。MT-DNN可

微软人工智能研究人员今天表示,他们已经创建了一个多任务深度神经网络(MT-DNN),它结合了谷歌的BERT AI,以实现最先进的结果。MT-DNN可以通过通用语言理解评估(GLUE)基准,在9项NLP任务中的7项中设定新的高性能标准。

使用BERT的MT-DNN模型最早是由微软AI研究人员在1月份推出的,在几个自然语言任务中取得了最先进的性能,并建立了一个新的GLUE基准。

实现最高级结果的方法使用多任务学习和知识蒸馏,这是由谷歌的Jeffrey Hinton和人工智能总监Jeff Dean在2015年首次提出的。根据今天发布的博文,微软计划在6月开放源代码,在GitHub上学习文本表示的MT-DNN模型。

与BERT和MT-DNN模型相比,新的蒸馏MT-DNN模型在GLUE测试中表现更好。

“对于每个任务,我们训练一组不同的MT-DNN(教师),其表现优于任何单一模型,然后通过多任务学习训练单个MT-DNN(学生),从而提取这些集成教师的知识。”“通过自然语言理解的知识蒸馏改进多任务深度神经网络”一文综述。

转换器的双向编码器表示(BERT)是由谷歌在去年秋天开放的。谷歌声称,可以用BERT和单个云TPU在30分钟内创建最先进的语言模型。

在这一消息的前一天,微软开源其Bing搜索引擎的算法背后和谷歌推出的Translatotron,终于到了翻译工具的终端,可以使用原说话人的语音语调。

本月早些时候,微软的年度构建开发者大会和谷歌的I/O开发者大会分享了一系列关于未来计划的新功能和提示。

在Build中,微软演示了企业如何使用语义机器技术为员工创建AI助手。Bot框架升级了更多多回合对话,Azure认知服务和Azure机器学习服务也升级了。新的人工智能和机器人平台也仅限于预览和发布,并推断英伟达和英特尔的硬件优化将更快地用于可互操作的AI ONNX合作。

在I/O方面,谷歌演示了谷歌助手在设备上运行机器学习的功能,并为安卓应用开发者介绍了与谷歌助手连接的工具。它还宣布升级ML Kit及其云TPU服务。

免责声明:本文由用户上传,如有侵权请联系删除!