OpenAI引入了显微镜和可视化技术来理解神经网络

导读 开放AI发布了显微镜,这是八个领先的计算机视觉(CV)模型的每个重要层和神经元的可视化集合,这些模型通常在可解释性方面进行研究。 该工具

开放AI发布了显微镜,这是八个领先的计算机视觉(CV)模型的每个重要层和神经元的可视化集合,这些模型通常在可解释性方面进行研究。 该工具帮助研究人员分析神经网络内部形成的特征和其他重要属性,为这些CV模型提供动力。

每个模型可用的可视化包括特征可视化,显示神经网络对多层图像的理解,导致神经元强烈燃烧的图像数据点,以及对合成图像家族的单位响应图。 模型由一个表示神经网络层的节点图组成,它们由边缘连接。 每个可视化包含数百个单元,这些单元类似于神经元。 显微镜从描述用户体验的隐喻标签中得到它的名字。 用户可以选择一个“位置”,表示显微镜指向的位置,以及一个“技术”,表示透镜的类型。 显微镜专注于详细地探索少量的模型,因为每个模型都会产生数十万个神经元,每个模型在创建最终可视化方面提出了独特的挑战。 开放AI计划随着时间的推移扩展这个集合。

用显微镜可以将探索神经元的反馈回路从分钟减少到秒。 这已经帮助发现了一些意想不到的特性,比如高频探测器。 此外,显微镜有助于使神经网络的可解释性高度可访问,因为这些重要的可视化将需要其他研究人员数百个GPU小时来计算。

释放显微镜的主要目标是提供持久的开源工件,推动研究比较这些模型。 一个可以从显微镜中获益的项目是电路协作,它旨在通过分析神经元及其连接来逆转神经网络。 此外,对于像神经科学家这样具有相邻经验的研究人员来说,可视化为理解这些视觉模型的内部工作提供了一种新的方法。

免责声明:本文由用户上传,如有侵权请联系删除!