自人工智能先驱 Marvin Minsky 于 1957 年获得共聚焦显微镜原理的专利以来，它已成为全球生命科学实验室的主力标准，因为它比传统的宽视野显微镜具有卓越的对比度。然而，共聚焦显微镜并不完美。它们通过一次只对一个焦点进行成像来提高分辨率，因此扫描整个精致的生物样本可能需要相当长的时间，将其暴露在可能有毒的光剂量下。

为了将共聚焦成像推向前所未有的性能水平，海洋生物实验室 (MBL) 的一项合作发明了一种“厨房水槽”共聚焦平台，该平台借鉴了其他高功率成像系统的解决方案，并增加了“深度学习”的统一线索人工智能算法，并成功地将共焦的体积分辨率提高了 10 倍以上，同时降低了光毒性。他们关于这项技术的报告，称为“多视图共聚焦超分辨率显微镜”，本周在线发表在《自然》杂志上。

“许多实验室都有共聚焦，如果他们可以使用这些人工智能算法获得更高的性能，那么他们就不必投资购买全新的显微镜。对我来说，这是采用的最好和最令人兴奋的理由之一这些人工智能方法，”国家生物医学成像和生物工程研究所的资深作者和 MBL 研究员 Hari Shroff 说。

在其创新中，新的共聚焦平台使用三个物镜，可以对各种大小的样本进行成像，从秀丽隐杆线虫胚胎中的细胞核和神经元到整个成虫。多个标本视图被快速捕获、配准和融合，以产生比单视图共聚焦显微镜分辨率更高的重建。该平台还为三个镜头引入了创新的扫描头，可以轻松地将线扫描照明添加到显微镜底座。

此外，该团队通过采用结构化照明显微镜的技术，为平台增加了“超分辨率”能力(增强的分辨率超出了光的衍射极限)。

“在这个平台上攀登的硬件顶峰是样品周围的多个镜头，然后是超分辨率技巧，它需要硬件和计算的结合来实现。这是一个绝妙的力量，但它是一个非常光毒性的配方。有很多光被传送到样本，”共同作者和芝加哥大学的 MBL 研究员 Patrick La Rivière 说。

解决光毒性的一种方法是降低来自显微镜激光的光。但是随后您开始遇到图像中的“噪声”问题——背景颗粒感会掩盖您想要成像的对象(“信号”)的精细细节。这就是人工智能的用武之地。

该团队训练了一个深度学习计算机模型或神经网络，以区分具有低信噪比 (SNR) 的质量较差的图像和具有较高 SNR 的较好图像。“最终网络可以预测更高的 SNR 图像，即使输入相当低的 SNR，”Shroff 说。

“深度学习使您能够将这次硬件峰会作为分辨率的黄金标准，然后训练神经网络以实现类似的结果，同时具有更低的 SNR 数据、更少的采集和更少的样本光剂量，”La Rivière 说.

该团队在 20 多个不同的固定和实时样本上展示了该平台的功能，目标是尺寸从 100 纳米到 1 毫米不等的结构。这些包括单个细胞中的蛋白质分布;线虫胚胎、幼虫和成虫中的细胞核和发育中的神经元;果蝇翅成虫盘和小鼠肾脏、食道、心脏和脑组织中的成肌细胞。他们还看到了在组织学和病理学实验室中对人体组织进行成像的潜在应用。

Shroff、La Rivière 和合著者、耶鲁大学医学院的细胞生物学家 Daniel Colón-Ramos 近十年来一直在 MBL 合作开发具有更高速度、分辨率和更长持续时间的成像技术。这个共聚焦平台的合作者还包括 Applied Scientific Instrumentation，他们在 MBL 和国立卫生研究院都与这家公司合作。

该论文的第一作者 Yicong Wu 构建了新的共聚焦平台并部署了其深度学习方法。吴在今年推出的新课程 DL@MBL：显微镜图像分析的深度学习的试点版本中学习了如何在 MBL 中使用深度学习。(La Rivière 是该课程的教员。)

“这证明了易聪可以在 4 天内学会深度学习方法并利用它们快速创新，所以我们现在可以将它们应用到我们的实验室中，”Shroff 说。“这是一个简短的反馈方案，对吗?MBL 催化它很棒。”