论文:https://www.biorxiv.org/content/biorxiv/early/2019/04/11/605634.full.pdf
近日,谷歌与霍华德·修斯医学研究所(HHMI)珍妮莉亚研究园区(Janelia Research Campus)以及剑桥大学展开合作,共同在细胞杂志上发表了论文《Automated Reconstruction of a Serial-p EM Drosophila Brain with Flood-Filling Networks and Local Realignment》,深入果蝇大脑的所有 神经元和突触。
为了生成详尽的大脑图像,研究人员使用了多达 7062 个大脑切片,共计 2100 万张图片——其背后使用的算法和硬件可谓强大。
谷歌 AI 负责人,计算机大神 Jeff Dean 点评了这项最新研究:TPU 带你飞!
这一连接组学研究有望加速人类对于果蝇——乃至所有生物学习、记忆和 感知方面的研究。目前该成果已开源,人们可以在 Neuroglancer 上对果蝇的大脑进行 3D 预览。这项研究的作者之一、Janelia 研究组长 Davi Bock 表示:「此前人类从未对果蝇大脑实现 神经元连接级别的成像。」这种级别的细节是绘制大脑电路的关键——只有获取精确的 神经元连接网络,我们才能了解果蝇行为的生成机制。
连接组学研究的目标是绘制大脑的「接线图」,以了解神经系统的工作方式。果蝇是生物学上公认的一种研究动物,果蝇的大脑更是近来研究的主要目标对象。截至目前,已有八项诺贝尔奖授予了果蝇相关研究,这些研究推动了分子生物学、遗传学和 神经科学的发展。果蝇研究的重大优势在于它们的大小:与老鼠大脑(1 亿个 神经元)、章鱼大脑(5 亿个 神经元)或人类大脑(1000 亿个 神经元)相比,果蝇大脑相对较小(只有 10 万个 神经元)。这种优势使得研究人员更容易将果蝇大脑作为一个完整回路来研究。
40 万亿像素下的果蝇大脑重建,任何人都可以交互浏览。
40 万亿像素下的果蝇大脑自动重建
谷歌在霍华德·修斯医学研究所的合作者将果蝇大脑切分成数千个 40 纳米的超薄切片,并且使用透射电子显微镜生成每个切片的图像(由此产生了 40 万亿像素以上的果蝇大脑影像),然后将 2D 图像排列对齐形成完整果蝇大脑的 3D 图像。这项研究用到了数千块谷歌 Cloud TPU 和泛洪算法网络(Flood-Filling Network,FNN),后者能够自动跟踪果蝇大脑中的每个 神经元。
虽然该算法大体上运行良好,但研究人员发现,当对齐效果不完美(连续切片中的图像内容不稳定)或切片和成像过程存在问题导致多个连续切片缺失时,该算法的性能会下降。
为了应对这些问题,研究人员将泛洪算法网络与以下两个处理流程相结合:
其一,研究人员估计了 3D 图像各位置切片之间的一致性,然后在 FFN 跟踪每个 神经元时确保各位置图像内容的稳定性;
其二,研究人员使用 Segmentation-Enhanced CycleGAN(SECGAN)计算出缺失图像的近似图。
SECGAN 是一种专门用于图像分割的生成对抗网络。研究人员发现,当使用 SECGAN 幻觉图像数据时,FFN 能够更加鲁棒地跟踪多个缺失切片的位置。
果蝇大脑在 Neuroglancer 的交互式可视化
使用 3D 图像重建大脑之后还有一个问题,就是怎么展示:当图像包含上万亿像素时,可视化显得极其重要和困难。
受到谷歌新可视化技术的启发,研究人员设计了一种可扩展且功能强大的工具。目前,任何有浏览器且支持 WebGL 的设备都可以前往观察该研究的开源结果。
它以 Neuroglancer 技术呈现:https://bit.ly/2GKmDF2
谷歌表示,这项技术可以帮助人们展示 PB 级的 3D 内容,并支持很多高级功能,如任意轴横截面的重新拼接、多分辨率网格,以及通过 Python 开发自定义分析任务的强大能力与 Python 集成。
研究展望
谷歌表示,其在 HHMI 和剑桥大学的合作者们已经开始了基于该研究的进一步探索,尽管目前的研究结果还不是真正的 神经元连接图——建立连接组还需要识别突触。但作者正在与 FlyEM 团队共同构建一个具有高度可验证性且详尽的果蝇大脑连接体。
参考内容:
https://www.biorxiv.org/content/biorxiv/early/2019/04/11/605634.full.pdf
https://ai.googleblog.com/2019/08/an-interactive-automated-3d.html
https://www.sciencedaily.com/releases/2018/07/180719142110.htm