哈佛研究人员揭示了三维跟踪自由行为动物的下一步

Dannce.

Dannce是一种新工具,可以在复杂的环境(上部)中使用动物的多个视频录制来确定动物的完整3D姿势。下部:示例3D Dannce预测(顶部),以及鼠标不承载标记的饲养序列的每个第三帧(底部)的视频重新注入。信用:克里斯蒂安·赫雷拉·赫斯特·赫勒拉·赫斯特·马歇尔

3D深度神经网络精确地重建自由行为动物的动作

动物响应大脑的指示而不断移动和行为。但是,虽然在神经活动方面有用于测量这些指令的先进技术,但是有一种用于在自由移动动物中量化行为本身的技术。这种无法测量大脑的关键输出限制了我们对神经系统的理解以及它如何变化。

Duke University和Harvard University的研究人员的一项新研究介绍了一种自动工具,可以易于捕捉自由行为动物的行为,并精确地重建他们的三维(3D)姿势,从单个摄像机和没有标记。

4月19日学习自然方法由Timothy W. Dunn领导,助理教授,Duke University和Jesse D. Marshall,哈佛大学博士大学博士D. Marshall,描述了一个新的3D深神经网络,Dannce(用于计算道德的三维对齐神经网络)。这项研究遵循团队的2020年研究神经元这揭示了突破性的行为监测系统,捕获(使用逆向反射器嵌入的连续垂直和姿势跟踪),它使用运动捕获和深度学习来持续跟踪自由行为动物的3D运动。捕获产生了一个前所未有的详细描述动物行为的表现。但是,它需要使用专门的硬件和将标记附加到动物,使其成为挑战。

“随着Dannce,我们减轻了这个要求,”邓恩说。“即使无法看到,Dannce也可以学会跟踪身体部位,这增加了可以使用该技术的环境类型。我们需要这种不变性和灵活性来测量自然环境中的运动更有可能引出这些动物的完整和复杂的行为曲目。“

Dannce在广泛的物种上工作,在实验室和环境中可重复,确保它将对动物甚至人类行为研究产生广泛影响。它具有从视频中量身定制的专门神经网络。一个关键方面是其3D特征空间是物理单元(米)而不是相机像素。这允许该工具在不同的相机布置和实验室中更容易地概括。相反,以前的3D姿态跟踪方法采用定制的神经网络以在二维(2D)中姿态检测,这努力适应新的3D观点。

“我们将Dannce与旨在做类似任务的其他网络进行比较,发现Dannce优于它们,”马歇尔说。

为了预测动物身体的地标,需要一个大型训练数据集,这在一开始就似乎令人生畏收集。“深度神经网络可能是令人难以置信的强大,但他们是非常饥饿的数据,”哈佛大学有机大学和进化生物学系教授·教授说,招募人员。yabo124“我们意识到,捕获恰好产生了这些小人工大生需要做到魔法的丰富和高质量的训练数据。”

研究人员使用捕获来收集700万个图像示例,并在30种不同的相机视图中标记为3D关键点。“它立即在新老鼠上工作,即使是那些没有穿着标志的人,”马歇尔说。“当我们发现它也可以用几个额外的例子跟踪小鼠的时候真的很兴奋。”

在发现之后,团队在Duke大学与多个群体合作,麻省理工学院,洛克菲勒大学和哥伦比亚大学为了展示各种环境和种类在内的Dannce的一般性,包括Marmosets,Chickadees和Rate Pups,因为它们成长和发展。

“这是一个值得注意的是,这个小网络现在有自己的秘密,也可以推断出没有接受培训的动物的精确运动,即使它们的身体的大部分隐藏在视野中,”Ölveczky说。

该研究突出了Dannce的一些应用,使研究人员能够仔细检查动物行为的微观结构,超出了人类观察目前的可能性。研究人员表明,Dannce可以提取个人“指纹”描述小鼠制造的不同行为的运动学。这些指纹应允许研究人员实现可用于提高实验室再现性的行为的标准化定义。他们还展示了仔细追踪行为的出现的能力随着时间的推移,在神经发育研究中开辟了新的途径。

疾病的动物模型中的测量运动对于基本和临床研究计划和临床研究方案来说至关重要,并且Dannce可以容易地应用于两个领域,加速了董事会的进展。捕获和Dannce的部分资金由NIH和SIMONS基金会自闭症研究计划(SFARI)提供,研究人员注意到这些工具的价值在动物模型和人类中持有自闭症相关和与电机相关的研究。

“因为我们在人类中严格地量化运动和运动的能力非常差,这阻止了我们将运动障碍分离成可能具有不同潜在的机制和补救措施的专门亚型。我认为人们注意到的任何领域,但却无法量化在人口上的影响将看到应用这项技术的巨大好处“Dunn说。

研究人员开辟了这种工具,它已经在其他实验室中使用。继续前进,他们计划将系统应用于多个动物的交互。“Dannce更改了在自由移动动物中学习行为的游戏,”马歇尔说。“我们第一次可以在3D中跟踪实际的运动学,并以前所未有的细节学习什么动物所做的。我们寻求了解大脑如何运作的方法,这些方法将越来越重要。“

参考:

“几何深度学习使跨物种和环境的3D运动分析能够蒂莫西W. Dunn,Jesse D. Marshall,Kyle S. Severson,Diego E. Aldarondo,David G.C。Hildebrand,Selmaan N.Chettih,William L. Wang,Amanda J. Gellis,David E. Carlson,Dmitriy Aronov,Winrich A. Freiwald,Fan Wang和BenctP.Ölveczky,4月19日,4月19日,4月19日,4月19日,自然方法
DOI:10.1038 / S41592-021-01106-6

“携带啮齿动物行为曲目的持续全身3D运动记录”由Jesse D. Marshall,Diego E. Aldarondo,Timothy W. Dunn,William L. Wang,Gordon J. Berman and BenceP.Ölveczky,2020年12月18日,神经元
DOI:10.1016 / J.NEURON.2020.11.016

NIH R01 Grant R01GM136972提供的部分资金和西蒙斯基金会自闭症研究倡议(SFARI)。

是第一个评论关于“哈佛研究人员揭示了三维跟踪自由行为动物的下一步”

发表评论

电子邮件地址是可选的。如果提供的话,您的电子邮件不会发布或共享。