神经网络复刻海马体运行模拟大脑有戏了

发布时间：2022-10-21 09:35 所属栏目：15 来源：互联网

导读：理解大脑如何组织和访问空间信息，例如我们在哪里、拐角处有什么、如何到达那里，仍是一项巨大的挑战。该过程涉及从上百亿个神经元中调取一系列的记忆及存储其中的空间数据，而每个神经元又连接着上千个其他神经元。神经科学家已经确认了空间认知的关键元素

　　理解大脑如何组织和访问空间信息，例如“我们在哪里”、“拐角处有什么”、“如何到达那里”，仍是一项巨大的挑战。该过程涉及从上百亿个神经元中调取一系列的记忆及存储其中的空间数据，而每个神经元又连接着上千个其他神经元。神经科学家已经确认了空间认知的关键元素，例如映射位置的网格细胞[1]。然而，要想对此进行更深入的研究，事情就变得棘手了：研究人员想要观察基于位置的有关图像、声音、和味道的记忆是如何流动和互相连接的，却不可能通过取出并研究人的大脑灰质切片来达此目的。

　　惠廷顿及同事所做的研究提示我们，Transformer可以极大地促进神经网络模型模拟网格细胞及大脑其他部分进行运算的能力。惠廷顿表示，这些模型可以推动我们对人工神经网络的工作原理、甚至对大脑运算机制的理解。

　　在谷歌大脑（Google Brain）研究Transformer模型的计算机科学家大卫·哈（David Ha）表示：“我们并不是在尝试重新建造一个大脑，但我们能否创造出足以复制大脑所作所为的机制呢？”

　　Transformers在2017年作为一种处理语言的新型AI模型首次出现。这一模型是BERT[3]和GPT-3等引人注目的能够补全句子的程序中的秘密武器，而这些程序可以生成以假乱真的歌词、创作莎士比亚十四行诗并模仿客服代表。

　　霍克瑞特和他的合作者留意到研究人员一直在寻找更好的记忆检索模型，在此之后，他们发现了一类新型Hopfield网络[4]检索记忆的方式和Transformers执行注意力的方式之间的联系。这些新型Hopfield网络由MIT-IBM沃森人工智能实验室（MIT-IBM Watson AI Lab）的霍普菲尔德和德米特里·克罗托夫（Dmitry Krotov）开发。与标准的Hopfield网络相比，新型Hopfield网络由于有更高效的连接而可以存储和检索更多的记忆。霍克瑞特的团队通过添加一个类似Transformers里注意力机制的规则来升级这些网络。

　　之后，在今年早些时候[5]，惠廷顿和贝伦斯进一步改进了这种方法。他们修改了这些Transformer，使得模型不再将记忆视为线性序列（就像句子里的一串单词那样），而是将它们编码为高维空间中的坐标。研究人员口中的这一“扭转”进一步提升了模型在神经科学任务中的表现。他们还表明，该模型的数学基础和神经科学家在功能性磁共振成像（fMRI）扫描中观测到的网格细胞放电模式的模型一致。

（编辑：ASP站长网）

神经网络复刻海马体运行 模拟大脑有戏了

神经网络复刻海马体运行模拟大脑有戏了