探寻人类思维奥秘:大型语言模型如何突破认知边界
智慧科技
12月20日消息,以ChatGPT等为代表的大型语言模型(LLMs)在过去几年中越来越擅长处理和生成人类语言,但这些模型在多大程度上模拟了人类大脑支持语言处理的神经过程,仍有待进一步研究。 大型语言模型的发展确实令人惊叹,它们能够生成自然流畅的语言,并在各种任务中表现出色。然而,这些模型背后的机制与人脑处理语言的方式之间仍然存在显著差异。未来的研究需要更深入地探索这些模型如何模仿大脑的工作方式,以便更好地理解其潜在能力及其局限性。
据TechXplore18日报道,哥伦比亚大学和费因斯坦医学研究所的研究团队最近开展了一项研究,探讨了大型语言模型(LLM)与人脑神经反应之间的相似之处。研究结果显示,随着LLM技术的不断发展,这些模型不仅在性能方面得到了显著提升,其结构也逐渐趋近于人类的大脑。
论文的第一作者加文・米施勒(Gavin Mischler)在接受TechXplore采访时提到:“近年来,大型语言模型和神经网络研究的迅猛进步激发了我们撰写这篇论文的灵感。”
“几年前,有几篇文章显示,GPT-2 的词嵌入与人脑对语言的神经反应有一定相似性,但在人工智能这一飞速发展的领域中,GPT-2 如今已经过时,算不上最强大。”
自从ChatGPT发布以来,确实涌现出许多更加强大的模型,然而,对于这些新模型是否依然具备与人脑相似的特性,目前的相关研究却显得相对匮乏。 这一现象引发了我对当前人工智能研究方向的一些思考。尽管技术的进步使得机器学习模型在处理复杂任务时表现得更加出色,但我们对这些模型内部工作原理的理解,尤其是它们与人类认知过程之间的关系,仍处于初步阶段。未来的研究或许应该更多地关注于探索这些高级模型背后的认知机制,以便我们能够更好地利用人工智能技术服务于社会,同时确保其发展路径符合伦理和技术可控性的要求。
米施勒及其团队的主要目标是研究最新一代的语言大模型(LLM)是否仍然具有与人脑相似的特性。他们分析了12个不同版本的开源LLM,这些模型在架构和参数量方面几乎相同。此外,他们还通过在神经外科病患的大脑中植入电极来记录其聆听语言时的大脑反应。
米施勒指出:“我们将相同的演讲文稿输入到大型语言模型(LLM)中,并提取了其中的词嵌入。这些嵌入是模型内部用于处理和编码文本的表示方式。为了评估这些LLM与人脑的相似程度,我们尝试预测大脑对不同词语的神经反应活动。通过这种方法,我们可以了解两者之间的相似性。”
在数据收集后,研究人员利用计算工具分析 LLM 与大脑的对齐程度。他们特别关注哪些层次的 LLM 与大脑中与语言处理相关的区域最为匹配。大脑对语言的反应已知会逐步通过对语音的声学、语音学等成分的分析,建立语言的抽象表征。
米施勒表示:我们观察到,随着大型语言模型(LLM)的能力不断增强,这些模型的词嵌入与人类大脑在处理语言时的反应愈发相似。更为引人注目的是,随着模型性能的不断提升,它们与大脑神经网络结构的匹配度也在增加。这表明,在语言处理的过程中,大脑中不同区域所提取的信息,与那些表现优异的LLM在不同层级中提取的信息之间的一致性越来越高。 这种现象不仅加深了我们对于人工智能如何模拟人类大脑的理解,同时也为未来的AI研究开辟了新的方向。它提示我们,通过持续优化算法和训练方法,有可能使机器学习模型更贴近人类的认知过程,从而更好地服务于需要复杂语言处理的应用场景。此外,这一发现还可能促进神经科学领域的发展,为研究大脑的语言处理机制提供新的视角。
这些研究结果表明,性能最优的大型语言模型能更精确地模拟大脑的语言处理方式。此外,这些模型的成功可能与其在早期层级中的高效处理密切相关。
有关研究结果已经在《自然・机器智能》期刊上发表,附链接:点此前往