【百川智能发布全新开源全模态模型 Omni-1.5，超越 GPT-4o mini 在多项能力上】

百川智能全新发布 Omni-1.5，引领全模态模型新潮流

　　 1月26日更新，百川智能今日发布消息，称其全模态模型Baichuan-Omni-1.5已正式上线。此模型不仅可以全面理解和处理文本、图像、音频及视频信息，还拥有文本与音频之间的双向生成能力。

　　 官方宣称，在视觉、语音及多模态流式处理方面，Baichuan-Omni-1.5的表现均超越了GPT-4omini；特别是在多模态医疗应用领域，它展现出更为显著的优势。

　　 Baichuan-Omni-1.5 不仅具备在输入和输出端进行多种交互操作的能力，还在多模态推理方面展现出卓越的实力。它的跨模态迁移能力尤为突出，能够有效地将一种模态的信息迁移到另一种模态，从而实现更加灵活和智能的应用场景。这一技术突破无疑为人工智能领域带来了新的活力，预示着未来人机交互方式将发生革命性的变化。 发表的看法观点： Baichuan-Omni-1.5 的这些特性表明了其在处理复杂任务时的潜力，尤其是在需要结合文本、图像等多种信息源的情况下。这种能力对于推动人工智能在教育、医疗等领域的应用具有重要意义，有望带来更个性化、更高效的解决方案。同时，这也提醒我们，随着技术的进步，如何确保这些系统的安全性和隐私保护将是未来研究的重要方向。

　　 这项技术在音频处理领域引入了全面的解决方案，不仅能够支持多种语言的对话，还能实现从头到尾的音频合成过程。此外，它还具备自动语音识别和文本转语音的功能，并且能够支持音视频的实时互动。这标志着我们在智能语音交互方面取得了显著的进步，未来有望在智能家居、虚拟助手以及远程教育等多个领域发挥重要作用，极大地提升用户体验和技术应用的广泛性。

　　 据介绍，经过对编码器、训练数据和训练方法等关键环节的深入优化，Baichuan-Omni-1.5在视频理解能力方面取得了显著的进步，整体性能明显优于GPT-4o-mini。这一进步不仅展示了技术团队在模型设计上的创新思维，也反映了他们在提升人工智能处理复杂任务能力方面的不懈努力。随着技术的不断进步，我们有理由期待未来的人工智能系统能够更好地理解和适应人类的需求。

　　 在模型结构方面，Baichuan-Omni-1.5的输入部分能够支持多种模态的信息，这些信息可以通过相应的Encoder或Tokenizer传递给大型语言模型。

　　 在模型的输出部分，Baichuan-Omni-1.5采用了交替输出文本和音频的设计，利用TextTokenizer和AudioDecoder同步生成文本和音频内容。

　　 百川智能公司建立了一个包含3.4亿条高质量图片、视频与文本数据以及近100万小时音频数据的巨大数据库。在监督式预训练（SFT）阶段，他们还利用了1700万条全模态数据。这一庞大的数据集不仅展示了公司在数据收集和处理方面的强大能力，也为其模型的准确性和泛化能力提供了坚实的基础。通过这样的努力，百川智能有望在多模态理解和生成任务上取得显著进展，进一步推动人工智能技术的发展。

　　 附开源地址如下：

　　 GitHub：

　　 https://github.com/baichuan-inc/Baichuan-Omni-1.5

　　 模型权重：

　　 Baichuan-Omni-1.5：

　　 https://huggingface.co/baichuan-inc/Baichuan-Omni-1d5

　　 https://modelers.cn/models/Baichuan/Baichuan-Omni-1d5

　　 Baichuan-Omni-1.5-Base：

　　 https://huggingface.co/baichuan-inc/Baichuan-Omni-1d5-Base

　　 https://modelers.cn/models/Baichuan/Baichuan-Omni-1d5-Base

　　 技术报告：

　　 https://github.com/baichuan-inc/Baichuan-Omni-1.5/blob/main/baichuan_omni_1_5.pdf