深夜新品发布！Janus-Pro-7B开源，视觉多模态模型震撼登场

超越想象！Janus-Pro-7B开源，颠覆视觉多模态模型领域

　　 1月28日最新消息，DeepSeek在今日凌晨宣布了他们开源了一个全新的视觉多模态模型——Janus-Pro-7B。

　　 附地址：

　　 GitHub：点此前往

　　 HuggingFace：点此前往

　　 官方对该模型的介绍大意如下：

　　 Janus-Pro是一款前沿的自回归框架，旨在实现多模态信息的统一理解和生成。不同于传统方法，Janus-Pro通过将视觉编码过程分解为若干独立路径来克服先前框架中的某些限制，但仍使用单一的统一变换器架构来进行处理。

　　 这种解耦方式不仅显著减少了视觉编码器在理解和生成过程中的潜在冲突，还大大增强了模型的灵活性和适应性。在我看来，这样的改进对于推动视觉理解技术的发展具有重要意义。它不仅提高了系统的稳定性和可靠性，还为未来的创新提供了更多的可能性。这表明，在人工智能领域，持续的技术优化和创新依然是推动行业进步的关键因素。

　　 Janus 的表现超越了传统的统一模型，并且在与任务特定模型的比较中也同样表现出色。凭借其简洁、高灵活性和高效性的特点，Janus-Pro 成为下一代统一多模态模型的有力竞争者。

　　 摘要的大意如下：

　　 Janus-Pro是一款创新的多模态大语言模型（MLLM），它通过优化视觉编码过程，从而在多模态理解和生成方面实现了更高的效率。这一技术进步不仅提升了模型的整体性能，还为未来的人工智能应用开辟了新的可能性。Janus-Pro基于DeepSeek-LLM-1.5b-base/DeepSeek-LLM-7b-base模型进行构建，这表明其在继承原有模型优势的基础上，进一步增强了处理复杂任务的能力。这项技术的发展无疑将对人工智能领域产生深远的影响，尤其是在图像与文本结合的应用场景中，Janus-Pro有望成为推动行业发展的关键力量。

　　 在多模态理解任务中，Janus-Pro采用SigLIP-L作为视觉编码器，支持384x384像素的图像输入。而在图像生成任务中，Janus-Pro使用了一个特定来源的分词器进行处理，降采样率为16。

　　 Janus-Pro作为Janus的升级版，在多个方面进行了显著的提升。它不仅采用了更优化的训练策略和更大的训练数据集，还扩大了模型的规模。这些改进使得Janus-Pro在多模态理解和文本到图像指令的执行能力上有了明显的进步，同时在文本到图像生成的稳定性和准确性方面也得到了增强。 在我看来，Janus-Pro的推出标志着人工智能技术在多模态交互领域迈出了重要的一步。它不仅提升了机器对复杂指令的理解能力，还在生成高质量图像方面展现出了巨大的潜力。这无疑为未来的人工智能应用提供了更多的可能性，尤其是在创意产业和人机交互界面设计等领域，Janus-Pro可能会带来革命性的变化。

　　 据官方介绍，JanusFlow提出了一种极简设计，将自回归语言模型与校正流（一种领先的生成模型技术）相结合。研究显示，校正流能够直接在大型语言模型框架内部进行训练，而不需要复杂的结构改动。多项实验结果表明，JanusFlow在其各自领域内达到了与专业模型相当甚至更优的表现，并且在标准基准测试中明显超越了现有的统一方法。这一成果标志着向更为高效和通用的视觉语言模型发展迈出了重要一步。