清华大学研发创新：全新大模型推理引擎赤兔Chitu问世，硬件成本降低50%

革新AI计算：赤兔Chitu助力硬件成本飙降50%

　　 近日，清华大学高性能计算研究所翟季冬教授团队携手清华系科创企业清程极智共同发布了一项重要成果——开源大模型推理引擎“赤兔Chitu”。这一技术的推出无疑为国产AI芯片的发展注入了强劲动力，也为构建更加完善的国产AI生态系统提供了可能。 在我看来，“赤兔Chitu”的问世不仅标志着我国在人工智能领域迈出了坚实的一步，更体现了产学研结合的巨大潜力。随着全球科技竞争日益激烈，核心技术自主可控显得尤为重要。而像“赤兔Chitu”这样的开源项目，能够有效降低开发者使用AI技术的门槛，吸引更多企业和个人加入到国产AI生态的建设中来。这不仅有助于推动技术创新，还能进一步提升我国在全球AI领域的竞争力。 未来，希望更多类似的科研成果能够加速落地，让国产AI技术真正惠及各行各业，助力经济社会高质量发展。同时，我们也期待看到更多企业和社会力量参与到这一进程中，共同书写中国科技创新的新篇章。

　　 “赤兔Chitu”首次成功在非英伟达Hopper架构的GPU以及各类国产芯片上实现FP8精度模型的原生运行，突破了FP8精度模型对英伟达Hopper架构（如H100/H200）硬件的依赖。

　　 在A800集群的实际测试中发现，赤兔引擎通过优化算法，在减少50% GPU使用量的同时，实现了推理速度3.15倍的提升。这一突破不仅大幅降低了企业的硬件投入成本，还显著增强了系统的整体性能表现。这表明，技术进步正在以更高效的方式帮助企业实现降本增效，同时也为人工智能行业的可持续发展提供了新的思路。未来，类似的技术优化或将引领更多企业迈向智能化转型的新阶段，进一步推动产业革新。

　　 赤兔引擎具备强大的智能优化能力，可高效适配多种芯片架构，助力国产厂商摆脱重复的软件开发工作，集中精力进行硬件迭代升级。目前，清程极智已携手沐曦、燧原等企业，共同推出了“即插即用”型推理一体机，该产品已在金融、医疗等多个领域得到广泛应用。

　　 清程极智CEO汤雄超指出，目前国内在推理引擎这一关键领域依然缺少成熟的开源产品。开源“赤兔”引擎的推出，是促进国内AI生态发展的重要举措，将为相关行业带来更加高效和灵活的技术支撑。