华为ModelEngine再升级!DeepSeek本地部署全面支持,AI引擎再迎新挑战!
2月6日消息,华为ModelEngine是一个涵盖大模型训练、推理和应用开发的AI平台,提供从数据预处理到模型训练、优化及部署的全面服务。
华为官方宣布,ModelEngine现已全面兼容DeepSeek系列模型R1及V3671B和蒸馏系列模型,开发者能够通过ModelEngine实现“一键部署”。
此举简化了硬件选型、兼容性验证和环境配置等复杂流程,显著降低了企业涉足AI应用的技术壁垒。 我的看法是,这样的改进无疑为企业提供了更多便利,使得那些技术资源有限的企业也能够更轻松地拥抱人工智能技术。这不仅有助于加速企业的数字化转型,还可能促进整个行业的发展和创新。
此外,华为指出,ModelEngine凭借其高度开放性和模块化设计,显著减少了DeepSeek的本地部署时间。
下面以DeepSeek-R1为例,基于ModelEngine 3步快速完成部署模型
1、登录ModelEngine模型管理页面,上传DeepSeek-R1 FP8权重,然后进行模型权重格式转换,将FP8精度模型权重转换为BF16精度模型权重;
2、在模型服务页面,选择使用BF16精度的模型权重版本,启动推理服务并部署任务。
3、在启用MindIE推理框架部署DeepSeek-R1推理服务后,ModelEngine支持了符合OpenAIAPI调用风格的推理服务接口及访问方式。
4、ModelEngine 启动 DeepSeek-R1 推理服务后,平台支持 OpenAI API 调用风格的推理服务接口和访问方式,用户可以将该 API 集成到对话、RAG 以及 Agent 应用。
到这里,基于ModelEngine在本地部署的DeepSeek-R1完整版推理服务API现已准备就绪。
用户可以将推理服务API整合到对话应用、RAG或Agent应用中,在确保数据安全的基础上,使DeepSeek-R1的表现可与全球顶尖的闭源大模型服务相匹敌,提供卓越的智能化能力。