成都科汇 分享 华为ModelEngine支持DeepSeek全系列本地部署!

华为ModelEngine支持DeepSeek全系列本地部署!

图片
在全球人工智能技术飞速发展的今天,模型的快速迭代与高效部署成为各大科技企业竞相追逐的焦点。华为DCS AI全栈解决方案中的重要产品—ModelEngine AI平台,全面支持DeepSeek大模型R1&V3和蒸馏系列模型的本地部署与优化,加速客户AI应用快速落地。

 

ModelEngine作为大模型训练、推理和应用开发的AI平台,提供从数据预处理到模型训练、优化及部署的一站式服务。此次ModelEngine基于昇腾AI芯片,通过推理框架优化和MoE存算协同,提供动态换入换出和全局统一缓存,实现推理高并发和低时延,用户通过ModelEngine体验DeepSeek更加快速高效的推理能力。

 

灵活部署:ModelEngine全面支持DeepSeek系列模型R1&V3 671B以及蒸馏系列模型,开发者可通过ModelEngine实现“一键部署”,省去硬件选型、兼容性验证和环境配置等繁琐步骤,大幅降低企业AI应用门槛。此外,ModelEngine通过其高度的开放性和模块化设计,极大地缩短了DeepSeek的本地部署时间。

 

企业级稳定性:ModelEngine提供负载均衡、模型安全接入、多用户配额管理等高阶特性,支持大规模生产环境下的稳定运行。某证券公司引入DCS AI全栈解决方案后,运维成本降低42%。

 

DCS AI全栈解决方案近期将上线DeepSeek体验环境,敬请期待。

 

 

 

下面以DeepSeek-V3为例,基于ModelEngine 3步快速完成部署模型

 

1. 登录ModelEngine模型管理页面,上传DeepSeek-R1 FP8权重,然后进行模型权重格式转换,将FP8精度模型权重转换为BF16精度模型权重;

 

图片

 

2. 在模型服务页面,选择BF16精度的模型权重版本,下发推理服务,启动任务部署;

 

图片

 

3. ModelEngine使用MindIE推理框架启动DeepSeek-R1推理服务后,支持OpenAI API 调用风格的推理服务接口和访问方式;

 

4. ModelEngine 在使用 MindIE 推理框架启动 DeepSeek-R1 推理服务后,支持 OpenAI API 调用风格的推理服务接口和访问方式,用户可以将该 API 集成到对话、RAG 以及 Agent 应用。

 

图片

 

到这里,基于ModelEngine私有化本地部署的DeepSeek-R1完整版推理服务API已经就绪了,可以将推理服务API集成到对话应用、RAG或者Agent应用中,在保证数据安全的前提下,让DeepSeek-R1媲美世界头部顶流闭源大模型服务智能的能力,助力客户AI业务升级。

四川huawei华为存储 OceanStor 成都huawei华为存储 OceanStor 西藏huawei华为存储 OceanStor 重庆huawei华为存储 OceanStor 贵州huawei华为存储 OceanStor 贵阳huawei华为存储 OceanStor 云南huawei华为存储 OceanStor 昆明huawei华为存储 OceanStor
四川huawei华为存储 OceanStor: 德阳huawei华为存储 OceanStor 绵阳huawei华为存储 OceanStor,攀枝花huawei华为存储 OceanStor,西昌huawei华为存储 OceanStor,雅安huawei华为存储 OceanStor,内江huawei华为存储 OceanStor,资阳huawei华为存储 OceanStor,南充huawei华为存储 OceanStor,眉山huawei华为存储 OceanStor,乐山huawei华为存储 OceanStor,自贡huawei华为存储 OceanStor泸州huawei华为存储 OceanStor广元huawei华为存储 OceanStor遂宁huawei华为存储 OceanStor 宜宾huawei华为存储 OceanStor 广安huawei华为存储 OceanStor 达州huawei华为存储 OceanStor 雅安huawei华为存储 OceanStor 巴中huawei华为存储 OceanStor 资阳huawei华为存储 OceanStor 攀枝花huawei华为存储 OceanStor 凉山彝族自治州huawei华为存储 OceanStor 甘孜藏族自治州huawei华为存储 OceanStor 阿坝藏族羌族自治州huawei华为存储
华为数据存储,全闪存存储、分布式存储、数据管理,融合分布式存储,
OceanStor 系列:
华为 oeanstor a800, ai存储
Oceanprotect ,oecanprotect x3000 备份一体机,Oceanstor, Oceanstor dorado, Oceanstor pacific ,OceanStor Pacific 9350/9340/9346,OceanStor Pacific 9350,OceanStor Pacific 9340,OceanStor Pacific 9346,OceanStor Dorado 2000全闪存存储与
OceanProtect X3000 备份一体机
伙伴超融合FastCube
成都科汇科技有限公司(20年存储备份经验 )
地址:四川省成都市武侯区人民南路四段一号时代数码大厦18楼A5
电话咨询热线:400-028-1235
QQ咨询热线: 1325383361
24小时咨询热线:180 8195 0517(微信同号)

·

联系我们

联系我们

400-028-1235 工作时间:周一至周五,9:00-18:00,节假日休息
关注微信
微信扫一扫关注我们

微信扫一扫关注我们

关注微博
返回顶部