检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
方式一提供的权重是开发者在社区贡献的权重，如果是用于生产环境的业务，建议选择方式二，通过DeepSeek官方发布的FP8权重进行转换。 约束限制 由于模型权重较大，请确保您的磁盘有足够的空间放下所有权重，例如DeepSeek-V3在转换前权重约为640G左右，在转换后权重约为1.3T左右。
安装nvidia-fabricmanager Ant系列GPU支持NvLink & NvSwitch，若您使用多GPU卡的机型，需额外安装与驱动版本对应的nvidia-fabricmanager服务使GPU卡间能够互联，否则可能无法正常使用GPU实例。 nvidia-fabricmanager必须和nvidia
创建资源池失败 资源配额限制 在使用专属资源池时（如资源扩缩容、创建VPC、创建VPC-子网、打通VPC），如果提示相关资源配额受限，请提交工单处理。 创建失败/变更失败 登录ModelArts管理控制台，在左侧导航栏中选择“AI专属资源池 > 弹性集群 Cluster”，进入“弹性集群
提供推理部署方案，帮助用户使能大模型业务。 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 约束限制 本方案目前仅适用于部分企业客户。 本文档适配昇腾云ModelArts 6.3.906版本，请参考软件配套版本获取配套版本的软件包，请严格遵照版本配套关系使用本文档。
输入数据格式为csv时，建议文件大小不超过12MB。 如果单张图片/csv文件超过文件12MB，会提示报错，建议调整文件大小使其符合要求，或联系技术支持人员调整文件大小限制。 “请求路径” 批量服务中调用模型的接口URL，表示服务的请求路径，此值来自模型配置文件中apis的url字段。 “映射关系” 如果模型
在ECS上构建自定义镜像并在Notebook中使用 使用场景和构建流程说明 用户可以使用ModelArts提供的基础镜像或第三方的镜像来编写Dockerfile，在ECS服务器上构建出完全适合自己的镜像。然后将镜像进行注册，用以创建新的开发环境，满足自己的业务需求。 本案例将基于
kv-cache-int8量化 什么是kv-cache-int8量化 kv-cache-int8是实验特性，在部分场景下性能可能会劣于非量化。 约束限制 当前支持per-token动态量化（推荐）， per-tensor静态量化以及per-tensor+per-head静态量化。 支持kv
ma-cli dli-job提交DLI Spark作业支持的命令 $ma-cli dli-job -h Usage: ma-cli dli-job [OPTIONS] COMMAND [ARGS]... DLI spark job submission and query job
定义运行参数，丰富版本分流策略或同一版本内的不同运行配置。您可以打开个性化配置按钮，单击“查看配置”修改服务个性化配置。 服务流量限制 服务流量限制是指每秒内一个服务能够被访问的次数上限。 运行日志输出 默认关闭，在线服务的运行日志仅存放在ModelArts日志系统。 启用运行日
资源规格要求 计算规格：不同模型训练推荐的NPU卡数请参见表2。 硬盘空间：至少200GB。 Ascend资源规格： Ascend: 1*ascend-snt9b表示Ascend单卡。 Ascend: 8*ascend-snt9b表示Ascend 8卡。 购买并开通资源 如果使用Server资源，请参考Lite
Standard数据准备 在ModelArts数据集中添加图片对图片大小有限制吗？ 如何将本地标注的数据导入ModelArts？ 在ModelArts中数据标注完成后，标注结果存储在哪里？ 在ModelArts中如何将标注结果下载至本地？ 在ModelArts中进行团队标注时，为什么团队成员收不到邮件？
ECS获取和上传基础镜像 Step1 创建镜像组织 在SWR服务页面创建镜像组织。 图1 创建镜像组织 Step2 登录ECS服务器 根据创建ECS服务器创建完成ECS服务器后，单击“远程登录”，可使用华为CloudShell远程登录如图所示。后续安装Docker、获取镜像、构建镜像等操作均在该ECS上进行。
{ "key": "loss", // 指标数据名称，不支持特殊字符，长度限制为64字符 "title": "loss", // 指标数据标题，长度限制为64字符 "type": "float", // 指标数据类型，支持以下类型：浮点：float、折线图：line
提供推理部署方案，帮助用户使能大模型业务。 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 约束限制 推理部署使用的服务框架是vLLM（官网地址：https://github.com/vllm-project/vllm/tree/v0.3
程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬件，为用户提供推理部署方案，帮助用户使能大模型业务。 约束限制 本方案目前仅适用于部分企业客户。 本文档适配昇腾云ModelArts 6.3.911版本，请参考软件配套版本获取配套版本的软件包，请严格遵照版本配套关系使用本文档。
ECS获取和上传基础镜像 Step1 创建镜像组织 在SWR服务页面创建镜像组织。 图1 创建镜像组织 Step2 登录ECS服务器 根据创建ECS服务器创建完成ECS服务器后，单击“远程登录”，可使用华为CloudShell远程登录如图所示。后续安装Docker、获取镜像、构建镜像等操作均在该ECS上进行。
ECS获取和上传基础镜像 Step1 创建镜像组织 在SWR服务页面创建镜像组织。 图1 创建镜像组织 Step2 登录ECS服务器 根据创建ECS服务器创建完成ECS服务器后，单击“远程登录”，可使用华为CloudShell远程登录如图所示。后续安装Docker、获取镜像、构建镜像等操作均在该ECS上进行。
ECS获取和上传基础镜像 Step1 创建镜像组织 在SWR服务页面创建镜像组织。 图1 创建镜像组织 Step2 登录ECS服务器 根据创建ECS服务器创建完成ECS服务器后，单击“远程登录”，可使用华为CloudShell远程登录如图所示。后续安装Docker、获取镜像、构建镜像等操作均在该ECS上进行。
ECS获取和上传基础镜像 Step1 创建镜像组织 在SWR服务页面创建镜像组织。 图1 创建镜像组织 Step2 登录ECS服务器 根据创建ECS服务器创建完成ECS服务器后，单击“远程登录”，可使用华为CloudShell远程登录如图所示。后续安装Docker、获取镜像、构建镜像等操作均在该ECS上进行。
_table_file.json步骤中会用到。 server_count：节点个数。当前默认为2。 device_ip：当前卡的IP地址，2台机器共16张卡。device_ip查询命令 for i in {0..7};do hccn_tool -i $i -ip -g; done
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
