检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在ModelArts中1个节点的专属资源池，能否部署多个服务？ 支持。 在部署服务时，选择专属资源池，在选择“计算节点规格”时选择“自定义规格”，设置小一些或者选择小规格的服务节点规格，当资源池节点可以容纳多个服务节点规格时，就可以部署多个服务。如果使用此方式进行部署推理，选择的规格务必满足模型的
通过OBS导入模型时，如何编写打印日志代码才能在ModelArts日志查询界面看到日志 问题现象 用户通过OBS导入模型时，选择使用基础镜像，用户自己编写了部分推理代码实现自己的推理逻辑，出现故障后希望通过故障日志排查定位故障原因，但是通过logger打印日志无法在“在线服务”的日志中查看到部分内容。
如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 检查是否安装docker。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。 yum install -y
h5”格式转换为TensorFlow的格式，然后再导入ModelArts中。 从Keras转TensorFlow操作指导请参见其官网指导。 父主题： Standard推理部署
5000 } } } 父主题： DeepSeek模型基于ModelArts Lite Server适配MindIE推理部署指导
}, "spec" : { "flavor" : "modelarts.vm.2u4g.dcc", "hostNetwork" : { "vpc" : "277e9abc-0e6b-431a-9232-cfd25d5fc566",
description String Workflow工作流配置参数的描述。 example Object Workflow工作流配置参数的样例。 delay Boolean 是否为延迟输入的参数，默认为否。 default Object 配置参数的默认值。 value Object 参数值。
l API，可使用HTTPS协议访问。ModelArts提供了SDK用于调用在线服务API，SDK调用方式请参见《SDK参考》>“场景1：部署在线服务Predictor的推理预测”。 除此之外，您还可以使用常见的开发工具及开发语言调用此接口，建议通过互联网搜索并获取调用标准Restful
运行过程中，ModelArts后台通过指标正则表达式获取搜索指标参数，朝指定的优化方向进行超参优化。用户需要在代码中打印搜索参数并在控制台配置以下参数。 图1 设置算法搜索功能 搜索指标 搜索指标为目标函数的值，通常可以设置为loss、accuracy等。通过优化搜索指标的目标值
致。 在“专属资源池扩缩容”页面，设置“资源配置 > 可用区”，可用区可选择随机分配和指定AZ。 选择随机分配时，扩缩容完成后，节点的可用区分布由系统后台随机选择。 选择指定AZ时，可指定扩缩容完成后节点的可用区分布。 图1 资源配置（单节点方式） 修改容器引擎空间大小 扩容资源
--tensor-model-parallel-size：${TP}张量并行数，需要与训练脚本中的TP值配置一样。 --pipeline-model-parallel-size：${PP}流水线并行数，需要与训练脚本中的PP值配置一样。 --load-dir：加载转换模型权重路径。 --save-dir :
开头，长度限制为64字符)。同一个Step的输出名称不能重复 是 str dataset_version_config 数据集版本发布相关配置信息 是 DatasetVersionConfig 表4 DatasetVersionConfig 属性 描述 是否必填 数据类型 version_name
在ModelArts中使用边缘节点部署边缘服务时能否使用http接口协议？ 系统默认使用https。如果您想使用http，可以采取以下两种方式： 方式一：在部署边缘服务时添加如下环境变量： MODELARTS_SSL_ENABLED = false 图1 添加环境变量 方式二：在
Server上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬件，为用户提供推理部署方案，帮助用户使能大模型业务。 约束限制 本方案目前仅适用于部分企业客户。 本文档适配昇腾云ModelArts
--tensor-model-parallel-size：${TP}张量并行数，需要与训练脚本中的TP值配置一样。 --pipeline-model-parallel-size：${PP}流水线并行数，需要与训练脚本中的PP值配置一样。 --load-dir：加载转换模型权重路径。 --save-dir :
在创建训练作业前，推荐您先使用ModelArts开发环境调试训练代码，避免代码迁移过程中的错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。 配置本地IDE（Pycharm或者VSCode）联接云上环境调试请参考使用本地IDE开发模型。 父主题： 硬盘限制故障
在创建训练作业前，推荐您先使用ModelArts开发环境调试训练代码，避免代码迁移过程中的错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。 配置本地IDE（Pycharm或者VSCode）联接云上环境调试请参考使用本地IDE开发模型。 父主题： GPU相关问题
在创建训练作业前，推荐您先使用ModelArts开发环境调试训练代码，避免代码迁移过程中的错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。 配置本地IDE（Pycharm或者VSCode）联接云上环境调试请参考使用本地IDE开发模型。 父主题： GPU相关问题
odelArts提供了即开即用的云上集成开发环境，包含迁移所需要的算力资源、AI框架、昇腾开发套件以及迁移调优工具链，最大程度减少客户自行配置环境的复杂度。 范围 本文涉及PyTorch训练的单卡和分布式业务迁移到昇腾的业务范围。当前针对常见的开源LLM/AIGC等领域的开源模型
调用ModelArts API接口创建训练作业和部署服务时，如何填写资源池的参数？ 调用API接口创建训练作业时，“pool_id”为“资源池ID”。 调用API接口部署在线服务时，“pool_name”为“资源池ID” 。 图1 资源池ID 父主题： API/SDK
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
