检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
emory等）的使用情况并上报到AOM，用户可直接在AOM上查看默认配置好的基础指标，也支持用户自定义一些指标项上报到AOM查看。 此外，还支持在ModelArts Lite Cluster上安装Prometheus开源监控工具，方便用户使用Prometheus工具在Lite C
模型准备 MindSpore Lite提供的模型convertor工具可以支持主流的模型格式到MindIR的格式转换，用户需要导出对应的模型文件，推荐导出为ONNX格式。 如何导出ONNX模型 PyTorch转ONNX，操作指导请见此处。 PyTorch导出ONNX模型样例如下： import
（此参数目前仅适用于Llama3系列模型长序列训练） LR 2.5e-5 学习率设置。 MIN_LR 2.5e-6 最小学习率设置。 SEQ_LEN 4096 要处理的最大序列长度。 MAX_PE 8192 设置模型能够处理的最大序列长度。 SN 1200 必须修改。指定的输入数据集中数据的总数量。更换数据集时，需要修改。
换的过程。 如果用户进行自定义数据集预处理以及权重转换，可通过编辑 1_preprocess_data.sh 、2_convert_mg_hf.sh 中的具体python指令运行。本代码中有许多环境变量的设置，在下面的指导步骤中，会展开进行详细的解释。 如果用户希望自定义参数进行
/v2/{project_id}/processor-tasks 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 create_version
参数 是否必选 参数类型 描述 instance_id 是 String Notebook实例ID，可通过调用查询Notebook实例列表接口获取。 project_id 是 String 用户项目ID，获取方法请参见获取项目ID和名称。 storage_id 是 String OBS存储ID。
Standard支持用户构建自定义镜像用于模型训练。 自定义镜像的制作要求用户对容器相关知识有比较深刻的了解，除非订阅算法和预置框架无法满足需求，否则不推荐使用。自定义镜像需上传至容器镜像服务（SWR），才能用于ModelArts Standard上训练。 自定义镜像的启动命令规范 用户遵循M
路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID，获取方法请参见获取项目ID和名称。 resource_id 是 String 资源ID，如Notebook实例ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 tags
在弹出的“添加成员”对话框中，按照分类，可选择“当前账号”或“其他账号”。选择“当前账号”，需要填写成员的 “IAM用户名”、“角色”、“描述”。选择“其他账号”，需要填写成员的“账号ID”、“IAM用户ID”、“角色”、“描述”，单击左下角“添加账号ID”。填写完成之后，然后单击“确定”。 邮箱作
alpaca_gpt4_data.json，数据大小：43.6 MB。 自定义数据 预训练数据：用户也可以自行准备预训练数据。数据要求如下： 使用标准的.json格式的数据，通过设置--json-key来指定需要参与训练的列。请注意huggingface中的数据集具有如下this
alpaca_gpt4_data.json，数据大小：43.6 MB。 自定义数据 预训练数据：用户也可以自行准备预训练数据。数据要求如下： 使用标准的.json格式的数据，通过设置--json-key来指定需要参与训练的列。请注意huggingface中的数据集具有如下this
但在使用过程中如果消耗了硬件资源进行部署，管理控制台将根据实际使用情况收取硬件资源的费用。 前提条件 注册并登录华为云，且创建好OBS桶用于存储数据和模型。 订阅算法 登录“AI Gallery”。 选择“资产集市 > 算法”，进入算法页面，该页面展示了所有共享的算法。 搜索业务所需的算法，请参见查找资产。
M、Yi、Baichuan等推理部署的详细过程，利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬件，为用户提供推理部署方案，帮助用户使能大模型业务。 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 约束限制 本方案目前仅适用于部分企业客户。
--device=Ascend 为了简化用户使用，ModelArts提供了Tailor工具便于用户进行Benchmark性能测试，具体使用方式参考Tailor指导文档。 在某些推理场景中，模型输入的shape可能是不固定的，因此需要支持用户指定模型的动态shape，并能够在推理中
alpaca_gpt4_data.json，数据大小：43.6 MB。 自定义数据 预训练数据：用户也可以自行准备预训练数据。数据要求如下： 使用标准的.json格式的数据，通过设置--json-key来指定需要参与训练的列。请注意huggingface中的数据集具有如下this
请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取（响应消息头中X-Subject-Token的值）。 响应参数 状态码： 200 表3 响应Body参数
Lite进行推理时一般需要先设置目标设备的上下文信息，然后构建推理模型，获取输入数据，模型预测并得到最终的结果。一个基础的推理框架写法如下所示： # base_mslite_demo.py import mindspore_lite as mslite # 设置目标设备上下文为Ascend，指定device_id为0。
检查环境 SSH登录机器后，检查NPU设备检查。运行如下命令，返回NPU设备信息。 npu-smi info # 在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l | grep Total # 在每个实例节点上运行此命令可以看到总卡数
String 用户Token。通过调用IAM服务获取用户Token接口获取（响应消息头中X-Subject-Token的值）。 表3 请求Body参数 参数 是否必选 参数类型 描述 status 是 String 服务状态，取值为： running：running为启动节点实例，只有处
准备imagenet数据集的分享链接 勾选要分享的imagenet21k_whole数据集文件夹，单击分享按钮，选择分享链接有效期，自定义提取码，例如123456，单击“复制链接”，记录该链接。 准备obsutil_linux_amd64.tar.gz的分享链接 单击此处下载obsutil_linux_amd64
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
