检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
single：表示所有样本均为单标签 manifest_cache_input_path String 版本发布时的manifest文件缓存输入路径。 manifest_path String 版本发布的manifest文件保存路径。 message String 发布时记录的任务信息（如：错误信息等）。
t子目录。 key_sample_output 否 String 主动学习中难例的输出路径。 log_url 否 String 训练作业的日志OBS输出路径URL，默认为空。 manifest_path 否 String manifest路径，给训练、推理作为输入。 model_id
disable_affinity_api False 否 关闭亲和算子（融合算子、亲和优化器）API分析。对于首次从gpu迁移至npu的训练任务性能分析，建议保留该参数，替换亲和算子API通常能获得一定性能收益。对于完成迁移后在npu上长训的训练任务，如果出现性能问题，建议设置为True来提升分析速度。
1 MindSpore：MindSpore 2.4.0 FrameworkPTAdapter：6.0.RC3 CCE：如果用到CCE，版本要求是CCE Turbo v1.28及以上 300iDUO PyTorch： swr.cn-southwest-2.myhuaweicloud
train_url String 训练作业的输出文件OBS路径URL，默认为空，如“/usr/train/”。 log_url String 训练作业的日志OBS输出路径URL，默认为空。如：“/usr/train/”。 user_image_url String 自定义镜像训练作业的自定义镜像的SWR-URL。
在在线推理服务列表页面，单击服务操作列的“服务详情”（如果是“运行中”的推理服务，则需要单击操作列的“更多 > 服务详情”），可以在弹窗中查看推理服务的“服务信息”、“服务日志”和“指标效果”。 停止推理服务 当“运行中”的推理服务使用完成后，在在线推理服务列表页面，单击操作列的“更多 > 停止服务”即可停止推理服务，节约资源成本。
String 训练作业的输出文件OBS路径URL，默认为空，如：“/bucket/trainUrl/”。 log_url 否 String 训练作业的日志OBS输出路径URL，默认为空。如：“/usr/train/”。 pre_version_id 是 Long 训练作业前一版本的ID。 可通过查询训练作业版本列表
个step的数据切分成多个micro batch。 该值与TP和PP以及模型大小相关，可根据实际情况进行调整。 GBS 512 表示训练中所有机器一个step所处理的样本量。影响每一次训练迭代的时长。 TP 8 表示张量并行。对应训练参数 tensor-model-parallel-size
个step的数据切分成多个micro batch。 该值与TP和PP以及模型大小相关，可根据实际情况进行调整。 GBS 128 表示训练中所有机器一个step所处理的样本量。影响每一次训练迭代的时长。 TP 8 表示张量并行。对应训练参数 tensor-model-parallel-size
个step的数据切分成多个micro batch。 该值与TP和PP以及模型大小相关，可根据实际情况进行调整。 GBS 128 表示训练中所有机器一个step所处理的样本量。影响每一次训练迭代的时长。 TP 8 表示张量并行。 PP 8 表示流水线并行。一般此值与训练节点数相等，与权重转换时设置的值相等。
在TMS中根据资源类型查询ModelArts任务。 Step1 在TMS上创建预定义标签 登录TMS控制台，在预定义标签页面创建标签。此处创建的标签是全局标签，在华为云所有Region可见。 Step2 在ModelArts任务中添加标签 在ModelArts中创建Notebook、创建训练作业、创建推理在线服务时，对这些任务配置标签。
AI Gallery。 填写“资产版本”。版本号格式为“x.x.x”。 设置“谁可以看”。 设置资产的公开权限。可选值有： “公开”：表示所有使用AI Gallery的用户都可以查看且使用该资产。 “指定用户”：表示仅特定用户可以查看及使用该资产。 “仅自己可见”：表示只有当前账号可以查看并使用该资产。
离。 场景描述 以使用Notebook进行项目开发为例，管理员账号需要拥有ModelArts专属资源池的完全控制权限，以及Notebook所有实例的访问和操作权限。 普通开发者使用开发环境，只需关注对自己Notebook实例的操作权限，包括对自己实例的创建、启动、停止、删除等权限
表2 Query参数 参数 是否必选 参数类型 描述 user_id 否 String 用户ID，当user_id为all时，表示删除所有IAM子用户的授权。 请求参数 无 响应参数 无 请求示例 删除指定用户的授权 DELETE https://{endpoint}/v2/
进入llm_tools/AutoAWQ代码目录下执行以下脚本： 执行时间预计10分钟。执行完成后会将权重路径下的原始权重替换成转换后的权重。如需保留之前权重格式，请在转换前备份。 python convert_awq_to_npu.py --model /home/ma-user/Qwen1
进入llm_tools/AutoAWQ代码目录下执行以下脚本： 执行时间预计10分钟。执行完成后会将权重路径下的原始权重替换成转换后的权重。如需保留之前权重格式，请在转换前备份。 python convert_awq_to_npu.py --model /home/ma-user/Qwen1
可在“数据标注”页签，重新进行模型训练及模型部署。如果您对模型预测结果满意，可根据界面提示调用接口访问在线服务。 输入代码：其中预测分析要求数据集中数据的预测列名称为class，否则会导致预测失败。 { "data": { "req_data": [{
修改后的barrier_timeout参数 问题5：训练完成使用vllm0.6.0框架推理失败： 错误截图： 报错原因： 训练时transformers版本要求为4.45.0，训练完成后保存的tokenizer.json文件中的“merges”时保存的是拆开的列表不是字符串，导致推理异常 解决措施，以下两种方法任选其一：
修改后的barrier_timeout参数 问题5：训练完成使用vllm0.6.0框架推理失败： 错误截图： 报错原因： 训练时transformers版本要求为4.45.0，训练完成后保存的tokenizer.json文件中的“merges”时保存的是拆开的列表不是字符串，导致推理异常 解决措施，以下两种方法任选其一：
术支持购买Lite Server资源。 本方案目前仅适用于企业客户。 资源规格要求 推荐使用“西南-贵阳一”Region上的Lite Server资源和Ascend Snt9B单机单卡。 表1 环境要求 模型 版本 CANN cann_8.0.rc1 PyTorch pytorch_2
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
