检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练作业的id，可通过创建训练作业生成的训练作业对象查询，如"job_instance.job_id"，或从查询训练作业列表的响应中获得。 无成功响应参数。 表2 调用训练接口失败响应参数 参数 类型 描述 error_msg String 调用失败时的错误信息，调用成功时无此字段。 error_code String
程会消耗较长时间。 处理方法 在创建训练作业时，数据可以保存到OBS上。不建议使用TensorFlow、MXNet、PyTorch的OBS接口直接从OBS上读取数据。 如果文件较小，可以将OBS上的数据保存成“.tar”包。训练开始时从OBS上下载到“/cache”目录，解压以后使用。
参数 是否必选 参数类型 描述 description 是 String 需要更改的训练作业的描述信息。 无成功响应参数 表3 调用训练接口失败响应参数 参数 类型 描述 error_msg String 调用失败时的错误信息，调用成功时无此字段。 error_code String
推理代码及模型需安装的包，默认为空。从配置文件读取。 否 str model_metrics 模型精度信息，从配置文件读取。 否 str apis 模型所有的apis入参出参信息（选填），从配置文件中解析出来。 否 str initial_config 模型配置相关数据。 否 dict template
集群模式，开箱即提供好Kubernetes集群，直接使用，方便高效。 节点模式，客户可采用开源或自研框架，自行构建集群，更强的掌控力和灵活性。 零改造迁移 提供业界通用的k8s接口使用资源，业务跨云迁移无压力。 SSH直达节点和容器，一致体验。
benchmark_parallel.csv 参数说明 --backend：服务类型，支持tgi、vllm、mindspore、openai等。本文档使用的推理接口是vllm。 --host ${docker_ip}：服务部署的IP，${docker_ip}替换为宿主机实际的IP地址。 --port：推理服务端口8080。
题问题3小节。 3、训练过程中报"ModuleNotFoundError: No module named 'multipart'"关键字异常，可更新python-multipart为0.0.12版本，具体请参考问题4："No module named 'multipart'"报错：
benchmark_parallel.csv 参数说明 --backend：服务类型，支持tgi、vllm、mindspore、openai等后端。本文档使用的推理接口是openai。 --host：服务部署的IP，${docker_ip}替换为宿主机实 际的IP地址。 --port：推理服务端口。 --
benchmark_parallel.csv 参数说明 --backend：服务类型，支持tgi、vllm、mindspore、openai等后端。本文档使用的推理接口是openai。 --host：服务部署的IP，${docker_ip}替换为宿主机实际的IP地址。 --port：推理服务端口。 --t
benchmark_parallel.csv 参数说明 --backend：服务类型，支持tgi、vllm、mindspore、openai等后端。本文档使用的推理接口是openai。 --host：服务部署的IP，${docker_ip}替换为宿主机实 际的IP地址。 --port：推理服务端口。 --
Integer 当前返回的日志大小（单位：字节）。最大为5兆。 full_size Integer 完整的日志大小（单位：字节）。 表4 调用训练接口失败响应参数 参数 类型 描述 error_msg String 调用失败时的错误信息，调用成功时无此字段。 error_code String
errorMessage:None reason:Service Unavailable 如果是client数太多，尤其对于5G以上文件，OBS接口不支持直接调用，需要分多个线程分段复制，目前OBS侧服务端超时时间是30S，可以通过如下设置减少进程数。 # 设置进程数 os.envir
benchmark_parallel.csv 参数说明 --backend：服务类型，支持tgi、vllm、mindspore、openai等后端。本文档使用的推理接口是openai。 --host：服务部署的IP，${docker_ip}替换为宿主机实 际的IP地址。 --port：推理服务端口。 --
were not found in your environment: flash_attn 根因：昇腾环境暂时不支持flash_attn接口 规避措施：修改dynamic_module_utils.py文件，将180-184行代码注释掉 vim /home/ma-user/an
种同时确保准确率与推理高效的训练后量化（PTQ）方法，W8A8可实现8-bit权重、8-bit激活（W8A8）量化，引入平滑因子来平滑激活异常值，将量化难度从较难量化的激活转移到容易量化的权重上。 AWQ-W4A16：AWQ是一种大模型低比特权重的训练后量化（PTQ）方法，W4A
当前训练作业支持挂载多个弹性文件服务SFS Turbo，文件系统支持重复挂载，但挂载路径不可重复。文件系统目录需指定已存在的目录，否则会导致训练作业异常。 然后在超参或者环境变量中设置checkpoint和数据的挂载路径。 图3 在超参或者环境变量中设置checkpoint和数据的挂载路径
n_path") # 模型初始化之后位置添加。 debugger.monitor(model) ... # 结束训练之后，调用stop接口。 debugger.stop() （可选）梯度数据相似度比对。 from msprobe import * GradComparator
Usage（NPU显存使用率）。 value Array of numbers 运行指标对应数值，1min统计一个平均值。 表5 调用训练接口失败响应参数 参数 类型 描述 error_msg String 调用失败时的错误信息，调用成功时无此字段。 error_code String
ofiling 5、训练过程中报"ModuleNotFoundError: No module named 'multipart'"关键字异常，可更新python-multipart为0.0.12版本，具体请参考问题5：No module named 'multipart'"报错：
placeholder_type=wf.PlaceholderType.STR, default="True", description="是否进行数据清洗, 数据格式异常会导致训练失败，建议开启，保证训练稳定性。数据量过大时，数据清洗可能耗时较久，可自行线下清洗（支持BMP.JPEG,PNG格式, RGB三通道）。建议用JPEG格式数据"))
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
