检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
parquet #预训练数据 |──{output_dir} #{OUTPUT_SAVE_DIR}或yaml文件{output_dir}参数设置值 # 自动生成数据目录结构 |── preprocessed_data |──conv
出于分析或审计等目的，用户可以开启ModelArts的日志记录功能。在您开启了云审计服务后，系统会记录ModelArts的相关操作，且控制台保存最近7天的操作记录。本节介绍如何在云审计服务管理控制台查看最近7天的操作记录。 对接云审计服务的配置方法请参见查看审计日志章节。 父主题： 安全
LoRA、QLoRA，本文档主要支持全参数（Full）和LoRA。 LoRA(Low-Rank Adaptation)： 这种策略主要针对如何在保持模型大部分参数固定的同时，通过引入少量可训练参数来调整模型以适应特定任务。 全参训练（Full）：这种策略主要对整个模型进行微调。这
分页列表的起始页，默认为0。 process_parameter 否 String 图像缩略设置，同OBS缩略图设置，详见OBS缩略图设置。如：image/resize,m_lfit,h_200表示等比缩放目标缩略图并设置高度为200像素。 sample_state 否 String 样本状态。可选样本状态如下：
AnnotationFormatConfig excluded_labels 不导入包含指定标签的样本。 否 Label的列表 import_annotated 用于导入智能标注结果的任务，是否导入原数据集中已标注的样本到待确认，默认值为"false"即不导入原数据集中已标注的样本到待确认。可选值如下： true：导入原数据集中已标注的样本到待确认
问题4：Error waiting on exit barrier错误 错误截图： 报错原因：多线程退出各个节点间超时时间默认为300s，时间设置过短。 解决措施： 修改容器内torch/distributed/elastic/agent/server/api.py文件参数： vim
问题4：Error waiting on exit barrier错误 错误截图： 报错原因：多线程退出各个节点间超时时间默认为300s，时间设置过短。 解决措施： 修改容器内torch/distributed/elastic/agent/server/api.py文件参数： vim
标注信息不满足切分条件 出现此故障时，建议根据如下建议，修改标注数据后重试。 多标签的样本（即一张图片包含多个标签），至少需要有2张。如果启动训练时，设置了数据集切分功能，如果多标签的数据少于2张，会导致数据集切分失败。建议检查您的标注信息，保证标注多标签的图片，超过2张。 数据集切分后，训
# modelLink兼容旧版本启动方式目录 |──Dockerfile 工作目录介绍 详细的工作目录参考如下，根据实际要求设置。 ${workdir}（例如/home/ma-user/ws） |──llm_train
节点池名称。比如：nodePool-1。 taints 否 Array of Taint objects 支持给创建出来的节点加taints来设置反亲和性，非特权池不能指定。 labels 否 Map<String,String> k8s标签，格式为key/value键值对。 tags
--prefix_name str 预训练json文件的前缀字段名称，例如：您是一个xxx专家，您需要回答下面问题。prefix_name可设置为None，此时预训练数据集只有input和output两段输入。 --input_name str 预训练json文件的指令输入字段名称，例如：请问苹果是什么颜色。
--prefix_name str 预训练json文件的前缀字段名称，例如：您是一个xxx专家，您需要回答下面问题。prefix_name可设置为None，此时预训练数据集只有input和output两段输入。 --input_name str 预训练json文件的指令输入字段名称，例如：请问苹果是什么颜色。
对于首次使用ModelArts新用户，请直接新增委托即可。一般用户新增普通用户权限即可满足使用要求。如果有精细化权限管理的需求，可以自定义权限按需设置。 如果未获得委托授权，当打开“访问授权”页面时，ModelArts会提醒您当前用户未配置授权，需联系此IAM用户的管理员账号进行委托授权。
问题4：Error waiting on exit barrier错误 错误截图： 报错原因：多线程退出各个节点间超时时间默认为300s，时间设置过短。 解决措施： 修改容器内torch/distributed/elastic/agent/server/api.py文件参数： vim
免由服务端发起关闭连接。如您使用的Gunicorn来作为web server，可以通过Gunicorn命令的--keep-alive参数来设置该值。其他方式导入的模型，服务内部已做处理。 协议错误 请求报错：{"error_code":"ModelArts.4503", "error_msg":"Failed
INFERENCE: 建议仅在推理部署场景使用。 TRAIN: 建议仅在训练任务场景使用。 DEV: 建议仅在开发调测场景使用。 UNKNOWN: 未明确设置的镜像支持的服务类型。 size Long 镜像大小（单位KB）。 status String 镜像状态。枚举值如下： INIT：初始化。
在创建训练作业页面配置环境变量“ROUTE_PLAN”，取值为“true”，具体操作请参见管理训练容器环境变量。 代码示例 训练作业的启动脚本示例如下。 启动脚本中设置plog生成后存放在“/home/ma-user/modelarts/log/modelarts-job-{id}/worker-{ind
创建SFS Turbo文件系统前提条件： 创建SFS Turbo文件系统前，确认已有可用的VPC。 图4 创建SFS Turbo 需要由IAM用户设置SFS Turbo FullAccess权限，用于授权ModelArts云服务使用SFS Turbo。 详细操作指导请参考创建SFS Turbo文件系统。
LoRA，本文档主要支持全参数（Full）和LoRA、LoRA+。 LoRA(Low-Rank Adaptation)： 这种策略主要针对如何在保持模型大部分参数固定的同时，通过引入少量可训练参数来调整模型以适应特定任务。 LoRA+(Efficient Low Rank Adaptation
其他加速框架或ZeRO (Zero Redundancy Optimizer)优化器、NPU节点数及其他配置。 具体优化工具使用说明可参考如何选择最佳性能的zero-stage和-offloads。 父主题： 训练脚本说明
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
