检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
@modelarts:from_type 否 String 内置属性：三元组关系标签的起始实体类型，创建关系标签时必须指定，该参数仅文本三元组数据集使用。 @modelarts:rename_to 否 String 内置属性：重命名后的标签名。 @modelarts:shortcut 否 String
空间时默认值为“0”，存在创建并使用的工作空间，以实际取值为准。 os.modelarts/name String 用户指定的pool名称。 os.modelarts/resource.id String 资源池的主资源id，通常提供给cbc使用。 os.modelarts/tenant
服务ID。 表2 Query参数 参数 是否必选 参数类型 描述 update_time 否 Number 待过滤的更新时间，查询在线服务更新日志可使用，可准确过滤出某次更新任务；默认不过滤。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是
资源规格名称，比如：modelarts.vm.gpu.t4u8。 count 是 Integer 规格保障使用量。 maxCount 是 Integer 资源规格的弹性使用量，物理池该值和count相同。 azs 否 Array of PoolNodeAz objects 资源池中节点的AZ信息。
执行脚本为0_pl_lora_70b.sh和0_pl_lora_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值，可以参考表1按照实际需求修改。 表1 必须修改的训练超参配置 参数 示例值 参数说明 ORIGINAL_TRAIN_DATA_PATH
情况，如抽样文件数等，同时设置如下参数，然后进行验收。只有完成验收，标注信息才会同步到标注作业的已标注页面中。 一旦标注数据完成验收，团队成员无法再修改标注信息，只有数据集创建者可修改。 表1 完成验收的参数设置 参数 说明 对已标注数据修改 不覆盖：针对同一个数据，不使用当前团队标注的结果覆盖已有数据。
(NAS) 训练本地挂载路径。如：“/home/work/nas”。 nas_share_addr String SFS Turbo (NAS) 共享路径。如：“192.168.8.150:/”。 nas_type String 当前仅支持 nfs。如：“nfs”。 表5 parameter属性列表
多机必填。主节点IP地址，多台机器中需要指定一个节点IP为主节点IP。 一般指定第一个节点IP为主节点IP。 NNODES 1 多机必填。节点总数，如为双机，则写2。单机默认是1。 NODE_RANK 0 多机必填。节点序号，当前节点ID，一般从0开始，单机默认是0。以Qwen-72B 5机训练为例，节点ID依次为（0
将专属资源池的计费模式从按需计费转为包年/包月，可以让您享受一定程度的价格优惠。 将专属资源池的计费模式从包年/包月转为按需计费，可以更加灵活地使用ModelArts计算资源。 说明： 包年/包月计费模式到期后，按需计费模式才会生效。 按需转包年/包月 包年/包月转按需 父主题： 变更计费模式
Boolean 是否导入数据，此参数当前仅表格数据集使用。可选值如下： true：创建数据集时导入数据 false：创建数据集时不导入数据（默认值） label_format 否 LabelFormat object 标签格式信息，此参数仅文本类数据集使用。 labels 否 Array of
空间时默认值为“0”，存在创建并使用的工作空间，以实际取值为准。 os.modelarts/name String 用户指定的pool名称。 os.modelarts/resource.id String 资源池的主资源id，通常提供给cbc使用。 os.modelarts/tenant
-s建立软连接 如果代码中涉及文件绝对路径，由于Notebook调试与训练作业环境不同，可能会导致文件绝对路径不一致，需要修改代码内容。推荐使用软链接的方式解决该问题，用户只需提前建立好软链接，代码中的地址可保持不变。 新建软链接： # ln -s 源目录/文件 目标目录/文件 #
执行脚本为0_pl_sft_70b.sh 和 0_pl_sft_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值，可以参考表1按照实际需求修改。 表1 必须修改的训练超参配置 参数 示例值 参数说明 ORIGINAL_TRAIN_DATA_PATH
像超大会导致加载的各种问题，所以这里做了限制。这种场景下，建议找到原始镜像重新构建环境进行保存。 解决方法 找到原始镜像重新构建环境。建议使用干净的基础镜像，最小化的安装运行依赖内容，并进行安装后的软件缓存清理，然后保存镜像。 父主题： 自定义镜像故障
0_pl_pretrain_70b.sh 和 0_pl_pretrain_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值，可以参考表1按照实际需求修改。 表1 必须修改的训练超参配置 参数 示例值 参数说明 ORIGINAL_TRAIN_DATA_PATH
可能是用户本地网络的原因，网速不稳定或者网络配置有问题，均可能导致保存失败。 解决方案 1. 切换为稳定的网络后重试。 2. 初始化网络配置，使用管理员权限启动CMD，输入netsh winsock reset指令，完成后重启电脑，再登录数据标注平台重试。 父主题： Standard数据管理
parquet 如果在准备数据章节已下载数据集，此处无需重复操作。 SFT全参微调和LoRA微调训练使用的是同一个数据集，数据处理一次即可，训练时可以共用。 数据预处理说明 使用数据预处理脚本preprocess_data.py脚本重新生成.bin和.idx格式的SFT全参微调数据。preprocess_data
bin和alpaca_text_document.idx文件。 自定义数据 如果是用户自己准备的数据集，可以使用Ascendspeed代码仓中的转换工具将json格式数据集转换为训练中使用的.idx + .bin格式。 #示例： #1.将准备好的json格式数据集存放于/home/ma-
执行脚本为0_pl_sft_70b.sh 和 0_pl_sft_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值，可以参考表1按照实际需求修改。 表1 必须修改的训练超参配置 参数 示例值 参数说明 ORIGINAL_TRAIN_DATA_PATH
he”，实际下载的数据会翻倍。例如只下载了2.5TB的数据，程序就显示空间不够而失败，因为/cache只有4TB的可用空间。 处理方法 在使用Tensorflow多节点作业下载数据时，正确的下载逻辑如下： import argparse parser = argparse.ArgumentParser()
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
