检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
wf.AlgorithmParameters(name="save_model_secs", value=wf.Placeholder(name="save_model_secs", placeholder_type=wf.PlaceholderType.INT, default=60
command”表示训练作业中需要执行的其他自定义命令。 “环境变量”增加“MY_SSHD_PORT = 38888”。 “配置节点间SSH免密互信”开关打开,并设置“SSH密钥目录”,一般保持默认值。该配置会在下发训练作业后,自动在训练容器的“/home/ma-user/.ssh”目录下生成SSH密钥
在数据集详情页,单击右侧“发布”,在发布数据集页面编辑发布信息后,单击“发布”。 表1 发布数据集的参数说明 参数名称 说明 中文名称 数据集发布后显示的名称,在创建数据集时设置的名称,此处不可编辑。 任务类型 选择合适的任务类型。 许可证 必填项,根据业务需求选择合适的许可证类型。 描述 必填项,填写资产简介,数
模型推荐的参数与NPU卡数设置 不同模型推荐的训练参数和计算规格要求如表1所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡,以此类推。 表1 不同模型推荐的参数与NPU卡数设置 序号 支持模型 支持模型参数量 文本序列长度 并行参数设置 规格与节点数 1 llama2
节点池名称。比如:nodePool-1。 taints Array of Taint objects 支持给创建出来的节点加taints来设置反亲和性,非特权池不能指定。 labels Map<String,String> k8s标签,格式为key/value键值对。 tags Array
ata.json,数据大小:43.6 MB。 自定义数据 用户也可以自行准备训练数据。数据要求如下: 使用标准的.json格式的数据,通过设置--json-key来指定需要参与训练的列。请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更改
邮箱地址添加新成员。 “角色”支持“Labeler”、“Reviewer”和“Team Manager”,“Team Manager”只能设置为一个人。 删除团队 当已有的团队不再使用,您可以执行删除操作。 在“标注团队”管理页面中,选中需删除的团队,然后单击“删除”。在弹出的对
节点池名称。比如:nodePool-1。 taints Array of Taint objects 支持给创建出来的节点加taints来设置反亲和性,非特权池不能指定。 labels Map<String,String> k8s标签,格式为key/value键值对。 tags Array
“保存路径”:即导出数据存储的路径。建议不要将数据存储至当前数据集所在的输入路径或输出路径。 图12 导出至OBS 数据导出成功后,您可以前往您设置的保存路径,查看到存储的数据。 查看任务历史 当您导出数据后,可以通过任务历史查看导出任务明细。 在数据集详情页面中,单击右上角“任务历史
dataset_name="dataset") print(dataset_list) 示例四:分页查询数据集列表 # 默认一次返回10条数据集记录,可通过设置limit和offset进行分页查询 dataset_list = Dataset.list_datasets(session, offset=0
ata.json,数据大小:43.6 MB。 自定义数据 用户也可以自行准备训练数据。数据要求如下: 使用标准的.json格式的数据,通过设置--json-key来指定需要参与训练的列。请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更改
端口有问题,请联系技术支持。 端口无问题请继续远端排查。 远端排查 排查/home/ma-user目录权限是否为755/750,不是该权限,请执行如下命令设置权限。 chmod 755 /home/ma-user 排查/home/ma-user/.ssh目录权限是否为755/750,不是该权限请修改。
|──llm_tools # 推理工具 工作目录介绍 详细的工作目录参考如下,建议参考以下要求设置工作目录。训练脚本以分类的方式集中在scripts文件夹中。 ${workdir}(例如/home/ma-user/ws ) |──llm_train
ata.json,数据大小:43.6 MB。 自定义数据 用户也可以自行准备训练数据。数据要求如下: 使用标准的.json格式的数据,通过设置--json-key来指定需要参与训练的列。请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更改
ata.json,数据大小:43.6 MB。 自定义数据 用户也可以自行准备训练数据。数据要求如下: 使用标准的.json格式的数据,通过设置--json-key来指定需要参与训练的列。 请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更
ata.json,数据大小:43.6 MB。 自定义数据 用户也可以自行准备训练数据。数据要求如下: 使用标准的.json格式的数据,通过设置--json-key来指定需要参与训练的列。 请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更
在“全部”、“未标注”或“已标注”页签下,您可以在筛选条件区域,添加筛选条件,快速过滤出您想要查看的数据。 支持的筛选条件如下所示,您可以设置一个或多个选项进行筛选。 难例集:难例或非难例。 标签:您可以选择全部标签,或者基于您指定的标签,选中其中一个或多个。 样本创建时间:1个
ata.json,数据大小:43.6 MB。 自定义数据 用户也可以自行准备训练数据。数据要求如下: 使用标准的.json格式的数据,通过设置--json-key来指定需要参与训练的列。 请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更
String ModelArts错误码。 error_msg String 具体错误信息。 请求示例 为指定的Notebook添加资源标签。例如设置TMS标签的key为“test”,value为“service-gpu”。 https://{endpoint}/v1/{project_
径。“输出路径”不能与“保存路径”为同一路径,且“输出路径”不能是“保存路径”的子目录。 图1 导出新数据集 数据导出成功后,您可以前往您设置的保存路径,查看到存储的数据。当导出方式选择为新数据集时,在导出成功后,您可以前往“数据集”列表中,查看到新的数据集。 在“数据集概览页”