检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是否必选 参数类型 描述 default_value 否 String 标签属性默认值。 id 否 String 标签属性ID。可通过调用标签列表查询。 name 否 String 标签属性名称。不能超过64个字符,不能包含字符!<>=&"'。 type 否 String 标签属性类型。可选值如下:
音内容只支持中文和英文,不支持小语种。 声音分类是对声音进行分类。语音内容是对语音内容进行标注。语音分割是对语音进行分段标注。 开始标注 登录ModelArts管理控制台,在左侧菜单栏中选择“数据准备> 数据标注”,进入“数据标注”管理页面。 在标注作业列表右侧“所有类型”页签下
其在ModelArts平台上执行的AI计算任务。 ModelArts服务不会保存用户的Token认证凭据,在后台作业中操作用户的资源(如OBS桶)前,需要用户通过IAM委托向ModelArts显式授权,ModelArts在需要时使用用户的委托获取临时认证凭据用于操作用户资源,具体配置见配置访问授权章节。
代码上传至OBS 将llm_train文件上传至OBS中。 结合准备数据、准备权重、准备代码,将数据集、原始权重、代码文件都上传至OBS后,OBS桶的目录结构如下。 <bucket_name> |──llm_train # 解压代码包后自动生成的代码目录,无需用户创建
app名称。 app_remark 否 String app备注。 workspace_id 否 String 工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 响应参数 状态码:200 表4 响应Body参数
app名称。 app_remark 否 String app备注。 workspace_id 否 String 工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 响应参数 状态码:200 表4 响应Body参数
代码上传至OBS 将llm_train文件上传至OBS中。 结合准备数据、准备权重、准备代码,将数据集、原始权重、代码文件都上传至OBS后,OBS桶的目录结构如下。 <bucket_name> |──llm_train # 解压代码包后自动生成的代码目录,无需用户创建
Snt9B。 如果使用DevServer资源,请参考DevServer资源开通,购买DevServer资源,并确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254
是否必选 参数类型 描述 default_value 否 String 标签属性默认值。 id 否 String 标签属性ID。可通过调用标签列表查询。 name 否 String 标签属性名称。不能超过64个字符,不能包含字符!<>=&"'。 type 否 String 标签属性类型。可选值如下:
的先安装,写在后面的后安装),且支持线下wheel包安装(wheel包必须与模型文件放在同一目录)。示例请参考导入模型时安装包依赖配置文件如何书写? health 否 health数据结构 镜像健康接口配置信息,只有“model_type”为“Image”时才需填写。 如果在滚动
handler-name参数说明 数据集预处理中 --handler-name 都会传递参数,用于构建实际处理数据的handler对象,并根据handler对象对数据集进行解析。文件路径在:ModelLink/modellink/data/data_handler.py。 基类BaseDatasetHandler解析
handler-name参数说明 数据集预处理中 --handler-name 都会传递参数,用于构建实际处理数据的handler对象,并根据handler对象对数据集进行解析。文件路径在:ModelLink/modellink/data/data_handler.py。 基类BaseDatasetHandler解析
议避免作业中存在多进程,多节点并发读写同一文件的情况。 检查报错的路径是否为OBS路径 使用ModelArts时,用户数据需要存放在自己OBS桶中,但是训练代码运行过程中不能使用OBS路径读取数据。 原因: 训练作业创建成功后,由于在运行容器直连OBS服务进行训练性能很差,系统会
String 用户指定的network名称。 os.modelarts/workspace.id String 工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 表5 NetworkMetadataAnnotations
String 用户项目ID。获取方法请参见获取项目ID和名称。 training_job_id 是 String 训练作业ID。获取方法请参见查询训练作业列表。 表2 Query参数 参数 是否必选 参数类型 描述 offset 否 Integer 数据条目偏移量。 limit 否 Integer
提供模型配置的通用属性和两个主要方法,用于序列化和反序列化配置文件。 PretrainedConfig.from_pretrained(dir) # 从目录中加载序列化对象(本地或者是url),配置文件为dir/config.json PretrainedConfig.save_pretrained(dir)
=0,1 通过命令npu-smi info查询NPU卡为容器中的第几张卡。例如下图查询出两张卡,如果希望使用第一和第二张卡,则“export ASCEND_RT_VISIBLE_DEVICES=0,1”,注意编号不是填4、5。 图2 查询结果 配置环境变量。 export DEFER_DECODE=1
|── alpaca_gpt4_data.json #微调数据文件 上传代码和权重文件到工作环境 使用root用户以SSH的方式登录Server。 将AscendCloud代码包AscendCloud-xxx-xxx.zip上传到${workdir}目录下并解压缩,如:
|── alpaca_gpt4_data.json #微调数据文件 上传代码和权重文件到工作环境 使用root用户以SSH的方式登录Server。 将AscendCloud代码包AscendCloud-3rdLLM-xxx-xxx.zip上传到${workdir}目录下
|── alpaca_gpt4_data.json #微调数据文件 上传代码和权重文件到工作环境 使用root用户以SSH的方式登录Server。 将AscendCloud代码包AscendCloud-xxx-xxx.zip上传到${workdir}目录下并解压缩,如: