检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
示例值需要根据数据集的不同,选择其一。 GeneralPretrainHandler:使用预训练的alpaca数据集。 GeneralInstructionHandler:使用微调的alpaca数据集。 MOSSMultiTurnHandler:使用微调的moss数据集。 MBS 4 表示流水线并行中一个micro
#微调数据文件 上传代码和权重文件到工作环境 使用root用户以SSH的方式登录DevServer。 将AscendCloud代码包AscendCloud-xxx-xxx.zip上传到${workdir}目录下并解压缩,如:/home/ma-user/ws目录下,以下都以/
执行脚本为0_pl_sft_70b.sh 和 0_pl_sft_13b.sh 。 修改模型训练脚本中的超参配置,必须修改的参数如表1所示。其他超参均有默认值,可以参考表1按照实际需求修改。 表1 训练超参配置说明 参数 示例值 参数说明 ORIGINAL_TRAIN_DATA_PATH
执行脚本为0_pl_lora_70b.sh和0_pl_lora_13b.sh 。 修改模型训练脚本中的超参配置,必须修改的参数如表1所示。其他超参均有默认值,可以参考表1按照实际需求修改。 表1 训练超参配置说明 参数 示例值 参数说明 ORIGINAL_TRAIN_DATA_PATH
DEDICATED:用户保存的镜像。 workspace_id 否 String 工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 请求参数 无 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 current Integer
#微调数据文件 上传代码和权重文件到工作环境 使用root用户以SSH的方式登录DevServer。 将AscendCloud代码包AscendCloud-3rdLLM-xxx-xxx.zip上传到${workdir}目录下并解压缩,如:/home/ma-user/ws目录下,以下
当user_id为all时,表示对所有IAM子用户进行授权,如果已有部分用户已授权,则更新授权。 仅当授权类型为委托时,需要该字段。 type String 授权类型。推荐使用委托方式。 可选值: agency:委托 credential:访问密钥(AK/SK) content String 授权内容。 当授权类型是委托,该字段为委托名称。
示例值需要根据数据集的不同,选择其一。 GeneralPretrainHandler:使用预训练的alpaca数据集。 GeneralInstructionHandler:使用微调的alpaca数据集。 MOSSMultiTurnHandler:使用微调的moss数据集。 MBS 4 表示流水线并行中一个micro
workforce_name String 标注团队名称。 workspace_id String 工作空间ID。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 请求示例 查询标注团队列表 GET https://{endpoint}/v2/{project_id}/workforces
“指定用户”:表示AI应用创建者和指定的用户可见该资产。 当指定用户可见时,保存可见用户名单后即可生效。 删除AI应用 当AI应用不再使用时,支持删除,释放AI Gallery仓库的存储空间。 在AI应用详情页,选择“设置”页签。 确认AI应用状态是否为“运行中”。 是,则在
Environment实例 描述模型正常运行需要的环境,如使用的python版本、tensorflow版本等。 Environment实例的示例请参见示例代码。 source_job_id 否 String 来源训练作业的ID,模型是从训练作业产生的可填写,用于溯源;如模型是从第三方元模型导入,则为空,默认值为空。
在标注页面中,播放视频,当视频播放至待标注时间时,单击进度条左侧的暂停按钮,将视频暂停至某一帧对应的画面。 在上方区域选择标注框,默认为矩形框。使用鼠标在视频画面中框出目标,然后在弹出的添加标签文本框中,直接输入新的标签名,在文本框前面选中标签颜色,单击“添加”完成1个物体的标注。如果
} ] } ] 当"mmcv-full"安装失败,原因可能是基础镜像中没有安装gcc,无法编译导致安装失败,此时需要用户使用线下wheel包安装。 示例如下: "dependencies": [ { "installer": "pip",
示例值需要根据数据集的不同,选择其一。 GeneralPretrainHandler:使用预训练的alpaca数据集。 GeneralInstructionHandler:使用微调的alpaca数据集。 MOSSInstructionHandler:使用微调的moss数据集。 MBS 1 表示流水线并行中一个micro
flavor_info FlavorInfoResponse object 资源规格详细信息。 attributes Map<String,String> 其他规格属性。 表5 BillingInfo 参数 参数类型 描述 code String 计费码。 unit_num Integer 计费单元。
称。 workspace_id 是 String 工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String
代码包名称 代码说明 下载地址 AscendCloud-6.3.909-xxx.zip 说明: 软件包名称中的xxx表示时间戳。 包含了本教程中使用到的模型训练代码。代码包具体说明请参见模型软件包结构说明。 获取路径:Support-E 请联系您所在企业的华为方技术支持下载获取。 模型软件包结构说明
0_pl_pretrain_70b.sh 和 0_pl_pretrain_13b.sh 。 修改模型训练脚本中的超参配置,必须修改的参数如表1所示。其他超参均有默认值,可以参考表1按照实际需求修改。 表1 训练超参配置说明 参数 示例值 参数说明 ORIGINAL_TRAIN_DATA_PATH
h_size调小,重新训练如未解决则执行下一步。 替换深度学习训练加速的工具或增加zero等级,可参考模型NPU卡数、梯度累积值取值表,如原使用Accelerator可替换为Deepspeed-ZeRO-1,Deepspeed-ZeRO-1替换为Deepspeed-ZeRO-2以此类推,重新训练如未解决则执行下一步。
示例值需要根据数据集的不同,选择其一。 GeneralPretrainHandler:使用预训练的alpaca数据集。 GeneralInstructionHandler:使用微调的alpaca数据集。 MOSSInstructionHandler:使用微调的moss数据集。 MBS 1 表示流水线并行中一个micro