检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
我参与的”页面。如果未登录控制台,请先登录。 在“我参与的”页签下,可查看您的标注任务。 图6 标注任务 数据标注访问地址可以查看如下表格获取,另外,如果团队成员绑定了邮箱,可以收到任务通知邮件,成员也可以通过邮件中给出的地址访问ModelArts-Console标注地址。 表1
report2Aom(request,region): auth = cloud_utils.get_auth() #AK、SK和临时TOKEN值,系统会自动获取无需在代码中填写。 ak = auth.AK sk = auth.SK securityToken = auth
d}/executions 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 workflow_id 是 String 工作流的ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型
“self.model_path”。另外pyspark模型在“customize_service.py”中可以使用“self.spark”获取SparkSession对象。 推理代码中,需要通过绝对路径读取文件。模型所在的本地路径可以通过self.model_path属性获得。
训练数据的日志文件存放路径。训练过程中的迭代次数、LOSS和吞吐数据按照“迭代次数|loss|吞吐”格式记录在日志中,AI Gallery通过环境变量找到日志,从中获取实际数据绘制成“吞吐”和“训练LOSS”曲线,呈现在训练的“指标效果”中。具体请参见查看训练效果。 说明: 日志文件中的迭代次数、LOSS
/v2/{project_id}/datasets 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 data_format 否 String 数据格式。可选值如下:
是否必选 参数类型 描述 dataset_id 是 String 数据集ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 annotation_format 否 String
是否必选 参数类型 描述 dataset_id 是 String 数据集ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 status 否 Integer 数据集版本状态。可选值如下:
HOST侧用户进程,在DEVICE侧产生的AICPU、HCCP的日志,回传到HOST侧(训练容器)。 如果出现如下情况,则device日志会获取不到。 节点异常重启 被主动停止的节点 在训练进程结束后,该日志会生成到训练容器中。其中,使用MindSpore预置框架训练的device
ai:表示使用DLI提供的AI镜像。 --queue String 否 用于指定队列,填写已创建DLI的队列名。必须为通用类型的队列。队列名称的获取请参考表5。 -ec / --executor-cores String 否 Spark应用每个Executor的CPU核数。该配置项会替换sc_type中对应的默认参数。
选择左侧导航栏的“总览”,单击页面右上角的“登录指令”,在弹出的页面中单击复制登录指令。 此处生成的登录指令有效期为24小时,如果需要长期有效的登录指令,请参见获取长期有效登录指令。获取了长期有效的登录指令后,在有效期内的临时登录指令仍然可以使用。 登录指令末尾的域名为镜像仓库地址,请记录该地址,后面会使用到。
添加专属资源池节点 cluster addClusterNode 删除专属资源池节点 cluster deleteClusterNode 获取专属资源池创建结果 cluster createClusterResult AI Gallery支持审计的关键操作列表 表6 AI Gallery支持审计的关键操作列表
添加专属资源池节点 cluster addClusterNode 删除专属资源池节点 cluster deleteClusterNode 获取专属资源池创建结果 cluster createClusterResult AI Gallery支持审计的关键操作列表 表6 AI Gallery支持审计的关键操作列表
SDK时出现报错,可参见FAQ:安装ModelArts SDK报错处理报错。 步骤一:下载ModelArts SDK 下载ModelArts SDK软件包,获取最新版本的ModelArts SDK软件包。 (可选)完成软件包签名校验。 下载软件包签名校验文件。 安装openssl并进行软件一致性验证,具体验签命令如下:
peft版本升级到0.12.0 支持的模型列表 本方案支持以下模型的训练,如表1所示。 表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
peft版本升级到0.12.0 支持的模型列表 本方案支持以下模型的训练,如表1所示。 表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
baichuan2-13b 支持的模型列表 本方案支持以下模型的训练,如表1所示。 表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
baichuan2-13b 支持的模型列表 本方案支持以下模型的训练,如表1所示。 表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
system:系统提示词,用来为整个对话设定场景或提供指导原则。 tools:描述可用的外部工具或功能的信息,这些工具可能被模型用来执行某些任务或获取更多信息。 [ { "conversations": [ {
出目录下最新的权重 支持的模型列表 本方案支持以下模型的训练,如表1所示。 表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf