检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
delay Boolean 是否为延迟输入的参数,默认为否。 default Object 配置参数的默认值。 value Object 参数值。 enum Array of objects Workflow工作流配置参数的枚举项。 used_steps Array of strings
cluster_name 否 String MRS集群名称。可登录MRS控制台查看。 database_name 否 String 导入表格数据集,数据库名字。 input 否 String 表格数据集,HDFS路径。例如/datasets/demo。 ip 否 String 用户GaussDB(DWS)集群的IP地址。
在弹出的“添加授权”窗口中,选择: 授权对象类型:所有用户 委托选择:新增委托 权限配置:普通用户 选择完成后勾选“我已经详细阅读并同意《ModelArts服务声明》”,然后单击“创建”。 图1 配置委托访问授权 完成配置后,在ModelArts控制台的权限管理列表,可查看到此账号的委托配置信息。 图2
镜像xxx不存在名为xxx的标签。 Image %s does not have the %s tag. 请联系技术支持。 异常 模型配置文件包含非法参数值:xxx。 Invalid %s in config.json. 请删除模型配置文件中的非法参数后重试。 异常 获取镜像xxx的标签列表失败。
delay Boolean 是否为延迟输入的参数,默认为否。 default Object 配置参数的默认值。 value Object 参数值。 enum Array of objects Workflow工作流配置参数的枚举项。 used_steps Array of strings
delay Boolean 是否为延迟输入的参数,默认为否。 default Object 配置参数的默认值。 value Object 参数值。 enum Array of objects Workflow工作流配置参数的枚举项。 used_steps Array of strings
托管数据集到AI Gallery AI Gallery上每个资产的文件都会存储在线上的AI Gallery存储库(简称AI Gallery仓库)里面。每一个数据集实例视作一个资产仓库,数据集实例与资产仓库之间是一一对应的关系。例如,模型名称为“Test”,则AI Gallery仓
duration Integer 启动后设置的自动停止时间,单位为秒。 store_time Integer 该规格实例处于非活跃状态,在数据库最长保存的时长。单位为小时。 默认为“-1”, 表示可以无限制保存。 billing_flavor String 计费规格。当该字段为空时,使用规格名称计费。
duration Integer 启动后设置的自动停止时间,单位为秒。 store_time Integer 该规格实例处于非活跃状态,在数据库最长保存的时长。单位为小时。 默认为“-1”, 表示可以无限制保存。 billing_flavor String 计费规格。当该字段为空时,使用规格名称计费。
/usr/local/Ascend /usr/local/Ascend # 设置容器镜像预置环境变量 # 请务必设置 CANN 相关环境变量 # 请务必设置 Ascend Driver 相关环境变量 # 请务必设置 PYTHONUNBUFFERED=1, 以免日志丢失 ENV PATH=
3 # 设置容器镜像默认用户与工作目录 USER ma-user WORKDIR /home/ma-user # 设置容器镜像预置环境变量 # 请务必设置 PYTHONUNBUFFERED=1, 以免日志丢失 ENV PATH=/home/ma-user/miniconda3/bin:$PATH
--from=builder /home/ma-user/miniconda3 /home/ma-user/miniconda3 # 设置容器镜像预置环境变量 # 请务必设置 PYTHONUNBUFFERED=1, 以免日志丢失 ENV PATH=$PATH:/home/ma-user/miniconda3/bin
“容器引擎空间大小”、写入模式。 容器引擎空间大小:默认容器引擎空间大小为50GiB。默认值与最小值均为50GiB,不同规格的最大值不同,数值有效范围请参考界面提示。 写入模式:部分规格支持设置容器盘的写入模式为线性或条带化。线性逻辑卷是将一个或多个物理卷整合为一个逻辑卷,实际写
--from=builder /home/ma-user/miniconda3 /home/ma-user/miniconda3 # 设置容器镜像预置环境变量 # 请务必设置 PYTHONUNBUFFERED=1, 以免日志丢失 ENV PATH=$PATH:/home/ma-user/miniconda3/bin
cluster_name 否 String MRS集群名称。可登录MRS控制台查看。 database_name 否 String 导入表格数据集,数据库名字。 input 否 String 表格数据集,HDFS路径。例如/datasets/demo。 ip 否 String 用户GaussDB(DWS)集群的IP地址。
如何安装C++的依赖库? 在训练作业的过程中,会使用到第三方库。以C++为例,请参考如下操作步骤进行安装: 将源码下载至本地并上传到OBS。使用OBS客户端上传文件的操作请参见上传文件。 将上传到OBS的源码使用Moxing复制到开发环境Notebook中。 以下为使用EVS挂载
list是否包含所需的包,查看容器直接调用的python是否是自己所需要的那个(如果容器镜像装了多个python,需要设置python路径的环境变量)。 测试训练启动脚本。 优先使用手工进行数据复制的工作并验证 一般在镜像里不包含训练所用的数据和代码,所以在启动镜像以后需要手工把需要的
过编辑 1_preprocess_data.sh 、2_convert_mg_hf.sh 中的具体python指令运行。本代码中有许多环境变量的设置,在下面的指导步骤中,会展开进行详细的解释。 若用户希望自定义参数进行训练,可直接编辑对应模型的训练脚本,可编辑参数以及详细介绍如下。以
1_preprocess_data.sh 、2_convert_mg_hf.sh中的具体python指令,并在Notebook环境中运行执行。本代码中有许多环境变量的设置,在下面的指导步骤中,会展开进行详细的解释。 如果用户希望自定义参数进行训练,可直接编辑对应模型的训练脚本,可编辑参数以及详细介绍如下。以llama2-13b预训练为例:
过编辑 1_preprocess_data.sh 、2_convert_mg_hf.sh 中的具体python指令运行。本代码中有许多环境变量的设置,在下面的指导步骤中,会展开进行详细的解释。 如果用户希望自定义参数进行训练,可直接编辑对应模型的训练脚本,可编辑参数以及详细介绍如