检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
name="output_dir")], parameters=parameters, user_image_url="sdk-test/pytorch1_4:1.0.1", # 自定义镜像地址
src_path String SFS Turbo 文件系统地址。 dest_path String 训练作业的本地路径。 read_only Boolean dest_path 是否为只读权限,默认为读写权限。
表3 新版Notebook支持的镜像 镜像名称 镜像描述 适配芯片 支持SSH远程开发访问 支持在线JupyterLab访问 pytorch1.8-cuda10.2-cudnn7-ubuntu18.04 CPU、GPU通用算法开发和训练基础镜像,预置AI引擎PyTorch1.8 CPU
image_url String 算法选择的自定义镜像地址。 表14 code_tree 参数 参数类型 描述 name String 算法目录树当前层级目录名。 children Object 算法目录树当前层级目录下子文件和子目录。
src_path 是 String SFS Turbo 文件系统地址。 dest_path 是 String 训练作业的本地路径。 read_only 否 Boolean dest_path 是否为只读权限,默认为读写权限。
加载tokenizer与Hugging Face权重时,对应的存放地址。请根据实际规划修改。 SHELL_FOLDER $(dirname $(readlink -f "$0")) 表示执行脚本时的路径。 MODEL_NAME llama2-13b 对应模型名称。
可以按照实例指定“data_url”和“train_url”,在代码中解析超参分别指定训练所需要的数据文件本地路径和训练生成的模型输出本地路径。 “job_config”字段下的“parameters_customization”表示是否支持自定义超参,此处填true。
加载tokenizer与Hugging Face权重时,对应的存放地址。请根据实际规划修改。 SHELL_FOLDER $(dirname $(readlink -f "$0")) 表示执行脚本时的路径。 MODEL_NAME llama2-70b 对应模型名称。
枚举值如下: dataset:数据集 obs:OBS swr:SWR model_list:AI应用列表 label_task:标注任务 service:在线服务 conditions Array of Constraint objects 数据约束条件。
os.modelarts/service.console.url String 订购订单支付完成后跳转的url地址。 os.modelarts/order.id String 订单id,包周期资源池创建或者计费模式变更的时候该参数必需。
src_path 是 String SFS Turbo 文件系统地址。 dest_path 是 String 训练作业的本地路径。 read_only 否 Boolean dest_path 是否为只读权限,默认为读写权限。
url String 链接仓库地址。 credential Object 证书信息,请参见表30。 表24 credential字段数据结构说明 参数 参数类型 说明 ssh_private_key String ssh私有证书。
url String 链接仓库地址。 credential Object 证书信息,请参见表30。 表21 credential字段数据结构说明 参数 参数类型 说明 ssh_private_key String ssh私有证书。
加载tokenizer与Hugging Face权重时,对应的存放地址。请根据实际规划修改。 SHELL_FOLDER $(dirname $(readlink -f "$0")) 表示执行脚本时的路径。 MODEL_NAME llama2-70b 对应模型名称。
加载tokenizer与Hugging Face权重时,对应的存放地址。请根据实际规划修改。 SHELL_FOLDER $(dirname $(readlink -f "$0")) 表示执行脚本时的路径。 MODEL_NAME llama2-70b 对应模型名称。
加载tokenizer与Hugging Face权重时,对应的存放地址。请根据实际规划修改。 SHELL_FOLDER $(dirname $(readlink -f "$0")) 表示执行脚本时的路径。 MODEL_NAME llama2-13b 对应模型名称。
通过CES云监控可以查看ModelArts的在线服务和对应模型负载运行状态的整体情况,并设置监控告警。 CES FullAccess 可选 SMN消息服务 授予子用户使用SMN消息服务的权限。SMN消息通知服务配合CES监控告警功能一起使用。
在作业详情页可以获取“作业日志路径”,单击OBS地址可以直接跳转到OBS控制台查看日志。 图3 日志存放路径 您可以通过ma-pre-start脚本修改默认环境变量配置。
ip 否 String 用户GaussDB(DWS)集群的IP地址。 port 否 String 用户GaussDB(DWS)集群的端口。 queue_name 否 String 表格数据集,DLI队列名。 subnet_id 否 String MRS集群的子网ID。
枚举值如下: dataset:数据集 obs:OBS swr:SWR model_list:AI应用列表 label_task:标注任务 service:在线服务 conditions 否 Array of Constraint objects 数据约束条件。