检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
log_url=base_bucket_path + 'log/', job_description='This is a image net train job') 参数解释: session:必选参数,1中初始化的参数。 training_files:必选参数,3中初始化的训练文件。
ain/”。 log_url 否 String 训练作业的日志OBS输出路径URL,默认为空。如:“/usr/log/”。 user_image_url 否 String 自定义镜像训练作业的自定义镜像的SWR-URL。如:“100.125.5.235:20202/jobmng/custom-cpu-base:1
训练作业的模型评测参数。具体请参见表7。 system_metric_list String 训练作业的系统监控指标。具体请参见表8。 user_image_url String 自定义镜像训练作业的自定义镜像的SWR-URL。 user_command String 自定义镜像训练作业的自定义镜像的容器的启动命令。
h、xml、html、c、properties、yml、cmake、sh、css、js、cpp、json、md、sql、bat、conf 图1 下载预览代码 在详情页面单击“订阅”,根据算法是否具有使用约束进行不同操作: 如果订阅是具有使用约束的算法,则弹出“使用约束”页面,查看并确认后单击“继续订阅”即可成功订阅。
保存镜像功能。后续训练作业使用新保存的镜像,无需每次启动训练作业时再次下载代码包以及安装依赖包,可节约训练作业启动时间。 图4 安装依赖包 图5 保存镜像 图6 填写保存镜像相关参数 父主题: 准备镜像
的基础镜像或用户第三方镜像来编写Dockerfile,构建出完全适合自己的镜像。 Notebook自定义镜像制作流程 图1 Notebook自定义镜像制作流程图(适用于场景一和场景二) 场景一:基于Notebook预置镜像或第三方镜像,在服务器上配置docker环境,编写Dock
云监控服务”,进入“云监控服务”管理控制台。 在左侧导航栏,选择“云服务监控 > ModelArts”。 查看监控图表。 查看在线服务监控图表:单击目标在线服务“操作”列的“查看监控指标”。 查看模型负载监控图标:单击目标在线服务左侧的,在下拉列表中选择模型负载“操作”列的“查看监控指标”。 在监控区
以查看该授权的权限详情。 图4 查看权限 图5 普通用户权限列表 修改授权权限范围 请注意,修改授权权限范围会导致运行中的作业因委托缺失而运行失败,请谨慎操作。 在查看授权详情时,如果想要修改授权范围,可以在权限详情页单击“去IAM修改委托权限”。 图6 去IAM修改委托权限 进
管理数据集文件 预览文件 在数据集详情页,选择“数据集文件”页签。单击文件名称即可在线预览文件内容。 仅支持预览大小不超过10MB、格式为文本类或图片类的文件。 下载文件 在数据集详情页,选择“数据集文件”页签。单击操作列的“下载”,选择保存路径单击“确认”,即可下载文件到本地。 删除文件
对处于保留期的按需计费资源执行任何操作。 保留期到期后,如果您仍未支付账户欠款,那么计算资源、云硬盘和对象存储都将被释放,数据无法恢复。 图1 按需计费资源生命周期 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 避免和处理欠费 欠费后需要及时充值,详细操作请参见账户充值。
义镜像,并上传至SWR服务。您可以在ModelArts使用此自定义镜像创建训练作业,使用ModelArts提供的资源训练模型。 制作流程 图1 训练作业的自定义镜像制作流程 场景一:预置镜像满足ModelArts训练平台约束,但不满足代码依赖的要求,需要额外安装软件包。 具体案例
elArts允许使用的镜像提供https或http服务,但必须在“容器调用接口”中明确指定该镜像使用的是https或http服务。如下图所示: 图1 容器调用接口 如果您在“容器调用接口”中选择的结果跟您镜像实际提供的结果不匹配,例如您在这里选择的是https,但镜像里面实际提供
根据自己要求适配 dataset 指令监督微调/ppo:alpaca_en_demo rm/dpo:dpo_en_demo 多模态数据集(图像):mllm_demo,identity 【可选】注册在dataset_info.json文件数据集名称。如选用定义数据请参考准备数据(可选)配置dataset_info
根据自己要求适配 dataset 指令监督微调/ppo:alpaca_en_demo rm/dpo:dpo_en_demo 多模态数据集(图像):mllm_demo,identity 【可选】注册在dataset_info.json文件数据集名称。如选用定义数据请参考准备数据(可选)配置dataset_info
根据自己要求适配 dataset 指令监督微调/ppo:alpaca_en_demo rm/dpo:dpo_en_demo 多模态数据集(图像):mllm_demo,identity 【可选】注册在dataset_info.json文件数据集名称。如选用定义数据请参考准备数据(可选)配置dataset_info
导入的OBS路径或manifest路径。 导入manifest时,path必须精确到具体manifest文件。 导入为目录时,目前仅支持数据集类型为图片分类、物体检测、文本分类、声音分类。 import_type Integer 导入方式。可选值如下: 0:目录导入 1:按manifest文件导入
2048,数量需和--prompt-tokens的数量对应。 脚本运行完成后,测试结果保存在benchmark_parallel.csv中,示例如下图所示。 图2 静态benchmark测试结果(示意图) 动态benchmark 获取测试数据集。 动态benchmark需要使用数据集进行测试,可以使用公开数据集,例
2048,数量需和--prompt-tokens的数量对应。 脚本运行完成后,测试结果保存在benchmark_parallel.csv中,示例如下图所示。 图2 静态benchmark测试结果(示意图) 动态benchmark 获取测试数据集。 动态benchmark需要使用数据集进行测试,可以使用公开数据集,例
engine_id String 训练作业选择的引擎规格ID。engine_id,engine_name+engine_version和image_url方式三选一。 engine_name String 训练作业选择的引擎名称。如果已填写engine_id,则此参数无需填写。 engine_version
n/”。 log_url 否 String 训练作业的日志OBS输出路径URL,默认为空。如:“/usr/train/”。 user_image_url 否 String 自定义镜像训练作业的自定义镜像的SWR-URL。如:“100.125.5.235:20202/jobmng/custom-cpu-base:1