检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ssh文件夹,选择“属性”。然后单击“安全”页签。 单击“高级”,在弹出的高级安全设置界面单击“禁用继承”, 在弹出的“阻止继承”窗口单击“从此对象中删除所有继承的权限”。此时所有用户都将被删除。 添加所有者:在同一窗口中,单击“添加”,在弹出的新窗口中,单击“主体”后面的“选择主体”
mox #obs存放数据路径 obs_code_dir= "obs://<bucket_name>/llm_train" obs_data_dir= "obs://<bucket_name>/training_data" obs_model_dir= "obs://<bucket_name>/model"
r资源,并确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。 购买DevServer资源时如果无可选资源规格,需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254
Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/training-jobs/{training_job_id}/metrics/{task_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
"https://test-obs.obs.{ma_endpoint}.com:443/classify/input/cat-dog/36502.jpg......", "preview": "https://test-obs.obs.{ma_endpoint}
Standard后台交互的桥梁。 代码目录路径 您需要在OBS桶中指定代码目录,并将训练代码、依赖安装包或者预生成模型等训练所需文件上传至该代码目录下。训练作业创建完成后,ModelArts会将代码目录及其子目录下载至后台容器中。 例如:OBS路径“obs://obs-bucket/training-
池,创建后会持续计费,不使用时请及时删除。 除了ModelArts总览页呈现的计费项之外,如果用户使用了OBS、云硬盘EVS存储,也会扣费。 请前往OBS控制台,及时清空OBS中的数据。 请在ModelArts控制台上,删除带有EVS存储的Notebook实例。前往EVS控制台,及时清空EVS中的数据。
--queue TEXT Execute queue name. -obs, --obs-bucket TEXT DLI obs bucket to save logs. -sv, --spark-version TEXT
ch 1.8、ffmpeg 3和gcc 8,构建一个面向AI开发的新环境。 主要流程如下图所示: 图1 构建与调测镜像流程 本案例适用于华为云-北京四Region。 Notebook自定义镜像规范 制作自定义镜像时,Base镜像需满足如下规范: 基于昇腾、Dockerhub官网等
导入模型提示模型或镜像大小超过限制 问题现象 在导入模型时,提示模型或镜像大小超过限制。 原因分析 如果使用的是OBS导入或者训练导入,则是基础镜像、模型文件、代码、数据文件和下载安装软件包的大小总和超过了限制。 如果使用的是自定义镜像导入,则是解压后镜像和镜像下载文件的大小总和超过了限制。
__AUTO_ANNOTATION__:待确认 source_type_header 否 String 指定导出标注文件中的OBS路径前缀,默认为“obs://”,支持指定“s3://”。由于训练无法解析以“obs”开头图片路径,需要导出manifest中的路径前缀为“s3://”。 status 否 Integer
Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/training-jobs/{training_job_id}/events 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
调用认证鉴权接口获取用户Token,在后续的请求中需要将Token放到请求消息头中作为认证。 调用创建ModelArts委托接口完成包含OBS、SWR等依赖服务的ModelArts委托。 调用配置授权接口配置ModelArts授权。该接口支持管理员给IAM子用户设置委托,支持设置当前用户的访问密钥。
import moxing as mox mox.file.make_dirs('obs://modelarts-test08/moxing/test01') mox.file.exists('obs://modelarts-test08/moxing/test01') 执行结果
输入数据的名称,支持1到64位只包含英文、数字、下划线(_)和中划线(-)的字符。 type 否 String 输入项类型。枚举值如下: dataset:数据集 obs:OBS data_selector:数据选择 data 否 Object 输入项数据。 value 否 Object 输入项的值。 表5 JobOutput
获取训练作业日志的文件名 功能介绍 获取训练作业日志的文件名。 URI GET /v1/{project_id}/training-jobs/{job_id}/versions/{version_id}/log/file-names 参数说明如表1所示。 表1 参数说明 参数 是否必选
Gallery>资产集市>算法,搜索自动学习算法-图像分类。 单击算法右侧的“订阅”。 在弹出的窗口中,勾选“我已阅读并同意 《数据安全与隐私风险承担条款》 和 《华为云AI Gallery服务协议》”后,单击“继续订阅”。 订阅完成后,单击“前往控制台”,选择云服务区域为“华北-北京四”,单击“确定”后系
输入数据的名称,支持1到64位只包含英文、数字、下划线(_)和中划线(-)的字符。 type String 输入项类型。枚举值如下: dataset:数据集 obs:OBS data_selector:数据选择 data Object 输入项数据。 value Object 输入项的值。 表6 JobOutput
复制数据集到本地主要是为了防止长时间访问OBS容易导致OBS连接中断使得作业卡住,所以一般先将数据复制到本地再进行操作。 数据集复制有两种方式,推荐使用OBS路径复制。 OBS路径(推荐) 直接使用moxing的copy_parallel接口,复制对应的OBS路径。 ModelArts数据
ma2-13b中创建文件夹training_data。 利用OBS Browser+工具将步骤1下载的数据集上传至步骤2创建的文件夹目录下。得到OBS下数据集结构: obs://<bucket_name>/training_data |── train-00000-