检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
据集,MetaValidation算子支持对图片和xml文件进行数据校验: 表1 图片类数据校验 异常情况 处理方案 图片本身损坏无法解码 过滤掉不能解码的图片 图片通道可能是1通道、2通道,不是常用的3通道 转换图片成RGB三通道 图片格式不在ModelArts支持的格式范围内
填写资产简介,镜像发布后将作为副标题显示在镜像页签上,方便用户快速了解资产。 支持0~90个字符,请勿在描述中输入涉政、迷信、违禁等相关敏感词,否则发布审核无法通过。 创建完成后,跳转至镜像详情页。 上传镜像文件 在镜像详情页,选择“镜像文件”页签。 单击“添加文件”,进入上传文件页面,选择本地的
String 基于标注任务创建数据集版本,标注任务ID。 description 否 String 版本描述信息,默认为空,长度为0-256位,不能包含!<>=&"'特殊字符。 父主题: 数据集版本管理
idle:空闲停止。 update_at Long 实例最后更新(不包括探活心跳)的时间,UTC毫秒。 请求示例 延长运行中的Notebook时长。 https://{endpoint}/v1/{project_id}/notebooks/{id}/lease { "duration" :
json.json)按照下面的数据存放目录要求放置。 指令微调样例数据集alpaca_gpt4_data.json.json的下载链接:https://huggingface.co/datasets/QingyiSi/Alpaca-CoT/blob/main/alpacaGPT4/alpaca_gpt4_data
json.json)按照下面的数据存放目录要求放置。 指令微调样例数据集alpaca_gpt4_data.json.json的下载链接:https://huggingface.co/datasets/QingyiSi/Alpaca-CoT/blob/main/alpacaGPT4/alpaca_gpt4_data
克隆ModelArts Ascend代码库。 新建Terminal,执行下述命令将对应的repo克隆到Notebook实例。 git clone https://gitee.com/ModelArts/modelarts-ascend.git 图1 下载示例代码 昇腾迁移案例在“~/work
录,用户可以根据实际修改。 请注意不要将训练数据放在代码目录路径下。训练数据比较大,训练代码目录在训练作业启动后会下载至后台,可能会有下载失败的风险。建议训练代码目录大小小于或等于50MB。 代码目录路径中的启动文件 代码目录路径中的启动文件作为训练启动的入口,当前只支持pyth
如果是“包年/包月”且资源到期的节点(处于宽限期),您可单击操作列的“释放”,即可实现对单个节点的资源释放。不支持批量释放处于宽限期的节点。 退订/释放操作无法恢复,请谨慎操作。 删除网络 当AI业务开发不再需要使用网络时,您可以删除网络。 请注意,删除网络会导致使用该网络的资源池网络不可用,请谨慎操作。
matching files for xxx://xxx 原因分析 在ModelArts中,用户的数据都是存放在OBS桶中,而训练作业运行在容器中,无法通过访问本地路径的方式访问OBS桶中的文件。 处理方法 读取文件报错,您可以使用Moxing将数据复制至容器中,再直接访问容器中的数据。请参见步骤1。
授权。由于华为云各服务之间存在业务依赖关系,因此给用户授予角色时,可能需要一并授予依赖的其他角色,才能正确完成业务。角色并不能满足用户对精细化授权的要求,无法完全达到企业对权限最小化的安全管控要求。 策略授权:IAM最新提供的一种细粒度授权的能力,可以精确到具体服务的操作、资源以
"w") as f: df.to_csv(f) 利用文件对象读取图片 使用opencv打开一张图片时,无法传入一个OBS路径,需要利用文件对象读取,考虑以下代码是无法读取到该图片的。 1 2 import cv2 cv2.imread('obs://bucket_name/xxx
创建OBS桶时,桶的存储类别请勿选择“归档存储”,归档存储的OBS桶会导致模型训练失败。 上传Step1 准备训练数据中下载的MNIST数据集压缩包文件到OBS的“mnist-data”文件夹中。 上传数据到OBS中时,请不要加密,否则会导致训练失败。 文件无需解压,直接上传压缩包至OBS中即可。 上传训练脚本“train
st文件等。单击图标选择OBS桶下的空目录,且此目录不能与输入位置一致,也不能为输入位置的子目录。 数据集输入位置:用来存放源数据集信息,例如本案例中从Gallery下载的数据集。单击图标选择您的OBS桶下的任意一处目录,但不能与输出位置为同一目录。 名称:默认自动生成,也可自定义修改。
package_version String 依赖包版本。不填时默认安装最新版本。不能含有中文及特殊字符&!'"<>=。 package_name String 依赖包名称。请确保包名正确且存在。不能含有中文及特殊字符&!'"<>=。 restraint String 版本限制条件
镜像状态。枚举值如下: INIT:初始化。 CREATING:镜像保存中,此时Notebook不可用。 CREATE_FAILED:镜像保存失败。 ERROR:错误。 DELETED:已删除。 ACTIVE:镜像保存成功,保存的镜像可以在SWR控制台查看,同时可以基于保存的镜像创建Notebook实例。
数据处理任务输出的结果,status为2时会出现该字段,用于特征分析任务。 status Integer 数据处理的状态。可选值如下: 0:初始化 1:运行中 2:已完成 3:失败 4:停止 task_id String 数据处理任务ID。 template TemplateParam object 数据处理模板,如算法ID和参数等。
s和SFS Turbo间网络直通,以及配置ModelArts网络关联SFS Turbo。 如果ModelArts网络关联SFS Turbo失败,则需要授权ModelArts云服务使用SFS Turbo,具体操作请参见配置ModelArts和SFS Turbo间网络直通。 图5 ModelArts网络关联SFS
tistic 参数 参数类型 描述 job_count Integer 当前实验下的训练作业总个数。 请求示例 创建实验。 POST https://{endpoint}/v2/{project_id}/training-experiments { "metadata" :
s和SFS Turbo间网络直通,以及配置ModelArts网络关联SFS Turbo。 如果ModelArts网络关联SFS Turbo失败,则需要授权ModelArts云服务使用SFS Turbo,具体操作请参见配置ModelArts和SFS Turbo间网络直通。 图5 ModelArts网络关联SFS