-
准备代码 - AI开发平台ModelArts
2推理部署代码和推理评测代码。代码包具体说明请参见模型软件包结构说明。 获取路径:Support-E 说明: 如果没有下载权限,请联系您所在企业的华为方技术支持下载获取。 AscendCloud-OPP-6.3.905-xxx.zip 推理依赖的算子包。 模型软件包结构说明 本教程需要使
-
在lite资源池上使用Snt9B完成推理任务 - AI开发平台ModelArts
config.yaml 检查pod启动情况,执行下述命令。如果显示“1/1 running”状态代表启动成功。 kubectl get pod -A 进入容器,{pod_name}替换为您的pod名字(get pod中显示的名字),{namespace}替换为您的命名空间(默认为default)。
-
开发环境中如何选择存储 - AI开发平台ModelArts
存储支持在线按需扩容。 缺点是只能在单个开发环境中使用 。 并行文件系统PFS 说明: 并行文件系统PFS为白名单功能,如需使用,请联系华为技术支持开通。 适合直接使用PFS桶作为持久化存储进行AI开发和探索场景。 数据集的存储。将数据集直接挂载到Notebook进行浏览和数据
-
Gallery CLI配置工具介绍 - AI开发平台ModelArts
CLI工具包,完成安装配置:安装Gallery CLI配置工具。 登录Gallery CLI配置工具:登录登出Gallery CLI配置工具。 使用Gallery CLI配置工具:使用Gallery CLI配置工具下载文件。 登出Gallery CLI配置工具:登录登出Gallery CLI配置工具。 父主题:
-
镜像保存时报错“The container size (xG) is greater than the threshold (25G)”如何解决? - AI开发平台ModelArts
commit,再配合一系列自动化操作来上传和更新管理数据等。每次Commit都会带来额外的一些开销,层数越多镜像越大,如果多次保存后就会有存储显示没那么大,但是镜像已经很大了。镜像超大会导致加载的各种问题,所以这里做了限制。这种场景下,建议找到原始镜像重新构建环境进行保存。 解决方法
-
如何在Notebook开发环境中配置Conda源 - AI开发平台ModelArts
conda update anaconda #更新 anaconda 环境管理 conda env list #显示所有的虚拟环境 conda info -e #显示所有的虚拟环境 conda create -n myenv python=3.7 #创建一个名为myenv环境,指定Python版本是3
-
设置告警规则 - AI开发平台ModelArts
只有“运行中”的在线服务,支持对接CES监控。 前提条件 已创建ModelArts在线服务。 已在云监控服务创建ModelArts监控服务。登录“云监控服务”控制台,在“自定义监控”页面,根据界面提示创建ModelArts监控服务。 操作步骤 设置告警规则有多种方式。您可以根据实际应用场景,选择设置告警规则的方式。
-
准备镜像 - AI开发平台ModelArts
在SWR服务页面创建镜像组织。 图2 创建镜像组织 Step4 在ECS中Docker登录 在SWR中单击右上角的“登录指令”,然后在跳出的登录指定窗口,单击复制临时登录指令。在创建的ECS中复制临时登录指令,即可完成登录。 图3 复制登录指令 Step5 获取推理基础镜像 建议使用官方提供的镜像部署服
-
查询标注团队成员详情 - AI开发平台ModelArts
0:标注者 1:审核者 2:团队管理者 3:数据集拥有者 status Integer 标注成员的当前登录状态。可选值如下: 0:未发送邀请邮件 1:已发送邀请邮件但未登录 2:已登录 3:标注成员已删除 update_time Long 更新时间。 worker_id String
-
创建OBS桶 - AI开发平台ModelArts
OBS桶中进行存储、读取。 因此,在使用ModelArts之前您需要创建一个OBS桶,然后在OBS桶中创建文件夹用于存放数据。 操作步骤 登录OBS管理控制台,在桶列表页面右上角单击“创建桶”,创建OBS桶。例如,创建名称为“c-flowers”的OBS桶。 图1 创建桶 创建桶
-
使用案例 - AI开发平台ModelArts
IMAGE, # 数据集对应的数据类型, 示例为图像 ) ) # 注意dataset_name这个参数配置的数据集名称需要用户自行确认在该账号下未被他人使用,否则会导致期望的数据集未被创建,而后续节点错误使用了他人创建的数据集 workflow = wf.Workflow(
-
使用ma-cli ma-job get-engine命令查询ModelArts训练AI引擎 - AI开发平台ModelArts
this message and exit. 表1 参数说明 参数名 参数类型 是否必选 参数说明 -v / --verbose Bool 否 显示详细的信息开关,默认关闭。 示例 查看训练作业的AI引擎。 ma-cli ma-job get-engine 父主题: 使用ma-cli
-
kubectl工具配置 - AI开发平台ModelArts
ectl后的“配置”按钮。 按照界面提示步骤操作即可。 图6 配置kubectl 验证。 在安装了kubectl工具的机器上执行如下命令,显示集群节点即为成功。 kubectl get node 父主题: k8s Cluster资源配置
-
训练模式选择 - AI开发平台ModelArts
rker-{index}.log # 在屏幕上显示日志(汇总) modelarts-job-{job-id}-proc-rank-{rank-id}-device-{device-id}.txt # 每个device的日志显示在屏幕上 modelarts-job-{job-id}/
-
在lite资源池上使用Snt9B完成分布式训练任务 - AI开发平台ModelArts
config.yaml 检查pod启动情况,执行下述命令。如果显示“1/1 running”状态代表启动成功。 kubectl get pod -A 进入容器,{pod_name}替换为您的pod名字(get pod中显示的名字),{namespace}替换为您的命名空间(默认为default)。
-
算链编排界面说明 - AI开发平台ModelArts
呈现蓝色,右侧居中具有运行中标志。 运行成功 呈现绿色。 运行失败 呈现红色 算子菜单 鼠标右键单击算子节点出现算子菜单,包含编辑、删除、高亮显示、设置参数、编辑代码、运行至此算子、运行当前算子、展示运行结果功能,如图3所示。算子菜单说明如表4所示。 图3 算子菜单 表4 算子菜单说明
-
环境准备 - AI开发平台ModelArts
环境准备 开通裸金属服务器资源(请见DevServer资源开通),并在裸金属服务器上搭建迁移环境请见裸金属服务器环境配置指导。 启动华为云预置镜像环境,本案例使用的贵阳一的镜像环境。 #shell docker run --privileged --name chatglm-test
-
启动团队标注任务 - AI开发平台ModelArts
0:打标者 1:审核者 2:团队管理者 3:数据集拥有者 status 否 Integer 标注成员的当前登录状态。可选值如下: 0:未发送邀请邮件 1:已发送邀请邮件但未登录 2:已登录 3:标注成员已删除 update_time 否 Long 更新时间。 worker_id 否 String
-
使用ma-cli ma-job get-flavor命令查询ModelArts训练资源规格 - AI开发平台ModelArts
--flavor-type String 否 资源规格类型,如果不指定默认返回所有的资源规格。 -v / --verbose Bool 否 显示详细的信息开关,默认关闭。 示例 查看训练作业的资源规格及类型。 ma-cli ma-job get-flavor 父主题: 使用ma-cli
-
使用ma-cli image prune命令在ModelArts Notebook中清理镜像构建缓存 - AI开发平台ModelArts
清理缓存时保留较新的缓存,只清除历史缓存,单位为s(秒)、m(分钟)、h(小时),默认是0s,表示全部清理。 -v / --verbose Bool 否 显示详细的信息开关,默认关闭。 示例 清理保留1MB镜像缓存。 ma-cli image prune -ks 1 父主题: 使用ma-cli image构建镜像