-
注册自定义镜像 - AI开发平台ModelArts
称。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 arch 否 String 该镜像所支持处理器架构类型。枚举值: X86_64:x86处理器架构。 AARCH64:ARM体系架构。 description 否 String 该镜像所对应的描述信息,长度限制512个字符
-
准备代码 - AI开发平台ModelArts
包含了本教程使用到的HuggingFace原始权重文件和Tokenizer。 标记器(Tokenizer)是NLP管道的核心组件之一。它们有一个目的:将文本转换为模型可以处理的数据。模型只能处理数字,因此标记器(Tokenizer)需要将文本输入转换为数字数据。 Qwen-14B-Chat
-
使用Cloud Shell登录训练容器 - AI开发平台ModelArts
“策略配置方式”:选择可视化视图。 “策略内容”:允许,云服务中搜索ModelArts服务并选中,操作列中搜索关键词modelarts:trainJob:exec并选中,所有资源选择默认值。 图1 创建自定义策略 在统一身份认证服务页面的左侧导航选择“用户组”,在用户组页面查找待授权
-
在线服务运行中但是预测失败时,如何排查报错是不是模型原因导致的 - AI开发平台ModelArts
推理请求经过一系列传递后最终是会进入到模型服务中,模型服务可能是以自定义镜像的方式导入的,可能是因为模型服务在处理推理请求时候出现了问题导致结果不符合预期,能准确判断出来是否是在模型服务中出的问题对于快速解决问题帮助很大。 处理方法 不管是用方式1还是方式2,要判断是否是模型服务返回的不合预期的结果都
-
资源选择推荐 - AI开发平台ModelArts
储方案使用“SFS(存放数据)+普通OBS桶(存放代码)”,采用分布式训练。 表1 不同场景所需服务及购买推荐 场景 OBS SFS SWR DEW ModelArts VPC ECS EVS 单机单卡 按需购买。(并行文件系统) × 免费。 免费。 包月购买。 免费。 × 按需购买。
-
限制用户使用公共资源池 - AI开发平台ModelArts
modelarts:service:create:此策略项表示创建推理服务。 给子账号配置权限:限制使用公共资源池 使用主用户账号登录管理控制台,单击右上角用户名,在下拉框中选择“统一身份认证”,进入统一身份认证(IAM)服务。 在统一身份认证服务页面的左侧导航选择“权限管理 > 权限”,单击右上角
-
推理精度测试 - AI开发平台ModelArts
service_name:服务名称,保存评测结果时创建目录,示例为:llama2-13b-chat-test。 eval_dataset:评测使用的评测集(枚举值),目前仅支持mmlu、ceval。 service_url:成功部署推理服务后的服务预测地址,示例:http://
-
策略及授权项说明 - AI开发平台ModelArts
进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),如果华为云帐号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用ModelArts服务的其它功能。 默认情况下,新建的IAM用户
-
删除网络资源 - AI开发平台ModelArts
0/12~24 192.168.0.0/16~24。 connection NetworkConnection object 当前网络与其他云服务的连通信息。 表7 NetworkConnection 参数 参数类型 描述 peerConnectionList Array of peerConnectionList
-
查询网络资源列表 - AI开发平台ModelArts
0/12~24 192.168.0.0/16~24。 connection NetworkConnection object 当前网络与其他云服务的连通信息。 表10 NetworkConnection 参数 参数类型 描述 peerConnectionList Array of peerConnectionList
-
服务更新场景 - AI开发平台ModelArts
其中ServiceStep节点包含两个输入,一个是模型列表对象,另一个是在线服务对象,此时在运行态通过开关的方式来控制部署/更新服务。 在线服务开关默认关闭,节点走部署服务的流程;如果需要更新服务,则手动打开开关,选择相应的在线服务即可。 进行服务更新时,需要保证被更新的服务所使用的模型与配置的模型名称相同。 父主题:
-
机器学习端到端场景 - AI开发平台ModelArts
depend_steps=[job_step] ) # 服务部署 service_step = wf.steps.ServiceStep( name="service_step", title="服务部署", inputs=[wf.steps.Serv
-
在AOM控制台查看ModelArts所有监控指标 - AI开发平台ModelArts
昇腾系列AI处理器HBM内存使用量(Snt9 AI处理器专属) 字节(Byte) >0 AI处理器HBM内存利用率 ma_container_npu_hbm_util 昇腾系列AI处理器HBM内存利用率(Snt9 AI处理器专属) 百分比(Percent) 0~100% AI处理器HBM内存带宽利用率
-
SDXL ComfyUI插件基于DevServer适配PyTorch NPU推理指导 - AI开发平台ModelArts
${docker_ip}替换为容器实际的IP地址。可以在宿主机上通过docker inspect容器ID |grep IPAddress命令查询。 Step5 服务调用 在浏览器中输入http://ip:8443访问界面,页面如下图。 图3 访问界面 双击访问页面,并搜索“Ascend”,单击“AscendNode”,如下图。
-
更新网络资源 - AI开发平台ModelArts
0/12~24 192.168.0.0/16~24。 connection NetworkConnection object 当前网络与其他云服务的连通信息。 表14 NetworkConnection 参数 参数类型 描述 peerConnectionList Array of peerConnectionList
-
使用订阅算法 - AI开发平台ModelArts
Gallery”页面,选择“模型”页签,查找您需要的算法并单击算法名称,进入算法详情页,单击右侧的“训练 > ModelArts”,选择使用算法的云服务区域跳转到ModelArts控制台。 订阅后的算法,将自动展现在“算法管理 > 我的订阅”页面中。 在“算法管理 > 我的订阅”页面,单击
-
下载数据 - AI开发平台ModelArts
单击目标数据集进入详情页面。 在详情页面可以查看数据集的“描述”、“预览”、“限制”、“版本”和“评论”等信息。 在详情页面单击“下载”。弹出“选择云服务区域”,选择区域后单击“确定”进入下载详情页面。根据数据集下载至OBS还是ModelArts数据集列表,填写不同配置信息: ModelAr
-
开发环境中如何选择存储 - AI开发平台ModelArts
的分析。 PFS是一种经过优化的高性能对象存储文件系统,存储成本低,吞吐量大,能够快速处理高性能计算(HPC)工作负载。在需要使用对象存储服务场景下,推荐使用PFS挂载。 说明: 建议上传时按照128MB或者64MB打包或者切分,使用时边下载边解压后在本地存储读取,以获取更好的读写与吞吐性能。
-
删除镜像 - AI开发平台ModelArts
无 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 arch String 该镜像所支持处理器架构类型。枚举值: X86_64:x86处理器架构。 AARCH64:ARM体系架构。 create_at Long 镜像创建的时间,UTC毫秒。 description
-
发布免费算法 - AI开发平台ModelArts
布成功,则代码开放会失败。 发布算法 进入AI Gallery首页,选择“资产集市 > 算法”,进入算法页面。 单击“发布”,弹出“选择云服务区域”,选择区域后单击“确定”跳转到“发布资产到AI Gallery”页面。 在发布资产页面,填写相关信息,发布资产。 如果是发布新资产。