检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建Workflow节点 构建Workflow多分支运行场景 编排Workflow 发布Workflow 在Workflow中更新已部署的服务 Workflow高阶能力 父主题: 使用Workflow实现低代码AI开发
部署。 约束与限制 需要申请单个模型大小配额和添加使用节点本地存储缓存的白名单。 需要使用自定义引擎Custom,配置动态加载。 需要使用专属资源池部署服务。 专属资源池磁盘空间需大于1T。 操作事项 申请扩大模型的大小配额和使用节点本地存储缓存白名单 上传模型数据并校验上传对象的一致性
创建模型规范参考 模型包结构介绍 模型配置文件编写说明 模型推理代码编写说明 自定义引擎创建模型规范 自定义脚本代码示例 父主题: 使用ModelArts Standard部署模型并推理预测
删除网络 NetworksV1 DeleteNetworksV1 更新网络 NetworksV1 UpdateNetworksV1 父主题: 使用CTS审计ModelArts服务
上,单击“查看所有”,可以看到IAM项目下所有子账号创建的Notebook实例 。配置该权限后,也可以在Notebook中访问子账号的OBS、SWR等。 使用主用户账号登录ModelArts管理控制台,单击右上角用户名,在下拉框中选择“统一身份认证”,进入统一身份认证(IAM)服务。
在ModelArts的Notebook中如何在代码中打印GPU使用信息? 用户可通过shell命令或python命令查询GPU使用信息。 使用shell命令 执行nvidia-smi命令。 依赖CUDA nvcc watch -n 1 nvidia-smi 执行gpustat命令。
前后端插件的安装,安装时注意使用jupyter服务依赖的环境“/modelarts/authoring/notebook-conda/bin/pip”进行安装,不要使用默认的anaconda(kernel依赖的python环境)的pip进行安装。 使用命令jupyter labextension
使用AWQ或SQ压缩后的模型新增版本时,权重校验失败 问题现象 使用AWQ或SQ压缩后的模型新增版本时,开启权重校验功能,权重校验失败。 原因分析 平台暂不支持压缩后的模型进行权重校验。 问题影响 压缩后的模型无法使用权重检验。 处理方法 模型压缩后,不建议进行权重校验。 父主题:
使用订阅算法训练结束后没有显示模型评估结果 问题现象 AI Gallery中的YOLOv5算法,训练结束后没有显示模型评估结果。 原因分析 未标注的图片过多,导致没有模型评估结果。 处理方法 对所有训练数据进行标注。 父主题: 预置算法运行故障
当链接关闭后失效;新打开建立的链接只允许当前设置的IP进行访问。 此处的IP地址,请填写外网IP地址。如果用户使用的访问机器和华为云ModelArts服务的网络有隔离,则访问机器的外网地址需要在主流搜索引擎中搜索“IP地址查询”获取,而不是使用ipconfig或ifconfig/ip命令在本地查询。 图4 查询外网IP地址
同一个组织内的用户可以共享使用该组织内的所有镜像。 镜像会以快照的形式保存,保存过程约5分钟,请耐心等待。此时不可再操作实例。 图2 保存镜像 快照中耗费的时间仍占用实例的总运行时长,如果在快照中时,实例因运行时间到期停止,将导致镜像保存失败。 镜像保存成功后,实例状态变为“运行中”,用户可在“镜像管理”页面查看到该镜像详情。
梯度监控工具提供了将模型梯度数据导出的能力。使用梯度监控工具,可以实现对训练过程模型每一层梯度信息进行监控,目前支持两种能力: 将模型权重的梯度数据导出。这种功能可以将模型权重的梯度值以统计量的形式采集出来,用以分析问题,例如检测确定性问题,使用训练状态监控工具监控NPU训练过程中的确定性计算问题。 将
费。 删除实例 针对不再使用的Notebook实例,可以删除以释放资源。 登录ModelArts管理控制台,在左侧菜单栏中选择“开发空间>Notebook”,进入Notebook页面。 在Notebook列表中,单击操作列的“删除”,在弹出的确认对话框中,确认信息无误,然后输入“
在ModelArts的Notebook的CodeLab中能否使用昇腾卡进行训练? 有两种情况。 第一种,在ModelArts控制台的“总览”界面打开CodeLab,使用的是CPU或GPU资源,无法使用昇腾卡训练。 第二种,如果是AI Gallery社区的Notebook案例,使用的资源是ASCEND的,“Run
的自定义策略“不允许用户使用公共资源池”,单击“下一步”,选择允许使用的资源区域,单击“确定”。 验证 使用子账号用户登录ModelArts控制台,选择“模型训练 > 训练作业”,单击“创建训练作业”,在创建训练页面,资源池规格只能选择专属资源池。 使用子账号用户登录ModelArts控制台,选择“开发空间
ache”目录,用户可以使用此目录来储存临时文件。 当前开发环境的Cache盘使用时,没有容量告警,在使用时很容易超过限制,并直接重启Notebook实例。重启后多种配置重置,会导致用户数据丢弃,环境丢失,造成很不好的使用体验。因此需要提供cache盘使用情况的监控和告警,并将数据上报至AOM平台。
开放的共享,加速AI资产的开发与落地。 发布至AI Gallery的资产是免费的,只需要支付在使用过程中消耗的硬件资源,硬件资源费用将根据实际使用情况由ModelArts管理控制台向使用方收取。 发布至AI云商店 华为云云商店是软件及服务交易交付平台。云商店AI专区汇聚优质的人工
但有效的变体,它利用了响应曲面中的平滑度。退火速率不自适应。Anneal算法从先前采样的一个试验点作为起点,然后从与先验分布相似的分布中采样每组超参数,但其密度更集中在选择的试验点周围。随着时间推移,算法会倾向于从越来越接近最佳点处采样。在采样过程中,算法可能绘制一个次佳试验作为最佳试验,以一定概率跳出局部最优解。
题,对比相同模型在迭代前后版本的API计算数值,进行问题定位。 首先通过在PyTorch训练脚本中插入dump接口,跟踪计算图中算子的前向传播与反向传播时的输入与输出,然后再使用子命令compare进行比对生成比对表格。当前比对结果支持计算Cosine(余弦相似度)、MaxAbs
在ModelArts的Notebook中,如何使用昇腾多卡进行调试? 昇腾多卡训练任务是多进程多卡模式,跑几卡需要起几个python进程。昇腾底层会读取环境变量:RANK_TABLE_FILE,开发环境已经设置,用户无需关注。比如跑八卡,可以如下片段代码: export RANK_SIZE=8