检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在ModelArts左侧菜单栏中,选择“开发环境>Notebook”,界面未提示权限不足,表明ModelArts的使用权限和委托授权配置成功。 如果提示“需获取依赖服务的授权”,说明未配置ModelArts委托访问授权,请参考Step3 为用户配置ModelArts的委托访问授权,使用主用户为子账号配置ModelArts委托访问授权。
支持 支持 支持 支持 支持 图像分割 支持 支持 支持 支持 支持 支持 支持 - 声音分类 支持 支持 - 支持 支持 支持 - - 语音内容 支持 支持 - 支持 支持 支持 - - 语音分割 支持 支持 - 支持 支持 支持 - - 文本分类 支持 支持 - 支持 支持 支持
当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254),以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。
1所示,单击“确定”。 “策略名称”:设置自定义策略名称,例如:查看Notebook所有实例。 “策略配置方式”:选择可视化视图。 “策略内容”:允许,云服务中搜索ModelArts服务并选中,操作列中搜索关键词modelarts:notebook:listAllNotebooks并选中,所有资源选择默认值。
“策略名称”:设置自定义策略名称,例如:不允许用户使用公共资源池创建。 “策略配置方式”:选择可视化视图或者JSON视图均可。 “策略内容”:拒绝,云服务中搜索“ModelArts”服务并选中,“操作”中查找写操作“modelarts:trainJob:create”、“mo
认关闭,即无限制使用。如果打开路数限制,除了设置资产免费使用的路数,还可以设置到期后是否续订。 阅读并同意《华为云AI Gallery数字内容发布协议》和《华为云AI Gallery服务协议》。 单击“发布”。 发布使用容器镜像导入的资产时,后台会进行资产安全扫描,如果扫描发现资
标注任务的类型。可选值如下: 0:图像分类 1:物体检测 3: 图像分割 100:文本分类 101:命名实体 102:文本三元组 200:声音分类 201:语音内容 202:语音分割 400:表格数据集 600:视频标注 900:自由格式 description 否 String 标注任务的描述信息。
址是否和实际地址一致,大小写,拼写等是否一致。 检查用户给ModelArts的委托中是否有SWR的权限,可以在权限管理中查看对应用户的授权内容,查看授权详情。如果没有对应权限,需要到统一身份认证服务给对应委托中加上对应权限。 图1 权限管理 图2 查看权限详情和去IAM修改委托权限
选择该模型资产是否支持在单机多卡的资源节点上进行并行训练或推理。 README.md - 资产的README内容,支持添加资产的简介、使用场景、使用方法等信息。 当托管的是自定义镜像时,填写的内容要满足自定义镜像规范,否则该镜像无法正常使用AI Gallery工具链服务(微调大师和在线推理服务)。
查看日志和性能 查看日志 训练过程中,训练日志会在第一个的Rank节点打印。 图1 打印训练日志 训练完成后,如果需要单独获取训练日志文件,日志存放在第一个的Rank节点中;日志存放路径为:对应表1表格中output_dir参数值路径下的trainer_log.jsonl文件 查看性能
|---pip-requirements.txt #定义的配置文件,用于指定依赖包的包名及版本号。 “pip-requirements.txt”文件内容如下所示: alembic==0.8.6 bleach==1.4.3 click==6.6 依赖包为whl包时 如果训练后台不支持下载开源
以修改command为对应的任务启动命令(如“python inference.py”),任务会在启动容器后执行。 config.yaml内容如下: apiVersion: apps/v1 kind: Deployment metadata: name: yourapp labels:
csv中,示例如下图所示。 图1 静态benchmark测试结果(示意图) 动态benchmark 本章节介绍如何进行动态benchmark验证。 获取数据集。动态benchmark需要使用数据集进行测试,可以使用公开数据集,例如Alpaca、ShareGPT。也可以根据业务实际情况,使用generate_datasets
csv中,示例如下图所示。 图1 静态benchmark测试结果(示意图) 动态benchmark 本章节介绍如何进行动态benchmark验证。 获取数据集。动态benchmark需要使用数据集进行测试,可以使用公开数据集,例如Alpaca、ShareGPT。也可以根据业务实际情况,使用generate_datasets
并且以行数进行对应。如标注文件中的第一行表示的是标注对象文件中的第一行的标注。 例如,标注对象“COMMENTS_114745.txt”的内容如下所示。 手感很好,反应速度很快,不知道以后怎样 三个月前买了一个用的非常好果断把旧手机替换下来尤其在待机方面 没充一会电源怎么也会发热呢音量健不好用回弹不好
训练详情页 作业运行中,没有用户日志情况下,在ModelArts控制台主页面单击训练详情页面后加载页面内容。 2.5秒 JupyterLab页面 进入JupyterLab页面后加载页面内容。 0.5秒 Notebook列表页 已有50个Notebook实例,在ModelArts控制台主页面单击开发环境后的时间。
execution_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 workflow_id 是 String 工作流的ID。 execution_id 是 String 工作流执行ID。
file文件组网两种方式。当配置了环境变量MS_RANKTABLE_ENABLE="True",则msrun会读取rank table file文件内容进行组网。否则默认使用动态组网。 msrun使用如下命令启动训练作业的“启动文件”。 msrun --worker_num=${msrun_worker_num}
本方案目前仅适用于部分企业客户,完成本方案的部署,需要先联系您所在企业的华为方技术支持。 约束限制 本文档适配昇腾云ModelArts 6.3.905版本,请参考表1获取配套版本的软件包,请严格遵照版本配套关系使用本文档。 本文档中的模型运行环境是ModelArts Lite DevServer。 镜像适配的Cann版本是cann_8
GPU监视器命令行工具,用于查看GPU的使用情况和性能指标,可以帮助用户进行GPU优化和故障排除。 但是建议在业务软件或训练算法中,避免频繁使用“nvidia-smi”命令功能获取相关信息,存在锁死的风险。出现D+进程后可以尝试如下方法: 方法1: 可以根据ps -aux查到的进程号, 使用kill -9强制关闭进程。