检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Grafana查看AOM中的监控指标 安装配置Grafana 配置Grafana数据源 配置仪表盘查看指标数据 父主题: ModelArts Standard资源监控
选或组合筛选。 给子账号配置查看所有Notebook实例的权限 当子账号被授予“listAllNotebooks”和“listUsers”权限时,在Notebook页面上,单击“查看所有”,可以看到IAM项目下所有子账号创建的Notebook实例 。配置该权限后,也可以在Note
PU、Memory等)的使用情况并上报到AOM,用户可直接在AOM上查看默认配置好的基础指标,也支持用户自定义一些指标项上报到AOM查看。 此外,还支持在ModelArts Lite Cluster上安装Prometheus开源监控工具,方便用户使用Prometheus工具在Lite
ILE表示作业的配置文件路径,如果不指定该参数,则表示配置文件为空。配置文件是一个YAML格式的文件,里面的参数就是命令的option参数。此外,如果用户在命令行中同时指定YAML_FILE配置文件和option参数,命令行中指定的option参数的值将会覆盖配置文件相同的值。 命令参数预览
但是达不到预期,可能是nv_peer_mem异常。 处理方法 查看nv_peer_mem是否已安装。 dpkg -i | grep peer 如果未安装则需要安装,安装方法参考装机指导。 如果已安装则进入下一检测项。 查看该软件是否已经加载至内核。 lsmod | grep peer
ch环境或没有安装Cuda的镜像,而不是选择一个PyTorch引擎和Cuda都不满足的镜像,如MindSpore+Cuda11.X,这样基础镜像就会很大,同样的操作最终目的镜像就很大。 此外下面举出几种常见的减少镜像大小的方式。 减少目的镜像层数 举例:假设需要安装两个pip包s
在ModelArts的Notebook的Jupyterlab可以安装插件吗? 在ModelArts的Notebook的CodeLab中能否使用昇腾卡进行训练? 如何在ModelArts的Notebook的CodeLab上安装依赖? 在ModelArts的Notebook中安装远端插件时不稳定要怎么办? 在Mo
peer-memory四个软件。 但是如果nvidia和cuda是使用runfile(local)方式安装的,那么需要在下一步中再次卸载。 若使用nvidia run包直接安装的驱动,需要找到对应的卸载命令。 sudo /usr/bin/nvidia-uninstall sudo
ModelArts会挂载硬盘至“/cache”目录,用户可以使用此目录来储存临时文件。“/cache”与代码目录共用资源,不同资源规格有不同的容量。 映射规则:当前不支持CPU配置cache盘;GPU与昇腾资源为单卡时,cache目录保持500G大小限制;除单卡外,cache盘大小与卡数有关,计算方式为卡数*500G,上限为3T。详细表1所示。
/ --profile String 否 鉴权配置项,默认是DEFAULT。 -C / --config-file String 否 配置文件本地路径,默认路径为~/.modelarts/ma-cli-profile.yaml。 配置用户名密码鉴权 以在虚拟机上使用ma-cli
SSH远程连接配置 ModelArts允许用户在Notebook实例中更改SSH配置信息,Notebook实例状态需在“停止”时才可以修改。 在创建Notebook实例时,未配置SSH远程连接,创建完成后,需要开启远程连接时,则可以在Notebook的实例详情页打开SSH的配置信息开关
可能系统资源不足、如内存不足、内存泄露。 硬件故障、如IB网络或者GPU互联设备故障等。 没安装nvidia-fabricmanager组件或被误卸载。 处理方法 如果未安装fabricmanager,则需安装改组件。 如果已安装fabricmanager,运行以下命令重启fabricmanager.service。
在“镜像管理”界面注册镜像时报错“ModelArts.6787:镜像***无法使用,在SWR路径下***无法找到指定镜像,请在SWR控制台检查镜像及访问权限配置,或使用其他镜像并重试”。 原因分析 报错主要有如下原因: 该镜像是主账号注册的private镜像,子账号在使用,而主账号没有给子账号赋SWR权限,子账号从SWR
当您不需要使用Notebook时,建议停止Notebook,避免产生不必要的费用。 创建Notebook时,如果选择使用云硬盘EVS存储配置,云硬盘EVS会一直收费,建议及时停止并删除Notebook,避免产品不必要的费用。 在创建Notebook时,默认会开启自动停止功能,在
error from cudaGetDeviceCount() 原因分析 经过对裸金属服务器排查,发现nvidia-drvier和cuda都已安装,并且正常运行。nvidia-fabricmanager服务可以使单节点GPU卡间互联,在多卡GPU机器上,出现这种问题可能是nvidia-fabricmanger异常导致。
现资源分组管理。 图3 标签 最多支持添加20个标签。 Lite Cluster资源池配置管理 在资源池详情页面,单击“配置管理”,在配置管理页面,可以修改设置监控的命名空间、修改集群配置,配置镜像预热信息。 单击监控的图标,可以开启或关闭监控信息,并设置监控的命名空间。监控使用
只有当创建团队标注任务时,标注人员才会收到邮件。创建标注团队及添加标注团队的成员并不会发送邮件。 请确保您的邮箱已完成配置且配置无误。可参考管理成员,完成邮箱配置。 团队成员自检其邮箱是否有拦截设置。 父主题: Standard数据准备
-user/work以外的目录,请将数据集等放到work路径下,不要放到非work路径下。 请不要将实例频繁保存镜像,建议一次将需要的安装包安装好,然后执行镜像保存,避免频繁执行镜像保存的动作,保存次数越多镜像越大,且多次保存后的镜像过大问题无法通过清理磁盘方式减少镜像的大小(Docker保存原理机制)。
构建Workflow多分支运行场景 Workflow多分支运行介绍 构建条件节点控制分支执行 配置节点参数控制分支执行 配置多分支节点数据 父主题: 开发Workflow命令参考
也可以根据节点输出的metric相关信息决定后续的执行流程。 配置节点参数控制分支执行与ConditionStep的使用场景类似,但功能更加强大。主要用于存在多分支选择执行的复杂场景,在每次启动执行后需要根据相关配置信息决定哪些分支需要执行,哪些分支需要跳过,达到分支部分执行的目的。