检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
场景描述 本文主要介绍如何配置DCGM监控。DCGM是用于管理和监控基于Linux系统的NVIDIA GPU大规模集群的一体化工具，提供多种能力，包括主动健康监控、诊断、系统验证、策略、电源和时钟管理、配置管理和审计等。 前提条件 裸金属服务器需要安装driver、cuda、fabric-manager软件包。
本教程通过打包conda env来构建环境，也可以通过pip install、conda install等方式安装conda环境的依赖。 更多ModelArts自定义镜像介绍请见自定义镜像简介。 调试要点 确认对应的脚本、代码、流程在linux服务器上运行正常。 如果在linux服务器上运行就有问题，那么先调通以后再做容器镜像。
出现“save error”错误，可以运行代码，但是无法保存 如果当前Notebook还可以运行代码，但是无法保存，保存时会提示“save error”错误。大多数原因是华为云WAF安全拦截导致的。 当前页面，即用户的输入或者代码运行的输出有一些字符被华为云拦截，认为有安全风险。
训练环境中不同规格资源“/cache”目录的大小 在创建训练作业时可以根据训练作业的大小选择资源。 ModelArts会挂载硬盘至“/cache”目录，用户可以使用此目录来储存临时文件。“/cache”与代码目录共用资源，不同资源规格有不同的容量。 k8s磁盘的驱逐策略是90%，
AI引擎Scikit_Learn0.18.1的运行环境怎么设置？ 在ModelArts的算法管理页面，创建算法时勾选“显示旧版镜像”，选择XGBoost-Sklearn引擎即可。 ModelArts创建算法操作请参见创建算法。 ModelArts创建训练作业操作请参见创建训练作业。
在“环境变量管理”处，可以查看、新增、修改、删除环境变量。 最多支持创建100个环境变量。变量名称不可重复，只能由下划线、字母与数字组成且不能以数字开头。 查看环境变量的值：单击，可以查看当前环境变量的值。 新增环境变量：单击“新增”，在编辑环境变量弹窗中配置“变量名称”和“变量值”，单击“确定”完成配置。 修改环境
典型场景配置实践 个人用户快速配置ModelArts访问权限 配置ModelArts基本使用权限 给子账号配置开发环境基本使用权限 给子账号配置训练作业基本使用权限 给子账号配置部署上线基本使用权限 管理员和开发者权限分离 使用Cloud Shell登录训练容器 限制用户使用公共资源池
在ModelArts使用自定义镜像创建训练作业时如何激活conda环境？ 由于训练作业运行时不是交互式的shell环境，因此无法直接使用“conda activate”命令激活指定的conda环境。但是，在自定义镜像中可参考以下命令激活conda环境： source /home/ma-user/a
d与pool_name均未配置时，会使用服务层级的cluster_id及pool_name参数，均不配置时则会使用共享资源池；对于edge服务类型，为边缘资源池ID，使用边缘资源池部署服务时需确保资源池状态正常，配置该参数时需要同时配置服务层级的cluster_id参数，且该参数
正常打开页面，表示当前用户具备SFS的操作权限。 验证ECS权限。 在左上角的服务列表中，选择ECS服务，进入ECS管理控制台。 在ECS管理控制台，单击右上角的“购买弹性云服务器”，如果能正常打开页面，表示当前用户具备ECS的操作权限。 验证VPC权限。 在左上角的服务列表中，选择VPC服务，进入VPC管理控制台。
Notebook运行代码报错，在'/tmp'中到不到文件 问题现象 使用Notebook运行代码，报错： FileNotFoundError: [Error 2] No usable temporary directory found in ['/tmp', '/var/tmp'
创建Notebook失败，查看事件显示JupyterProcessKilled 问题现象 创建Notebook失败，查看事件显示JupyterProcessKilled。 图1 查看事件 原因分析 出现此故障是因为Jupyter进程被清理掉了，一般情况Notebook会自动重启的
FullAccess权限，以及SMN消息通知权限。 （可选）配置VPC权限。如果用户在创建专属资源池过程中，需要开启自定义网络配置，此处需要授予用户VPC权限。 （可选）配置SFS和SFS Turbo权限。如果用户在专属资源池中挂载SFS系统作为开发环境或训练的存储时，需要授予使用权限。 单击左上角的“查看已选”，确认已勾选的权限。
子账号在创建ModelArts的专属资源池过程中，如果需要开启自定义网络配置，需要配置VPC权限。 VPC FullAccess 可选 SFS弹性文件服务 授予子账号使用SFS服务的权限，ModelArts的专属资源池中可以挂载SFS系统作为开发环境或训练的存储。 SFS Turbo FullAccess
User：用户名，例如：ma-user - HostName：IP地址 - Port：端口号 在VS Code中手工配置远程连接时，在本地的ssh config文件中增加配置参数“StrictHostKeyChecking no”和“UserKnownHostsFile=/dev/null”
运行训练代码，出现dead kernel，并导致实例崩溃 在Notebook实例中运行训练代码，如果数据量太大或者训练层数太多，亦或者其他原因，导致出现“内存不够”问题，最终导致该容器实例崩溃。 出现此问题后，系统将自动重启Notebook，来修复实例崩溃的问题。此时只是解决了崩
在Notebook中使用tensorboard命令打开日志文件报错Permission denied 问题现象 在Notebook的Terminal中执行tensorboard --logdir ./命令，报错[Errno 13] Permission denied……。 原因分析
HostName：IP地址 - Port：端口号 vscode-server相关问题也可以使用上述的解决方法。 父主题： VS Code连接开发环境失败常见问题
问题现象 原因分析 原因分析一：实例配置的白名单IP与本地网络访问IP不符。 解决方法：请修改白名单为本地网络访问IP或者去掉白名单配置。 原因分析二：本地网络不通。 解决方法：检查本地网络以及网络限制。 父主题： VS Code连接开发环境失败常见问题
打开Notebook实例提示token不存在或者token丢失如何处理？ 问题现象 把已打开的Notebook url发送给他人使用，他人无法打开，报错“……lost token or incorrect token……”。 原因分析 原因是由于其他人没有此账号的令牌导致。 解决方案
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
