检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
会默认放入回收站占用内存，导致磁盘空间不足。 磁盘配额不足。 处理方法 查看虚拟机所使用的存储空间，再查看回收站文件占用内存，根据实际删除回收站里不需要的大文件。 在Notebook实例详情页，查看实例的存储容量。 执行如下命令，排查虚拟机所使用的存储空间，一般接近存储容量，请排查回收站占用内存。
查看日志和性能 查看日志 若查看启动作业日志信息，可通过以下命令打印正在启动的日志信息。其中${pod_name}为pod信息中的NAME，例如vcjob-main-0。 kubectl logs -f ${pod_name} 训练过程中，训练日志会在最后的Rank节点打印。 图1
查看日志和性能 查看日志 若查看启动作业日志信息，可通过以下命令打印正在启动的日志信息。其中${pod_name}为pod信息中的NAME，例如vcjob-main-0。 kubectl logs -f ${pod_name} 训练过程中，训练日志会在最后的Rank节点打印。 图1
查看日志和性能 查看日志 若查看启动作业日志信息，可通过以下命令打印正在启动的日志信息。其中${pod_name}为pod信息中的NAME，例如vcjob-main-0。 kubectl logs -f ${pod_name} 训练过程中，训练日志会在最后的Rank节点打印。 图1
查看日志和性能 查看日志 若查看启动作业日志信息，可通过以下命令打印正在启动的日志信息。其中${pod_name}为pod信息中的NAME，例如vcjob-main-0。 kubectl logs -f ${pod_name} 训练过程中，训练日志会在最后的Rank节点打印。 图1
常见的磁盘空间不足的问题和解决办法 该章节用于统一整体所有的常见的磁盘空间不足的问题和解决办法。减少相关问题文档的重复内容。 问题现象 训练过程中复制数据/代码/模型时出现如下报错： 图1 错误日志 原因分析 出现该问题的可能原因如下： 本地数据、文件保存将"/cache"目录空间用完。
查看日志和性能 单击作业详情页面，则可查看训练过程中的详细信息。 图1 查看训练作业 在作业详情页的日志页签，查看最后一个节点的日志，其包含“elapsed time per iteration (ms)”数据，可换算为tokens/s/p的性能数据。 吞吐量（tokens/s/p）：global
查看日志和性能 单击作业详情页面，则可查看训练过程中的详细信息。 图1 查看训练作业 在作业详情页的日志页签，查看最后一个节点的日志，其包含“elapsed time per iteration (ms)”数据，可换算为tokens/s/p的性能数据。 吞吐量（tokens/s/p）：global
查看日志和性能 单击作业详情页面，则可查看训练过程中的详细信息。 图1 查看训练作业 在作业详情页的日志页签，查看最后一个节点的日志，其包含“elapsed time per iteration (ms)”数据，可换算为tokens/s/p的性能数据。 吞吐量（tokens/s/p）：global
查看日志和性能 单击作业详情页面，则可查看训练过程中的详细信息。 图1 查看训练作业 在作业详情页的日志页签，查看最后一个节点的日志，其包含“elapsed time per iteration (ms)”数据，可换算为tokens/s/p的性能数据。 吞吐量（tokens/s/p）：global
公共资源池容器Docker size的大小最大支持50G，专属资源池Docker size的大小最大支持50G。 如果使用的是OBS导入或者训练导入，则包含基础镜像、模型文件、代码、数据文件和下载安装软件包的大小总和。 如果使用的是自定义镜像导入，则包含解压后镜像和镜像下载文件的大小总和。 父主题：
将Notebook的Conda环境迁移到SFS磁盘 本文介绍了如何将Notebook的Conda环境迁移到SFS磁盘上。这样重启Notebook实例后，Conda环境不会丢失。 步骤如下: 创建新的虚拟环境并保存到SFS目录 克隆原有的虚拟环境到SFS盘 重新启动镜像激活SFS盘中的虚拟环境
单击右上角图标，即可修改DashBoard整体的数据查询时间。除固定查询时间外的其他panel，都会应用该数据查询时间范围。 增加新panel 图8 新增一个panel 单击右上角的'+'图标，即可新增一个panel。 新增一个panel后，即可在其中查询相应的数据。将数据源和资源池进行如下的相应选择，即可应用当前DashBoard的对应配置。
”目录的大小是多少？ 在创建训练作业时可以根据训练作业的大小选择资源。 ModelArts会挂载硬盘至“/cache”目录，用户可以使用此目录来储存临时文件。“/cache”与代码目录共用资源，不同资源规格有不同的容量。 k8s磁盘的驱逐策略是90%，所以可以正常使用的磁盘大小应该是“cache目录容量
如何查看ModelArts中正在收费的作业？ 在ModelArts管理控制台，单击左侧菜单栏的“总览”，您可以在“总览>生产概况”区域查看正在收费的作业。根据实际情况进入管理页面，停止并删除实例。例如，Notebook正在计费，请前往“开发空间 > Notebook”页面，将状态
gpu_type 容器使用的GPU的型号。 node级别指标 cluster_id 该node所属CCE集群的ID。 node_ip 节点的IP。 host_name 节点的主机名。 pool_id 物理专属池对应的资源池ID。 project_id 物理专属池的用户的project id。
对目标集群的6号卡step16与标杆集群的6号卡step16进行了api（cpu侧的torch aten算子任务下发）的性能对比。基于该对比数据，可以判断两张卡上的aten算子是否存在下发性能差异。 图8 目标集群profiling数据与标杆集群profiling数据的api下发对比
Cluster资源池详情页的配置管理页面中先打开“监控”开关。 开通此功能后，兼容Prometheus指标格式的第三方组件可通过API http://<节点IP>:<端口号>/metrics获取ModelArts采集到的指标数据。 开通前需要确认使用的端口号，端口号可选取1012
如何查看ModelArts的Notebook使用的cuda版本？ 执行如下命令查看环境中的cuda版本。 ll /usr/local | grep cuda 举例： 图1 查看当前环境的cuda版本 如图1所示，当前环境中cuda版本为10.2 父主题： Standard Notebook
查看批量服务的事件 服务的（从用户可看见部署服务任务开始）整个生命周期中，每一个关键事件点在系统后台均有记录，用户可随时在对应服务的详情页面进行查看。 方便用户更清楚的了解服务部署和运行过程，遇到任务异常时，更加准确的排查定位问题。可查看的事件点包括： 表1 事件 事件类型 事件
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
