正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何查看训练作业资源占用情况? 在ModelArts管理控制台,选择“模型训练>训练作业”,进入训练作业列表页面。在训练作业列表中,单击目标作业名称,查看该作业的详情。您可以在“资源占用情况”页签查看到如下指标信息。 CPU:CPU使用率(cpuUsage)百分比(Percent)。
查看训练作业资源占用情况 如何查看训练作业资源使用详情 在ModelArts管理控制台的左侧导航栏中选择“模型训练 > 训练作业”。 在训练作业列表中,单击作业名称进入训练作业详情页面。 在训练作业详情页面,单击“资源占用情况”页签查看计算节点的资源使用情况,最多可显示最近三天的
GPU A系列裸金属服务器没有任务但GPU被占用如何解决 问题现象 服务器没有任务,但GPU显示被占用。 图1 显卡运行状态 处理方法 nvidia-smi -pm 1 父主题: Lite Server
调用API提交训练作业后,能否绘制作业的资源占用率曲线? 调用API提交训练作业后,您可登录ModelArts控制台,在“模型训练 > 训练作业”中,单击“名称/ID”进入“训练作业详情”页面的“资源占用情况”模块,查看作业的资源占用率曲线。 父主题: API/SDK
服务状态一直处于“部署中”,查看AI应用日志未发现服务有明显错误。 原因分析 一般情况都是AI应用的端口配置有问题。建议您首先检查创建AI应用的端口是否正确。 处理方法 AI应用的端口没有配置,默认为8080,如您在自定义镜像配置文件中修改了端口号,需要在部署AI应用时,配置对应的端口号,使新的AI应用重新部署服务。
文件后,会默认放入回收站占用内存,导致磁盘空间不足。 磁盘配额不足。 处理方法 查看虚拟机所使用的存储空间,再查看回收站文件占用内存,根据实际删除回收站里不需要的大文件。 在Notebook实例详情页,查看实例的存储容量。 执行如下命令,排查虚拟机所使用的存储空间,一般接近存储容量,请排查回收站占用内存。
开通此功能后,兼容Prometheus指标格式的第三方组件可通过API http://<节点IP>:<端口号>/metrics获取ModelArts采集到的指标数据。 开通前需要确认使用的端口号,端口号可选取10120~10139范围内的任一端口号,请确认选取的端口号在各个节点上都没有被其他应用占用。 Kuber
单击右上角图标,即可修改DashBoard整体的数据查询时间。除固定查询时间外的其他panel,都会应用该数据查询时间范围。 增加新panel 图8 新增一个panel 单击右上角的'+'图标,即可新增一个panel。 新增一个panel后,即可在其中查询相应的数据。将数据源和资源池进行如下的相应选择,即可应用当前DashBoard的对应配置。
查看服务的事件 服务的(从用户可看见部署服务任务开始)整个生命周期中,每一个关键事件点在系统后台均有记录,用户可随时在对应服务的详情页面进行查看。 方便用户更清楚的了解服务部署和运行过程,遇到任务异常时,更加准确的排查定位问题。可查看的事件点包括: 表1 事件 事件类型 事件信息
使用自定义镜像创建在线服务,如何修改默认端口 当模型配置文件中定义了具体的端口号,例如:8443,创建AI应用没有配置端口(默认端口号为8080),或者配置了其他端口号,均会导致服务部署失败。您需要把AI应用中的端口号配置为8443,才能保证服务部署成功。 修改默认端口号,具体操作如下: 登录ModelArts控制台,左侧菜单选择“AI应用管理
在ModelArts控制台查看监控指标 在总览页查看ModelArts监控指标 在ModelArts控制台总览页,支持查看生产概况、资源占用情况、训练作业资源利用情况。您可以单击生产概况的链接、资源池名称、训练作业,跳转到对应界面查看更多详情。 图1 总览页查看监控信息 在总览页查看全部事件时,
查看性能 查看SFT全参微调的日志和性能,具体方法请参见查看日志和性能。 父主题: SFT全参微调
查看AI应用的事件 创建AI应用的(从用户可看见创建AI应用任务开始)过程中,每一个关键事件点在系统后台均有记录,用户可随时在对应AI应用的详情页面进行查看。 方便用户更清楚的了解创建AI应用过程,遇到任务异常时,更加准确的排查定位问题。可查看的事件点包括: 事件类型 事件信息(
如何查看在哪个区域购买的套餐包? 登录ModelArts管理控制台,单击“总览”页的“我的套餐包”,进入“资源包”页面。 在“资源包”页面,您可以在“资源包列表”中查看已购买的套餐包。单击“资源包名称/ID”进入资源包详情。 在资源包详情页面,即可查看套餐包的购买区域。 图1 查看资源包区域
如何查看ModelArts中正在收费的作业? 在ModelArts管理控制台,单击左侧菜单栏的“总览”,您可以在“总览”区域查看正在收费的作业。根据实际情况进入管理页面,停止实例。例如,Notebook正在计费,请前往“开发空间 > Notebook”页面,将状态为“运行中”的Notebook实例停止。
监控资源 用户可以通过资源占用情况窗口查看计算节点的资源使用情况,最多可显示最近三天的数据。在资源占用情况窗口打开时,会定期向后台获取最新的资源使用率数据并刷新。 操作一:如果训练作业使用多个计算节点,可以通过实例名称的下拉框切换节点。 操作二:单击图例“cpuUsage”、“g
如何查看ModelArts中正在收费的作业? 在ModelArts管理控制台,单击左侧菜单栏的“总览”,您可以在“总览>生产概况”区域查看正在收费的作业。根据实际情况进入管理页面,停止并删除实例。例如,Notebook正在计费,请前往“开发空间 > Notebook”页面,将状态
查看作业详情 如何查看训练作业资源占用情况? 如何访问训练作业的后台? 两个训练作业的模型都保存在容器相同的目录下是否有冲突? 训练输出的日志只保留3位有效数字,是否支持更改loss值? 训练好的模型是否可以下载或迁移到其他账号?如何获取下载路径? 父主题: Standard训练作业
查看批量服务的事件 服务的(从用户可看见部署服务任务开始)整个生命周期中,每一个关键事件点在系统后台均有记录,用户可随时在对应服务的详情页面进行查看。 方便用户更清楚的了解服务部署和运行过程,遇到任务异常时,更加准确的排查定位问题。可查看的事件点包括: 表1 事件 事件类型 事件
运行时依赖 查看模型对环境的依赖。当构建任务失败后可以编辑运行时依赖,保存修改后将触发镜像重新构建。 事件 展示AI应用创建过程中的关键操作进展。 事件保存周期为3个月,3个月后自动清理数据。 查看AI应用的事件类型和事件信息,请参见查看AI应用的事件 使用约束 根据创建AI应