检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
#安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 相关文档 和本文档配套的模型训练文档请参考《主流开源大模型基于Lite
数据发布 数据导出 准备工作 在使用ModelArts数据管理的功能前，需要先完成以下准备工作。 用户在使用数据管理的过程中，ModelArts需要访问用户的OBS等依赖服务，需要用户进行在“权限管理”页面中进行委托授权。具体操作参考使用委托授权（推荐）。 数据标注功能仅在以下Re
时需要重新打通VPC及子网，IPv6才会生效。 图2 创建网络 图3 启动IPv6 单用户最多可创建15个网络。 网段设置以后不能修改，避免与将要打通的VPC网段冲突。可能冲突的网段包括： 用户的vpc网段 容器网段（固定是172.16.0.0/16） 服务网段（固定是10.247
Standard控制台的创建训练作业页面设置自动重启： 用户可以在控制台页面通过开关的方式开启自动重启。“自动重启”开关默认不开启，表示不做重新下发作业，也不会启用环境检测。打开开关后，允许设置重启次数为1~128次。 图5 自动重启设置 使用API接口设置容错检查： 用户可以通过API接口的方式
在于，镜像是由用户自行选择的。用户可以基于预置框架制作自定义镜像。基于预置框架制作自定义镜像可参考使用基础镜像构建新的训练镜像章节。 完全自定义镜像： 订阅算法和预置框架涵盖了大部分的训练场景。针对特殊场景，ModelArts支持用户构建自定义镜像用于模型训练。用户遵循Model
否则发布审核无法通过。 可见范围 “所有用户可见”：表示公开资产，所有用户都可以查看该资产。 “指定用户可见”：输入账号名、账号ID或用户昵称搜索并选择用户，使其可见该资产。 可用范围 选择是否启用“申请用户可用”。 勾选启用：当用户要使用该数据集时需要提交申请，只有数据集所有者同意申请后，才能使用数据集。
管理标注作业 查看标注作业 在ModelArts数据标注页面可查看用户自己创建的标注作业。 登录ModelArts管理控制台，在左侧菜单栏选择“数据准备>数据标注”，进入数据标注页面。 在“我创建的”页签，可查看自己创建的标注作业。用户可查看自己创建的标注作业的相关信息。 图1 我创建的 在
源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。 购买DevServer资源时如果无可选资源规格，需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169
管理Notebook实例 查找Notebook实例 更新Notebook实例 启动/停止/删除实例 保存Notebook实例 动态扩充云硬盘EVS容量 动态挂载OBS并行文件系统 查看Notebook实例事件 Notebook Cache盘告警上报 父主题： 使用Notebook进行AI开发调试
清理镜像构建缓存 （只支持ModelArts Notebook里使用）。 debug 在ECS上调试SWR镜像是否能在ModelArts Notebook中使用 （只支持已安装docker环境的ECS）。 使用ma-cli image get-template命令查询镜像构建模板 m
取值范围大于0并且大于等于(endTimeInMillis - startTimeInMillis) / (60 * 1000) - 1 当开始时间与结束时间都设置为-1时，系统会将结束时间设置为当前时间UTC毫秒值，并按(endTimeInMillis - durationInMinutes * 60 * 1000)计算开始时间。如：-1
Parameter分布到不同的NPU 增加卡数重新训练，未解决找相关人员定位。 问题2：访问容器目录时提示Permission denied 解决方法： 由于在容器中没有相应目录的权限，会导致访问时提示Permission denied。可以在宿主机中对相关目录做权限放开，执行命令如下。
"aom:alarm:list" ] } ] } 创建用户组并加入用户，步骤请参考Step1 创建用户组并加入用户。 给用户组授权策略。 在IAM服务的用户组列表页面，单击“授权”，进入到授权页面，为子账号配置权限。勾选“service”、“SWR
开启滚动：开启开关后，支持滚动升级的方式进行驱动升级。当前支持“按节点比例”和“按实例数量”两种滚动方式。 按节点比例：每批次驱动升级的实例数量为“节点比例*资源池实例总数”。 按实例数量：可以设置每批次驱动升级的实例数量。 对于不同的升级方式，滚动升级选择实例的策略会不同： 如果升级方式为安全升级，则根据滚动
源的使用情况，并上报到AOM，用户可直接在AOM上查看。 登录AOM控制台查看监控指标 登录控制台，搜索AOM，进入“应用运维管理”控制台。 在左侧导航栏中选择“指标浏览”。 从指标源下拉列表选择“Prometheus_AOM_Default”实例。 图1 选择指标源 通过“全量
（.）。 描述 模型简介。支持100字符。 权重设置与词表 默认选择“使用推荐权重”，支持选择“自定义权重”。 “使用推荐权重”：使用平台推荐的权重文件，可提高模型的训练、压缩、部署和调优等服务的使用效率。 “自定义权重”：使用用户自定义的权重文件，需要先将权重文件上传至OBS桶中。且权重文件必须满足约束限制。
进行表示。 步骤四 在节点机器中Docker登录 在SWR中单击右上角的“登录指令”，然后在跳出的登录指定窗口，单击复制临时登录指令。 图1 复制登录指令 由于使用的容器引擎是containerd，不再是docker，因此需要改写复制的登录指令，将docker进行替换，使用nerdctl工具。
进行表示。 步骤四 在节点机器中Docker登录 在SWR中单击右上角的“登录指令”，然后在跳出的登录指定窗口，单击复制临时登录指令。 图1 复制登录指令 由于使用的容器引擎是containerd，不再是docker，因此需要改写复制的登录指令，将docker进行替换，使用nerdctl工具。
最小长度，可以根据实际需求设置。 --max-input：输入tokens最大长度，可以根据实际需求设置。 --avg-input：输入tokens长度平均值，可以根据实际需求设置。 --std-input：输入tokens长度方差，可以根据实际需求设置。 --min-outpu
过SSH登录，不同机器之间网络互通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 检查环境。 SSH登录机器后，检
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
