检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备环境 本文档中的模型运行环境是ModelArts Lite的DevServer。请参考本文档要求准备资源环境。 资源规格要求 计算规格：不同模型训练推荐的NPU卡数请参见表1。 硬盘空间：至少200GB。 Ascend资源规格： Ascend: 1*ascend-snt9b表示Ascend单卡。
准备环境 本文档中的模型运行环境是ModelArts Lite Server。请参考本文档要求准备资源环境。 资源规格要求 计算规格：不同模型训练推荐的NPU卡数请参见表2。 硬盘空间：至少200GB。 Ascend资源规格： Ascend: 1*ascend-snt9b表示Ascend单卡。
|──llm_tools # 推理工具 工作目录介绍 详细的工作目录参考如下，建议参考以下要求设置工作目录。训练脚本以分类的方式集中在scripts文件夹中。 ${workdir}（例如/home/ma-user/ws ） |──llm_train
SDK简介 ModelArts服务软件开发工具包（ModelArts SDK）是对ModelArts服务提供的REST API进行的Python封装，以简化用户的开发工作。用户直接调用ModelArts SDK即可轻松管理数据集、启动AI训练以及生成模型并将其部署为在线服务。 ModelArts
行推理业务，2张卡运行的情况下，推荐的最大序列max-model-len长度最大是16K，此处的单位K是1024，即16*1024。 测试方法：gpu-memory-utilization为0.9下，以4k、8k、16k递增max-model-len，直至达到能执行静态bench
行推理业务，2张卡运行的情况下，推荐的最大序列max-model-len长度最大是16K，此处的单位K是1024，即16*1024。 测试方法：gpu-memory-utilization为0.9下，以4k、8k、16k递增max-model-len，直至达到能执行静态bench
行推理业务，2张卡运行的情况下，推荐的最大序列max-model-len长度最大是16K，此处的单位K是1024，即16*1024。 测试方法：gpu-memory-utilization为0.9下，以4k、8k、16k递增max-model-len，直至达到能执行静态bench
/v1/{project_id}/events 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 resource 是 String 事件所属资源类型。可选值为pools，表示资源池。
“保存路径”：即导出数据存储的路径。建议不要将数据存储至当前数据集所在的输入路径或输出路径。 图12 导出至OBS 数据导出成功后，您可以前往您设置的保存路径，查看到存储的数据。 查看任务历史 当您导出数据后，可以通过任务历史查看导出任务明细。 在数据集详情页面中，单击右上角“任务历史
ModelArts计费模式概述 ModelArts服务提供包年/包月和按需计费两种计费模式，以满足不同场景下的用户需求。如您需要快速了解ModelArts服务不同计费模式的具体价格，请参见ModelArts价格详情。 包年/包月：一种预付费模式，即先付费再使用，按照订单的购买周期
修改/etc/docker/daemon.json配置文件default-shm-size字段 方式二： docker run 命令中使用 --shm-size 参数来设置单个容器的共享内存大小 NPU：RoCE网卡down RoCELinkStatusDown 重要 NPU 卡 %d RoCE Link 状态Down
单击“添加授权”。在“访问授权”页面，在“授权对象类型”下面选择“IAM子用户”，“授权对象”选择开发者的账号，“委托选择”选择“新增委托”，“委托名称”设置为“ma_agency_develop_user”，“权限配置”选择“自定义”，“权限名称”勾选“OBS Administrator”。开
/v2/{project_id}/pools/{pool_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 pool_name 是 String 系统生成的资源池名称。 请求参数 表2 请求Header参数 参数 是否必选
git-lfs-linux-arm64-v3.2.0.tar.gz cd git-lfs-3.2.0 sudo sh install.sh 设置git配置去掉ssl校验。 git config --global http.sslVerify false 从github拉取MiniCPM-V代码。
Open-Sora 1.0基于DevServer适配PyTorch NPU训练指导（6.3.905） 本文档主要介绍如何在ModelArts Lite DevServer上，使用PyTorch_npu+华为自研Ascend Snt9B硬件，完成Open-Sora训练和推理。 资源规格要求
迁移环境准备 迁移环境准备有以下两种方式： 方式一 ModelArts Notebook：该环境为在线调试环境，主要面向演示、体验和快速原型调试场景。 优点：可快速、低成本地搭建环境，使用标准化容器镜像，官方notebook示例可直接运行。 缺点：由于是容器化环境因此不如裸机方式
Lite Server高危操作一览表 ModelArts Lite Server在日常操作与维护过程中涉及的高危操作，需要严格按照操作指导进行，否则可能会影响业务的正常运行。 高危操作风险等级说明： 高：对于可能直接导致业务失败、数据丢失、系统不能维护、系统资源耗尽的高危操作。
测试用户权限 由于权限配置需要等待15-30分钟生效，建议在配置完成后，等待30分钟，再执行如下验证操作。 使用用户组02中任意一个子用户登录ModelArts管理控制台。在登录页面，请使用“IAM用户登录”方式进行登录。 首次登录会提示修改密码，请根据界面提示进行修改。 验证ModelArts权限。
后将文件关闭。为了防止忘记文件关闭操作，推荐使用with语句，在with语句退出时会自动调用mox.file.File对象的close()方法： 1 2 3 import moxing as mox with mox.file.File('obs://bucket_name/obs_file
/specifications 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 is_personal_cluster 否 Boolean
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
