检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/AscendCloud/AscendCloud-LLM/llm_inference/ascend_vllm/ 执行以下命令制作推理镜像。安装过程需要连接互联网git clone，请确保机器可以访问公网。 nerdctl --namespace k8s.io build -t <镜像名称>:<版本名称>
检查报错的路径是否存在 由于用户本地开发的代码需要上传至ModelArts后台，训练代码中涉及到依赖文件的路径时，用户设置有误的场景较多。 推荐通用的解决方案：使用os接口得到依赖文件的绝对路径，避免报错。 示例： |---project_root #代码根目录
/home/mind/model/run_vllm.sh'。 图4 修改build_image.sh 执行build_image.sh脚本制作推理镜像。安装过程需要连接互联网git clone，请确保机器环境可以访问公网。 sh build_image.sh --base-image=${base_image}
/home/mind/model/run_vllm.sh'。 图4 修改build_image.sh 执行build_image.sh脚本制作推理镜像。安装过程需要连接互联网git clone，请确保机器环境可以访问公网。 sh build_image.sh --base-image=${base_image}
常见的磁盘空间不足的问题和解决办法 该章节用于统一整体所有的常见的磁盘空间不足的问题和解决办法。减少相关问题文档的重复内容。 问题现象 训练过程中复制数据/代码/模型时出现如下报错： 图1 错误日志 原因分析 出现该问题的可能原因如下： 本地数据、文件保存将"/cache"目录空间用完。
delArts Studio大模型即服务平台（下面简称为MaaS），使用Qwen2-7B模型可以实现新闻自动分类，能够高效处理和分类大量新闻内容。 该解决方案可以应用于如下场景： 新闻门户网站： 自动将新闻内容归类到相应板块，如科技、体育或国际新闻，以提升用户体验和内容检索效率。
表格类型的数据集如何标注 表格类型的数据集适合表格等结构化数据处理。数据格式支持csv。不支持标注，支持对部分表格数据进行预览，但是最多支持100条数据预览。 父主题： Standard数据管理
/AscendCloud/AscendCloud-LLM/llm_inference/ascend_vllm/ 执行以下命令制作推理镜像。安装过程需要连接互联网git clone，请确保机器可以访问公网。 nerdctl --namespace k8s.io build -t <镜像名称>:<版本名称>
VS Code连接开发环境失败时的排查方法 VS Code连接开发环境失败时，请参考以下步骤进行基础排查。 网络链路检查 在ModelArts控制台查看Notebook实例状态是否正常，确保实例无问题。 在VS Code Terminal里执行如下命令检测SSH命令是否可用； ssh
需要使用不同端口号 --model：HuggingFace下载的官方权重 --max-num-seqs：同时处理的最大句子数量 --max-model-len：模型能处理的请求输入+输出的token长度 --max-num-batched-tokens：最多会使用多少token，
需要使用不同端口号 --model：HuggingFace下载的官方权重 --max-num-seqs：同时处理的最大句子数量 --max-model-len：模型能处理的请求输入+输出的token长度 --max-num-batched-tokens：最多会使用多少token，
到任务异常时，更加准确的排查定位问题。可查看的事件点包括： 表1 事件 事件类型 事件信息（“XXX”表示占位符，以实际返回信息为准） 解决方案 正常 开始部署服务。 Start to deploy service. - 异常 资源不足，等待资源释放。 Lack of resources
/home/mind/model/run_vllm.sh'。 图3 修改build_image.sh 执行build_image.sh脚本制作推理镜像。安装过程需要连接互联网git clone，请确保机器环境可以访问公网。 sh build_image.sh --base-image=${base_image}
单卡性能拆解详情 多卡 slow rank & slow link 下图展示了多卡profiling分析的overall模块，包含集群快慢卡统计数值(slow rank，用于分析计算和任务下发的快慢卡)和集群带宽统计数值(slow link，用于分析集群中的网络通信慢链路)。点开slow
会使用这条流水线在持续产生的数据中持续迭代训练，确保这条流水线生产出来的模型始终维持在一个较好的状态。 图1 MLOps MLOps的整条链路需要有一个工具去承载，MLOps打通了算法开发到交付运维的全流程。和以往的开发交付不同，以往的开发与交付过程是分离的，算法工程师开发完的模
git config --global user.name "Your Name" && \ 执行以下命令制作训练镜像。安装过程需要连接互联网git clone，请确保ECS可以访问公网 docker build -t <镜像名称>:<版本名称> . 若无法访问公网，则可以配置
--distributed-executor-backend：多卡推理启动后端，可选值为"ray"或者"mp"，其中"ray"表示使用ray进行启动多卡推理，"mp"表示使用python多进程进行启动多卡推理。默认使用"mp"后端启动多卡推理。 推理启动脚本必须名为run_vllm.sh，不可修改其他名称。
特权池信息数据显示均为0%如何解决？ 问题现象 特权池基本信息页面数据均显示为0%（如CPU使用率、内存使用率、加速卡使用率、加速卡显存使用率）。 原因分析 原因是集群没有安装ICAgent。新建特权池时默认会安装ICAgent，可能由于用户自行卸载ICAgent，导致资源池数据显示异常。
方便用户更清楚的了解创建模型过程，遇到任务异常时，更加准确的排查定位问题。可查看的事件点包括： 事件类型 事件信息（“XXX”表示占位符，以实际返回信息为准） 解决方案 正常 开始导入模型。 Start model import. - 异常 构建镜像失败。 Failed to build the image
如何上传数据至OBS？ 使用ModelArts进行AI模型开发时，您需要将数据上传至对象存储服务（OBS）桶中。您可以登录OBS管理控制台创建OBS桶，并在您创建的OBS桶中创建文件夹，然后再进行数据的上传，OBS上传数据的详细操作请参见《对象存储服务快速入门》。 您在创建OBS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
