检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
B资源。 推理部署使用的服务框架是vLLM。vLLM支持v0.5.0版本。 支持FP16和BF16数据类型推理。 适配的CANN版本是cann_8.0.rc3。 DevServer驱动版本要求23.0.6。 资源规格要求 本文档中的模型运行环境是ModelArts Lite的De
API文档以及常用的Python编码，您可以参考本章节使用MoXing Framework的一些进阶用法。 读取完毕后将文件关闭 当读取OBS文件时，实际调用的是HTTP连接读去网络流，注意要记得在读取完毕后将文件关闭。为了防止忘记文件关闭操作，推荐使用with语句，在with语句退出时会自动调用mox.file.File对象的close()方法：
mark，支持训练、性能对比、下游任务评测、loss和下游任务对比能力。对比结果以excel文件呈现。方便用户验证发布模型的质量。所有配置都通过yaml文件设置，用户查看默认yaml文件即可知道最优性能的配置。 目前仅支持SFT指令监督微调训练阶段。 代码目录 benchmark
自定义镜像创建训练作业时，检查启动文件路径排查解决。 可能为多个进程或者worker读写同一个文件。如果使用了SFS，则考虑是否多个节点同时写同一个文件。分析代码中是否存在多进程写同一文件的情况。建议避免作业中存在多进程，多节点并发读写同一文件的情况。 检查报错的路径是否为OBS路径
在导入模型时，提示模型或镜像大小超过限制。 原因分析 如果使用的是OBS导入或者训练导入，则是基础镜像、模型文件、代码、数据文件和下载安装软件包的大小总和超过了限制。 如果使用的是自定义镜像导入，则是解压后镜像和镜像下载文件的大小总和超过了限制。 处理方法 精简模型或镜像后，重新导入。
OpenBMB/MiniCPM-V (github.com) 制成coco2014_train.json文件和coco2014_val.json放在MiniCPM-V/finetune/目录中。json文件示例如下。 图1 json文件示例 执行微调脚本前需要补充安装依赖包。 pip install accelerate
-r OBS支持多种文件上传方式，当文件少于100个时，可以在OBS Console中上传，当文件大于100个时，推荐使用工具，推荐OBS Browser+（win）、obsutil（linux）。上述例子为obsutil使用方法。 准备算法 main.py文件内容如下，并将其上传至OBS桶的demo文件夹中：
配额与限制 本节介绍ModelArts涉及的相关云服务的配额限制，帮助用户查看和管理自己的配额。 什么是配额 配额是在某一区域下最多可同时拥有的某种资源的数量。 华为云为防止资源滥用，对云服务每个区域的用户资源数量和容量做了配额限制。 如果当前资源配额限制无法满足使用需要，您可以申请扩大配额。
Notebook实例重新启动后，需要删除本地known_hosts才能连接 可以在本地的ssh config文件中对这个Notebook配置参数“StrictHostKeyChecking no”和“UserKnownHostsFile=/dev/null”，如下参考所示： Host
绍。 如果您的代码文件是.py格式，请新打开一个.ipynb文件，执行%load main.py命令将.py文件内容加载至.ipynb文件后进行编码、调试等。 图5 打开代码文件 在JupyterLab中直接调用ModelArts提供的SDK，创建训练作业，上云训练。 调用SDK
size的大小最大支持50G，专属资源池Docker size的大小最大支持50G。 如果使用的是OBS导入或者训练导入，则包含基础镜像、模型文件、代码、数据文件和下载安装软件包的大小总和。 如果使用的是自定义镜像导入，则包含解压后镜像和镜像下载文件的大小总和。 父主题： 模型管理
B资源。 推理部署使用的服务框架是vLLM。vLLM支持v0.6.0版本。 支持FP16和BF16数据类型推理。 适配的CANN版本是cann_8.0.rc3。 DevServer驱动版本要求23.0.6。 资源规格要求 本文档中的模型运行环境是ModelArts Lite的De
Step1 准备模型文件和权重文件 在OBS桶中，创建文件夹，准备ascend_vllm代码包、模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。 ascend_vllm代码包在Step9 构建推理代码已生成。 模型权重文件获取地址请参见表1。
B资源。 推理部署使用的服务框架是vLLM。vLLM支持v0.6.0版本。 支持FP16和BF16数据类型推理。 适配的CANN版本是cann_8.0.rc3。 DevServer驱动版本要求23.0.6。 资源规格要求 本文档中的模型运行环境是ModelArts Lite的De
open”如何解决？ 问题现象 原因分析 原因分析一：密钥文件未放在指定路径，详情请参考安全限制或VS Code文档。请参考解决方法一处理。 原因分析二：当操作系统为macOS/Linux时，可能是密钥文件或放置密钥的文件夹权限问题，请参考解决方法二处理。 解决方法 解决方法一：
无法创建文件，造成用户磁盘占满。 触发条件和下面的因素有关： 文件名越长，文件数量的上限越小。 blocksize越小，文件数量的上限越小。 blocksize系统默认为4096B，总共有三种大小：1024B、2048B、4096B。 创建文件越快，越容易触发（机制大概是：有一个
径，显示“只读”的文件夹只支持只读功能，不显示的读写均支持。可参考权限管理文档修改SFS Turbo权限。 图9 输入数据设置完成界面 设置训练输出路径：新建“output”文件夹设置为输出。（如果本地有output文件夹，无需新建） 只有文件夹下才支持新建文件夹，除项目根目录以外，其他文件夹需展开才能添加文件夹。
on device”。 同一目录下创建较多文件，为了加快文件检索速度，内核会创建一个索引表，短时间内创建较多文件时，会导致索引表达到上限，进而报错。 触发条件和下面的因素有关： 文件名越长，文件数量的上限越小。 blocksize越小，文件数量的上限越小。（ blocksize，系统默认
在部署上线前，您需要基于训练后的模型编写配置文件和推理代码。 如果您的模型存储路径下，缺少配置文件“confi.json”，或者缺少推理代码“customize_service.py”时，将出现错误，错误信息如下图所示。 解决方案： 请参考模型包规范写配置文件和推理代码，并存储至需部署的模型所在OBS目录下。
ME.md”文件里。 模型描述部分是一个可在线编辑、预览的Markdown文件，里面包含该模型的简介、能力描述、训练情况、引用等信息。编辑内容会自动保存在“README.md”文件里。 更新后的“README.md”文件自动存放在数据集详情页的“文件版本”页签或者是模型详情页的“模型文件”页签。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
