检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的“子目录挂载” 图3 选择SFS Turbo 作业日志选择OBS中的路径，训练作业的日志信息则保存该路径下。 提交训练作业，训练完成后，生成的权重文件自动保存在SFS Turbo中，保存路径为：/home/ma-user/work/llm_train/saved_dir_for
的“子目录挂载” 图3 选择SFS Turbo 作业日志选择OBS中的路径，训练作业的日志信息则保存该路径下。 提交训练作业，训练完成后，生成的权重文件自动保存在SFS Turbo中，保存路径为：/home/ma-user/work/llm_train/saved_dir_for
ffusion_checkpoint_to_onnx.py脚本中，可以通过执行以下命令生成onnx模型。其中，model_path指定pytorch的模型根目录，output_path指定生成的onnx模型目录。 cd /home_host/work python diffuse
AI应用页签的背景图展示在AI应用列表。建议使用16：9的图片，且大小不超过7MB。 如果未上传图片，AI Gallery会为AI应用自动生成封面。 应用描述 否 输入AI应用的功能介绍，AI应用创建后，将展示在AI应用页签上，方便其他用户了解与使用。 支持0~100个字符。 参
查看数据集资产发布信息 在数据集列表中，单击某个数据集名称进入数据集详情页。选中右上角“发布 > 资产发布列表”，可以查看资产发布记录。 发布成功后，会生成资产链接，用户可以单击链接跳转到资产的详情页面。 删除发布的数据集 当您需要删除发布在AI Gallery中的数据集时，可以执行如下步骤进行删除。
用。 开发者可以通过浏览器入口以Notebook方式访问，也可以通过VSCode远程开发的模式直接接入到云上环境中完成迁移开发与调测，最终生成适配昇腾的推理应用。 当前支持以下两种迁移环境搭建方式： ModelArts Standard：在Notebook中，使用预置镜像进行。 ModelArts
者对模型了解不多的情形下都推荐使用预检工具，检查第一个步骤或Loss明显出现问题的步骤。它可以抓取模型中API输入的数值范围，根据范围随机生成输入，用相同的输入分别在NPU（GPU）和CPU上执行算子，比较输出差异。预检最大的好处是，它能根据算子（API）的精度标准来比较输出结果
决。 在训练详情页左下方单击训练输出路径，如图4所示，跳转到OBS目录，查看是否存在model文件夹，且model文件夹中是否有生成训练模型。如果未生成model文件夹或者训练模型，可能是训练输入数据不完整导致，请检查训练数据上传是否完整，并重新训练。 图4 训练输出路径 Step5
您可以单击训练作业名称，进入详情页面，了解训练作业的“配置信息”、“日志”、“资源占用情况”和“评估结果”等信息。您也可以在配置的“训练输出位置”对应的OBS目录下获得训练生成的模型。 步骤4：创建AI应用 在训练作业详情页的右上角单击“创建AI应用”，进入创建AI应用页面。 也可以在ModelArts管理控制台，选择“资产管理
传至OBS桶。 上传OBS的文件规范： 文件名规范：不能有+、空格、制表符。 如不需要提前上传训练数据，请创建一个空文件夹用于存放工程后期生成的文件。如：“/bucketName/data-cat”。 如需要提前上传待标注的图片，请创建一个空文件夹，然后将图片文件保存在该文件夹下
决。 在训练详情页左下方单击训练输出路径，如图4所示，跳转到OBS目录，查看是否存在model文件夹，且model文件夹中是否有生成训练模型。如果未生成model文件夹或者训练模型，可能是训练输入数据不完整导致，请检查训练数据上传是否完整，并重新训练。 图4 训练输出路径 Step5
对于昇腾硬件的适配与支持。对AI有使用诉求的企业、NLP领域开发者，可以借助这个库，便捷地使用昇腾算力进行自然语言理解（NLU）和自然语言生成（NLG）任务的SOTA模型开发与应用。 支持的模型结构框架 AI Gallery的Transformers库支持的开源模型结构框架如表1所示。
对象。 Manifest文件可以由用户、第三方工具或ModelArts数据标注生成，其文件名没有特殊要求，可以为任意合法文件名。为了ModelArts系统内部使用方便，ModelArts数据标注功能生成的文件名由如下字符串组成：“DatasetName-VersionName.m
文件合集大小不超过50GB。 文件上传完成前，请不要刷新或关闭上传页面，防止意外终止上传任务，导致数据缺失。 当模型的“任务类型”是除“文本问答”和“文本生成”之外的类型（即自定义模型）时，上传的模型文件要满足自定义模型规范，否则该模型无法正常使用AI Gallery工具链服务（微调大师和在线推理服务）。
带来了极大的便利和性能提升。Ascend-vLLM可广泛应用于各种大模型推理任务，特别是在需要高性能和高效率的场景中，如自然语言处理、图像生成和语音识别等。 Ascend-vLLM的主要特点 易用性：Ascend-vLLM简化了在大模型上的部署和推理过程，使开发者可以更轻松地使用它。
推理启动脚本run_vllm.sh制作请参见•创建推理脚本文件run_vllm.sh。 SSL证书制作包含cert.pem和key.pem，需自行生成。生成方式请参见•通过openssl创建SSLpem证书。 图1 准备模型文件和权重文件 创建推理脚本文件run_vllm.sh run_vllm
推理启动脚本run_vllm.sh制作请参见下文创建推理脚本文件run_vllm.sh的介绍。 SSL证书制作包含cert.pem和key.pem，需自行生成。生成方式请参见•通过openssl创建SSLpem证书。 图1 准备模型文件和权重文件 创建推理脚本文件run_vllm.sh run_vllm
#推荐commit pip install -e . 开启图模式后，服务第一次响应请求时会有一个较长时间的图编译过程，并且会在当前目录下生成.torchair_cache文件夹来保存图编译的缓存文件。当服务第二次启动时，可通过缓存文件来快速完成图编译的过程，避免长时间的等待，并
Workflow运行流程 项目类型介绍 图像分类 图像分类项目，是对图像进行分类。需要添加图片并对图像进行分类标注，完成图片标注后开始模型训练，即可快速生成图像分类模型。可应用于商品的自动分类、运输车辆种类识别和残次品的自动分类等。例如质量检查的场景，则可以上传产品图片，将图片标注“合格”、“
在本文档中，采用通过OBS管理控制台将数据上传至OBS桶。 OBS上传文件的规范： 如不需要提前上传训练数据，请创建一个空文件夹用于存放工程后期生成的文件。 如需要提前上传待标注的文件，请创建一个空文件夹，然后将文本文件保存在该文件夹下，文本文件的目录结构如：“/bucketName/data/text
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
