检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
gen模式表示生成rank_table文件，merge模式表示合并global rank_table文件。 --save-dir：保存生成的rank_table文件的根目录，默认为当前目录。 --api-server：仅在`gen`模式有效，可选输入，当存在该输入时，表示分离部署
推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B单机。 表1 环境要求 名称 版本 driver 23.0.6 PyTorch pytorch_2.1.0 获取软件和镜像 表2 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-6.3
Storage Service，简称OBS）存储数据和模型，实现安全、高可靠和低成本的存储需求。OBS的更多信息请参见《对象存储服务产品文档》。 表1 ModelArts各环节与OBS的关系 功能 子任务 ModelArts与OBS的关系 自动学习 数据标注 ModelArts标注的数据存储在OBS中。
obs_path：obs地址。根据is_local_source值的变化，有不同的含义。 is_local_source=False，此时是必选参数，代表训练数据位置，支持文件夹和压缩文件。 is_local_source=True，此时是可选参数。如果用户填写了该参数，则开始训练时会将Not
针对之前使用访问密钥授权的用户，建议清空授权，然后使用委托进行授权。 在左侧导航栏中选择“模型训练 > 训练作业”，默认进入“训练作业”列表。 在“创建训练作业”页面，填写相关参数信息，然后单击“提交”。 创建方式：选择“自定义算法”。 启动方式：选择“自定义”。 镜像：选择上传的自定义镜像。
PyTorch版本支持2.1。 获取软件和镜像 表1 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-6.3.908软件包中的AscendCloud-AIGC-6.3.908-xxx.zip 文件名中的xxx表示具体的时间戳，以包名发布的实际时间为准。 获取路径：Support-E
只有托管到AI Gallery仓库的资产才支持使用Gallery CLI配置工具下载文件，如果在资产详情页有“复制完整资产名称”按钮即表示该资产支持使用Gallery CLI配置工具下载，如图1所示。 图1 复制完整资产名称 “运行平台”设置为“Pangu Studio”的数据集，不支持使用CLI工具下载。
专属资源池驱动版本要求23.0.6。 适配的CANN版本是cann_8.0.rc3。 支持的模型列表和权重文件 本方案支持vLLM的v0.6.0版本。不同vLLM版本支持的模型列表有差异，具体如表1所示。 表1 支持的模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理 是否支持W4A16量化
in。用户也可以使用自己的数据集。 下载华为侧插件代码包AscendCloud-AIGC-6.3.908-xxx.zip文件，获取路径参见表1。本案例使用的是解压到子目录aigc_train->torch_npu->diffusers的所有文件，将diffusers整个目录上传到宿主机上。
开发用于预置框架训练的代码 当您使用ModelArts Stanard提供的预置框架创建算法时，您需要提前完成算法的代码开发。本章详细介绍如何改造本地代码以适配ModelArts上的训练。 创建算法时，您需要在创建页面提供代码目录路径、代码目录路径中的启动文件、训练输入路径参数和
in。用户也可以使用自己的数据集。 下载华为侧插件代码包AscendCloud-AIGC-6.3.907-xxx.zip文件，获取路径参见表1。本案例使用的是解压到子目录aigc_train->torch_npu->diffusers的所有文件，将diffusers整个目录上传到宿主机上。
Storage Service，简称OBS）存储数据和模型，实现安全、高可靠和低成本的存储需求。OBS的更多信息请参见《对象存储服务产品文档》。 表1 ModelArts各环节与OBS的关系 功能 子任务 ModelArts与OBS的关系 自动学习 数据标注 ModelArts标注的数据存储在OBS中。
format(os.environ['PROJECT_ID'], os.environ["INSTANCE_ID"]) # 查询动态挂载列表 auth_by_apig(session, 'GET', request_url) # 动态挂载，OBS路径obs://obs-buc
Cluster。推荐使用“西南-贵阳一”Region上的资源和Ascend Snt9B。 支持的模型列表和权重文件 本方案支持vLLM的v0.6.0版本。不同vLLM版本支持的模型列表有差异，具体如表1所示。 表1 支持的模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理 是否支持W4A16量化
供您后续调取接口进行APP鉴权使用。 图3 查询明文、重置或删除 解绑服务 您可以单击目标应用名称前方的，在下拉列表中展示绑定的服务列表，即该应用对应的在线服务列表。单击操作列的“解绑”取消绑定，将不再支持调用该接口。 获取AppKey/AppSecret或AppCode 调用接
输入，并返回序列的长度，需和训练时参数保持一致。 -append-eod：参数用于控制是否在每个输入序列的末尾添加一个特殊的标记。这个标记表示输入序列的结束，可以帮助模型更好地理解和处理长序列。 输出结果 alpaca_ft_packed_attention_mask_document
Snt9B硬件，完成Qwen-VL推理。 资源规格要求 推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B。 表1 环境要求 名称 版本 PyTorch pytorch_2.1.0 驱动 23.0.6 获取镜像 分类 名称 获取路径 插件代码包 AscendCloud-6
in。用户也可以使用自己的数据集。 下载华为侧插件代码包AscendCloud-AIGC-6.3.907-xxx.zip文件，获取路径参见表1。本案例使用的是解压到子目录aigc_train->torch_npu->koyha_ss的所有文件，将koyha_ss整个目录上传到宿主机上。
in。用户也可以使用自己的数据集。 下载华为侧插件代码包AscendCloud-AIGC-6.3.907-xxx.zip文件，获取路径参见表1。本案例使用的是解压到子目录aigc_train->torch_npu->koyha_ss的所有文件，将koyha_ss整个目录上传到宿主机上。
附加请求头字段，如指定的URI和HTTP方法所要求的字段。例如定义消息体类型的请求头“Content-Type”，请求鉴权信息等。 需要添加到请求中的公共消息头如表3所示。 表3 公共请求消息头 参数名 说明 是否必选 示例 Content-type 消息体的类型（格式），默认取值为“application/json”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
