检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
tory/data 【可选】dataset_info.json配置文件所属的绝对路径；如使用自定义数据集，yaml配置文件需添加此参数。 是否选择加速深度学习训练框架Deepspeed，可参考表1选择不同的框架。 是，选用ZeRO (Zero Redundancy Optimizer)优化器。
tory/data 【可选】dataset_info.json配置文件所属的绝对路径；如使用自定义数据集，yaml配置文件需添加此参数。 是否选择加速深度学习训练框架Deepspeed，可参考表1选择不同的框架。 是，选用ZeRO (Zero Redundancy Optimizer)优化器。
使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 约束限制 只支持GPTQ W8A16 perchannel量化，只支持desc_act=false。 GPTQ W8A16量化支持的模型请参见支持的模型列表。 步骤一：量化模型权重 在GPU的机器上使用开源GPTQ量化工具GPTQ
请检查CUDA_VISIBLE_DEVICES设置的值是否与作业规格匹配。例如您选择4卡规格的作业，实际可用的卡ID为0、1、2、3，但是您在进行cuda相关的运算时，例如"tensor.to(device="cuda:7")"，将张量搬到了7号GPU卡上，超过了实际可用的ID号。 如果cuda相关运
成本。 MaaS提供灵活的模型开发能力，同时基于昇腾云的算力底座能力，提供了若干保障客户商业应用的关键能力。 保障客户系统应用大模型的成本效率，按需收费，按需扩缩的灵活成本效益资源配置方案，有效避免了资源闲置与浪费，降低了进入AI领域的门槛。 架构强调高可用性，多数据中心部署确保
Gallery平台上的合作伙伴，你可以在AI Gallery上发布你的需求。 在“AI Gallery”页面中，单击右上角“我的Gallery > 我的主页”进入个人中心页面。 左侧菜单栏选择“我的需求”进入我的需求列表页，单击右上方的“发布”，进入发布需求页面。 填入需求的相关信息。 单击“提交”，AI
object 调度策略。 created_at String 创建时间。 表3 WorkflowSchedulePolicies 参数 参数类型 描述 on_failure String 定时调度策略中的标记，失败时触发。 on_running String 定时调度策略中的标记，running时触发。
必须大于0，不配置默认值为1。当小于1时，代表滚动升级时增加的实例数的百分比；当大于1时，代表滚动升级时最大扩容的实例数。 max_unavailable Float 必须大于0，不配置默认值为0。当小于1时，代表滚动升级时允许缩容的实例数的百分比；当大于1时，代表滚动升级时允许缩容的实例数。 terminati
卡死等）导致训练作业还未完成就被中断，下一次训练可以在上一次的训练基础上继续进行。这种方式对于需要长时间训练的模型而言比较友好。 断点续训练是通过checkpoint机制实现。 checkpoint的机制是：在模型训练的过程中，不断地保存训练结果（包括但不限于EPOCH、模型权重
当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见支持的模型列表和权重文件。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ (huggingface
当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见支持的模型列表和权重文件。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ (huggingface
当前版本使用GPTQ量化仅支持W8A16 perchannel的量化形式，使用W8A16的量化不仅可以保证精度在可接受的范围内，同时也有一定的性能收益。 GPTQ W8A16量化支持的模型请参见支持的模型列表和权重文件。 本章节介绍如何在GPU的机器上使用开源GPTQ量化工具GPTQ (huggingface
准备资源 创建专属资源池 本文档中的模型运行环境是ModelArts Standard。资源规格需要使用专属资源池中的昇腾Snt9B资源，请参考创建资源池购买资源。 推荐使用“西南-贵阳一”Region上的昇腾资源。 创建OBS桶 ModelArts使用对象存储服务（Object
项目ID通过调用查询指定条件下的项目信息API获取。 获取项目ID的接口为GET https://{iam-endpoint}/v3/projects，其中{iam-endpoint}为IAM的终端节点，可以从地区和终端节点处获取。 响应示例如下，例如ModelArts部署的区域为"cn-no
运行Dockerfile文件，在镜像的基础上构建新镜像。 Step1 构建新ModelArts Standard训练镜像 获取模型软件包，并上传到ECS的目录下（可自定义路径），获取地址参考表1。 解压AscendCloud压缩包及该目录下的训练代码AscendCloud-LLM-xxx
运行Dockerfile文件，在镜像的基础上构建新镜像。 Step1 构建新ModelArts Standard训练镜像 获取模型软件包，并上传到ECS的目录下（可自定义路径），获取地址参考表1。 解压AscendCloud压缩包及该目录下的训练代码AscendCloud-LLM-6
运行Dockerfile文件，在镜像的基础上构建新镜像。 Step1 构建新ModelArts Standard训练镜像 获取模型软件包，并上传到ECS的目录下（可自定义路径），获取地址参考表1。 解压AscendCloud压缩包及该目录下的训练代码AscendCloud-LLM-6
运行Dockerfile文件，在镜像的基础上构建新镜像。 Step1 构建新ModelArts Standard训练镜像 获取模型软件包，并上传到ECS的目录下（可自定义路径），获取地址参考表1。 解压AscendCloud压缩包及该目录下的训练代码AscendCloud-LLM-xxx
json文件；请务必在dataset_info.json文件中添加数据集描述。 关于数据集文件的格式及配置，请参考data/README_zh.md的内容。可以使用HuggingFace/ModelScope上的数据集或加载本地数据集。 上传自定义数据到指定目录 将下载的原始数据存放在{work_dir}/
请参见到期后影响。 续费相关的功能 包年/包月专属资源池续费相关的功能如表1所示。 表1 续费相关的功能 功能 说明 手动续费 包年/包月专属资源池从购买到被自动删除之前，您可以随时在ModelArts控制台为专属资源池续费，以延长专属资源池的使用时间。 自动续费 开通自动续费后
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
