检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
委托访问授权。 在ModelArts左侧菜单栏中，选择“开发环境>Notebook”，单击“创建”，如果可以正常打开创建页面，说明具备ModelArts的操作权限。 您也可以尝试其他功能，例如“训练管理>训练作业”等，如能正常打开创建页面，即可正常使用ModelArts。 验证OBS权限。
Session鉴权 OBS管理 作业管理 模型管理 服务管理 02 价格 ModelArts服务的计费方式简单、灵活，您既可以选择按实际使用时长计费。也可以选择更经济的按包周期计费方式。 计费项 AI全流程开发 自动学习 计费方式 按需购买 包年包月 计费FAQ 如何查看ModelArts消费详情？
factory对齐，6.3.912版本调整以下参数： 新增 STAGE，表示训练的阶段，可以选择的参数包括: {pt, sft}. 新增 FINETUNING_TYPE，表示微调的策略，可以选择的参数包括：{full, lora} 删除 RUN_TYPE 所以当前的组合情况为： 项目
npu-smi info # 在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l | grep Total # 在每个实例节点上运行此命令可以看到总卡数 如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其
factory对齐，6.3.912版本调整以下参数： 新增 STAGE，表示训练的阶段，可以选择的参数包括: {pt, sft}. 新增 FINETUNING_TYPE，表示微调的策略，可以选择的参数包括：{full, lora} 删除 RUN_TYPE 所以当前的组合情况为： 项目
Optimization)：直接偏好优化方法，通过直接优化语言模型来实现对大模型输出的精确把控，不用进行强化学习，也可以准确判断和学习到使用者的偏好，最后，DPO算法还可以与其他优化算法相结合，进一步提高深度学习模型的性能。 RM奖励模型(Reward Model)：是强化学习过程中
理配置profiling参数，确保能采集到16步的数据。 对于所有step稳定劣化的场景，避免采集第一个step的profiling即可，可以采集任意step如第15个step即可。 对于偶现且劣化现象出现的step数不固定的场景，则需要确保能采集到该不固定的step。 profiling数据采集请参考Ascend
Optimization)：直接偏好优化方法，通过直接优化语言模型来实现对大模型输出的精确把控，不用进行强化学习，也可以准确判断和学习到使用者的偏好，最后，DPO算法还可以与其他优化算法相结合，进一步提高深度学习模型的性能。 RM奖励模型(Reward Model)：是强化学习过程中
后处理方法，在推理请求完成后调用，用于将模型输出转换为API接口输出。 用户可以选择重写preprocess和postprocess方法，以实现API输入数据的预处理和推理输出结果的后处理。 重写模型父类的初始化方法init可能导致模型“运行异常”。 可以使用的属性为模型所在的本地路径，属性名为“self
练，该值始终为 0。 RANK_ID：可以理解为训练作业级的device逻辑（顺序）编号。 RANK_SIZE：根据RTF中device的数目设置该值，例如“4 * snt9b”，则该值即为4。 当需要启动文件仍然在逻辑上仅运行1次时，则可以在启动文件中判断“ASCEND_DEV
镜像版本和描述信息。单击“确认”保存镜像。 在“组织”下拉框中选择一个组织。如果没有组织，可以单击右侧的“立即创建”，创建一个组织。创建组织的详细操作请参见创建组织。 同一个组织内的用户可以共享使用该组织内的所有镜像。 镜像会以快照的形式保存，保存过程约5分钟，请耐心等待。此时不
hostPath: path: ${node-path} 参数说明： ${container_name}：容器名称，此处可以自己定义一个容器名称，例如ascend-vllm。 ${image_name}：Step3 制作推理镜像构建的推理镜像名称。 ${node
hostPath: path: ${node-path} 参数说明： ${container_name}：容器名称，此处可以自己定义一个容器名称，例如ascend-vllm。 ${image_name}：Step3 制作推理镜像构建的推理镜像名称。 ${node
Cloud）可以为您构建隔离的、用户自主配置和管理的虚拟网络环境，操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo SFS Turbo HPC型文件系统为用户提供一个完全托管的共享文件存储。SFS Turbo文件系统支持无缝访问存储在OBS对象存储桶中的对象，用户可以指定SFS
Cloud）可以为您构建隔离的、用户自主配置和管理的虚拟网络环境，操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo SFS Turbo HPC型文件系统为用户提供一个完全托管的共享文件存储。SFS Turbo文件系统支持无缝访问存储在OBS对象存储桶中的对象，用户可以指定SFS
rver资源。 准备代码 准备AscendSpeed训练代码、分词器Tokenizer和推理代码。 准备数据 准备训练数据，可以用本案使用的数据集，也可以使用自己准备的数据集。 准备镜像 准备训练模型适用的容器镜像。 预训练 预训练 介绍如何进行预训练，包括训练数据处理、超参配置、训练任务、性能查看。
结算。按需计费模式允许您根据实际业务需求灵活地调整资源使用，无需提前预置资源，从而降低预置过多或不足的风险。一般适用于资源需求波动的场景，可以即开即停。 表1列出了两种计费模式的区别。 表1 计费模式 计费模式 包年/包月 按需计费 付费方式 预付费 按照订单的购买周期结算。 后付费
优势： 资源节省：在大模型中引入LoRA，可以减少模型需要更新的参数量，从而节省NPU内存并提高推理速度。 轻量化适配：无需改变原始模型结构，通过低秩矩阵的调整即可适配不同任务。 多任务并行：支持同时加载多个LoRA模块，使得VLLM可以在不同任务间快速切换，提高多任务推理的效率。
左侧菜单栏选择“解决方案”进入解决方案列表页，单击右上方的“发布”，进入发布解决方案页面。 根据界面提示填写解决方案的相关信息，单击下方的“提交”。 在解决方案列表页可以查看发布的方案信息。 父主题： 合作伙伴
Cloud）可以为您构建隔离的、用户自主配置和管理的虚拟网络环境，操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo SFS Turbo HPC型文件系统为用户提供一个完全托管的共享文件存储。SFS Turbo文件系统支持无缝访问存储在OBS对象存储桶中的对象，用户可以指定SFS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
