检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FDI通过公网对接其他租户的MRS HIVE如何配置？ 首先需要将MRS的IP全部绑定EIP，然后在MRS配置文件中的私网IP全部替换成EIP，再到hdfs-site.xml文件中添加一个配置项“dfs.client.use.datanode.hostname”，值设为“true”
设置弹性伸缩-HPA策略 弹性伸缩-HPA是Kubernetes内置组件，实现Pod水平自动伸缩的功能，即Horizontal Pod Autoscaling。在Kubernetes社区HPA功能的基础上，增加了应用级别的冷却时间窗和扩缩容阈值等功能。 前提条件 仅容器部署方式部署的状态为
设置微服务引擎备份与恢复 ServiceStage控制台提供备份与恢复功能，可对微服务引擎的数据，包括微服务、契约、配置、账号角色信息进行备份与恢复。 您可自定义备份策略，对微服务引擎进行定期备份，也支持手动对微服务引擎进行备份。 背景介绍 每个微服务引擎专享版最多有15个成功的备份数据
系统管理概述 同一个微服务引擎可能会有多个用户共同使用，而不同的用户根据其责任和权限，需要具备不同的微服务引擎访问和操作权限。 开启了“安全认证”的微服务引擎专享版，通过微服务控制台提供了基于RBAC（Role-Based Access Control，基于角色的访问控制）的系统管理功能
解绑LTS日志组 已关联的LTS日志组如果不再使用，可以解绑。 前提条件 组件已关联LTS日志组，请参考关联LTS日志组。 解绑LTS日志组 登录ServiceStage控制台。 选择以下任意方式进入组件“运行日志”页面： 在“应用管理”页面，单击组件所属应用名称，在“组件列表”单击待操作组件名称
配置泳道组流量入口网关路由（基于内容配置） 根据实际业务需要，您可以基于内容配置泳道组流量入口网关路由。 仅灰度泳道支持基于内容配置网关路由。 前提条件 待操作泳道组已创建成功并关联流量入口网关，请参考创建泳道组。 待操作泳道组下已创建灰度泳道，请参考创建灰度泳道。 配置泳道组流量入口网关路由
修改弹性伸缩-HPA策略 您可以根据实际业务需要，编辑已设置好的弹性伸缩-HPA策略，重新设置策略参数。 前提条件 已设置组件弹性伸缩-HPA策略，请参考设置弹性伸缩-HPA策略。 修改弹性伸缩-HPA策略 登录ServiceStage控制台。 选择以下任意方式进入组件“伸缩”页面
推理精度测试 本章节介绍如何进行推理精度测试，数据集是ceval_gen、mmlu_gen、math_gen、gsm8k_gen、humaneval_gen。 前提条件 确保容器可以访问公网。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-LLM
Step3 为用户配置ModelArts的委托访问授权 配置完IAM权限之后，需要在ModelArts页面为子账号设置ModelArts访问授权，允许ModelArts访问OBS、SWR、IEF等依赖服务。 此方式只允许主用户为子账号进行配置。因此，本示例中，管理员账号需为所有用户完成访问授权的配置
准备工作 准备环境 准备代码 准备镜像 父主题： 主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.909）
部署推理服务 非分离部署推理服务 分离部署推理服务 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.908）
场景介绍 方案概览 本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件，为用户提供了常见主流开源大模型在ModelArts Lite DevServer上的预训练和全量微调方案。训练框架使用的是ModelLink。 本方案目前仅适用于部分企业客户，完成本方案的部署
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导（6.3.908）
场景介绍 方案概览 本文档利用训练框架LlamaFactory+华为自研Ascend Snt9B硬件，为用户提供了常见主流开源大模型在ModelArts Lite DevServer上的微调方案，包括SFT全参微调、LoRA微调、DPO训练方案。 DPO(Direct Preference
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导（6.3.909）
场景介绍 方案概览 本文档利用训练框架LlamaFactory+华为自研Ascend Snt9B硬件，为用户提供了常见主流开源大模型在ModelArts Lite DevServer上的不同训练阶段方案，包括指令监督微调、DPO偏好训练、RM奖励模型训练、PPO强化训练方案。 DPO
准备工作 准备环境 准备代码 准备数据 准备镜像环境 父主题： 主流开源大模型基于Lite Cluster适配PyTorch NPU训练指导（6.3.909）
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Lite Cluster适配PyTorch NPU训练指导（6.3.909）
LoRA微调训练 前提条件 已上传训练代码、训练权重文件和数据集到OBS中，具体参考代码上传至OBS。 Step1 创建训练任务 创建训练作业，并自定义名称、描述等信息。选择自定义算法，启动方式自定义，以及选择上传的镜像。 代码目录选择：OBS桶路径下的 llm_train/AscendSpeed
准备Notebook ModelArts Notebook云上云下，无缝协同，更多关于ModelArts Notebook的详细资料请查看开发环境介绍。 本案例中的训练作业需要通过SFS Turbo挂载盘的形式创建，因此需要将上述数据集、代码、权重文件从OBS桶上传至SFS Turbo
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
