检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备工作 准备资源 准备数据 准备权重 准备代码 准备镜像 父主题: Qwen-VL模型基于Standard+OBS适配PyTorch NPU训练指导(6.3.912)
资源,并确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。 购买DevServer资源时如果无可选资源规格,需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169
填写备注信息。 主库IP 显示主IP信息。 读写分离 单击“启用”,设置读写权重。 此处设置的权重和华为云设置的读权重意义不同,读流量先通过SDK配置的权重进行分配,再通过华为云设置的权重进行再次分配。 是否支持快速感知数据库连接失效 单击开关开启,开启后可以快速感知数据库连接失效。
在WiseDBA中同步Schema WiseDBA上的Schema记录与数据库引擎上的Schema有差异时,可以通过同步Schema功能保持一致。GaussDB、RDS for PostgreSQL数据库会同时同步Database和Schema。 注意事项 在WiseDBA中删除
模型精度调优 场景介绍 精度问题诊断 精度问题处理 父主题: 基于AIGC模型的GPU推理业务迁移至昇腾指导
资源,并确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。 购买DevServer资源时如果无可选资源规格,需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169
资源,并确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。 购买DevServer资源时如果无可选资源规格,需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169
部署推理服务 非分离部署推理服务 分离部署推理服务 父主题: 主流开源大模型基于Server适配PyTorch NPU推理指导(6.3.909)
准备资源 创建专属资源池 本文档中的模型运行环境是ModelArts Standard。资源规格需要使用专属资源池中的昇腾Snt9B资源,请参考创建资源池购买资源。 推荐使用“西南-贵阳一”Region上的昇腾资源。 专属资源池驱动检查 登录ModelArts控制台,单击“专属资源池
准备权重 获取对应模型的权重文件,获取链接参考支持的模型列表和权重文件。 在创建的OBS桶下创建文件夹用以存放权重文件,例如在桶中创建文件夹。将下载的权重文件上传至OBS中,得到OBS下数据集结构。此处以qwen-14b举例。 obs://${bucket_name}/${folder-name}/
准备镜像 准备大模型推理适用的容器镜像,包括获取镜像地址,了解镜像中包含的各类固件版本,配置Standard物理机环境操作。 镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示,请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 基础镜像 swr.cn-southwest-2
查看角色桌面 查看角色桌面 进入IPDCenter基础服务登录页面,输入账号和密码,单击“登录”。 在角色桌面首页,选择想要查看角色桌面页签,查看角色桌面详情。 您可以选择“角色桌面 > 自定义”,在“自定义”区域中单击某一角色桌面名称,跳转到所选角色桌面。 也可以选择“角色桌面
删除角色桌面 操作步骤 进入IPDCenter基础服务登录页面,输入账号和密码,单击“登录”。 在角色桌面首页,选择“角色桌面 > 自定义”,选择需要删除的角色桌面,单击。 图1 删除角色桌面 默认区域的角色桌面模板不支持在桌面首页删除,如需删除,可单击“角色桌面管理”,跳转到“角色桌面管理”界面进行删除。
成员管理 CraftArts IPDCenter除了可以手动添加用户,也支持邀请拥有华为个人账号的用户加入组织,被邀请加入组织后,个人华为账号将拥有CraftArts IPDCenter的使用权限。 添加成员 在角色桌面首页,选择左上角的,单击“管理中心”。 选择“用户及授权管理
密钥管理 创建密钥 在角色桌面首页,选择左上角的,单击“管理中心”。 选择“集成管理 > 密钥管理”,进入“密钥管理”页面。 单击“创建密钥”,选择“应用名称”。选择应用名称后,应用ID会自动关联。 单击“立即创建”。 图1 创建密钥 删除密钥 在角色桌面首页,选择左上角的,单击“管理中心”。
用户权限 用户管理(边缘云) 用户管理(公有云) 角色管理 用户角色授权 工厂员工管理 父主题: 系统管理
准备工作 准备资源 准备数据 准备权重 准备代码 准备镜像 准备Notebook(可选) 父主题: 主流开源大模型基于Standard+OBS适配PyTorch NPU训练指导(6.3.907)
准备镜像 准备大模型推理适用的容器镜像,包括获取镜像地址,了解镜像中包含的各类固件版本,配置Standard物理机环境操作。 镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示,请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 基础镜像 swr.cn-southwest-2
准备镜像 准备训练Llama2-13B模型适用的容器镜像,包括获取镜像地址,了解镜像中包含的各类固件版本,配置Standard物理机环境操作。 镜像地址 本教程中用到的训练的基础镜像地址和配套版本关系如下表所示,请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 训练基础镜像
准备镜像 准备大模型推理适用的容器镜像,包括获取镜像地址,了解镜像中包含的各类固件版本,配置Standard物理机环境操作。 镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示,请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 基础镜像 swr.cn-southwest-2