检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
镜像方案说明 准备大模型训练适用的容器镜像,包括获取镜像地址,了解镜像中包含的各类固件版本,配置Standard物理机环境操作。 基础镜像地址 本教程中用到的训练的基础镜像地址和配套版本关系如下表所示,请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 基础镜像 swr
使用基础镜像 通过ECS获取和上传基础镜像将镜像上传至SWR服务后,可创建训练作业,在“选择镜像”中选择SWR中基础镜像。 由于基础镜像内需要安装固定版本依赖包,如果直接使用基础镜像进行训练,每次创建训练作业时,训练作业的图1中都需要执行install.sh文件,来安装依赖以及下载完整代码。命令如下:
常见错误原因和解决方法 显存溢出错误 网卡名称错误 父主题: 主流开源大模型基于Standard+OBS适配ModelLink PyTorch NPU训练指导(6.3.910)
推理服务部署 准备推理环境 启动推理服务 父主题: 主流开源大模型基于Lite Server适配Ascend-vLLM PyTorch NPU推理指导(6.3.912)
推理服务精度评测 本章节介绍了2种精度测评方式,分别为Lm-eval工具和MME工具。 lm-eval工具适用于语言模型的推理精度测试,数据集包含mmlu、ARC_Challenge、GSM_8k、Hellaswag、Winogrande、TruthfulQA等,该工具为离线测评,不需要启动推理服务。
准备镜像环境 准备训练模型适用的容器镜像,包括获取镜像地址,了解镜像中包含的各类固件版本,配置物理机环境操作。 镜像地址 本教程中用到的训练和推理的基础镜像地址和配套版本关系如下表所示,请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 基础镜像 swr.cn-southwest-2
准备数据(可选) 此小节为自定义数据集执行过程,如非自定义数据集此小节忽略。 本教程使用到的是LLamaFactory代码包自带数据集。您也可以自行准备数据集,目前支持alpaca格式和sharegpt格式的微调数据集;使用自定义数据集时,请更新代码目录下data/dataset_info
使用基础镜像 通过ECS获取和上传基础镜像将镜像上传至SWR服务后,可创建训练作业,在“选择镜像”中选择SWR中基础镜像。 由于基础镜像内需要安装固定版本依赖包,如果直接使用基础镜像进行训练,每次创建训练作业时,训练作业的图1中都需要执行install.sh文件,来安装依赖以及下载完整代码。命令如下:
常见错误原因和解决方法 显存溢出错误 网卡名称错误 父主题: 主流开源大模型基于Standard+OBS适配ModelLink PyTorch NPU训练指导(6.3.908)
100.3.7更新内容 1. Mac平台修复会中不显示自定义头像问题,体验更稳定。 父主题: 版本更新内容
为何接收号码不正确也能请求成功? 因为短信平台不会校验接收号码的有效性,即调用短信API发送短信时,请求成功并不表示短信发送成功。 请求成功后,短信平台最多72小时内会返回状态报告,无法送达的接收号码会有对应的状态码标识错误原因。 父主题: 调用API发送短信
thisObj.getMessages()}) HttpUtils.getCsrfToken:通过ajax的方式去调用平台的接口时使用。如果使用平台桥接器的方式,平台会自动在请求header中添加csfr-token头。 HttpUtils.getCsrfToken(function(csrfToken)
ts Repo 背景介绍 CodeArts Repo现有迁仓能力只支持公网之间迁移,缺少客户内网自建代码托管平台往Repo迁移的快速方案,因此提供批量迁移内网代码托管平台仓库到Repo的脚本。 配置访问CodeArts Repo的SSH公钥 在进行批量迁移GitLab的代码仓到CodeArts
都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全 //本示例以ak和sk保存在环境变量中来实现身份验证为例,运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_SDK_AK和HUAWEICLOUD_SDK_SK
如何使用VPC终端节点在安装虚拟机Agent时访问依赖的服务? 问题描述 VPC终端节点(VPC Endpoint),能够将VPC私密地连接到终端节点服务,使VPC中的云资源无需弹性公网IP就能够访问终端节点服务,提高了访问效率,为您提供更加灵活、安全的组网方式。 为虚拟机类型环
Java Chassis使用配置中心 Java Chassis使用以config-center命名的配置中心。 需要在项目中增加如下依赖: <dependency> <groupId>org.apache.servicecomb</groupId> <artifactId
在SLB中创建灰度服务 本文介绍如何创建灰度服务。 前提条件 需要具备AppStage服务运维岗位权限或运维管理员权限,权限申请操作请参见申请权限。 创建灰度服务 进入AppStage运维中心。 在顶部导航栏选择服务。 单击,选择“微服务开发 > 负载均衡”。 选择左侧导航栏的“灰度管理
在WiseDBA中同步Schema WiseDBA上的Schema记录与数据库引擎上的Schema有差异时,可以通过同步Schema功能保持一致。GaussDB、RDS for PostgreSQL数据库会同时同步Database和Schema。 注意事项 在WiseDBA中删除
在WiseDBA中创建Database 对于GaussDB和RDS for PostgreSQL数据库,在创建Schema前需要先创建Database。 前提条件 需要具备AppStage服务运维岗位权限或运维管理员权限,权限申请操作请参见申请权限。 创建Database 进入AppStage运维中心。
使用Yaml文件创建流程服务编排 注意事项 流程引擎支持通过导入Swagger 2.0的Yaml文件来创建流程服务编排,且该Yaml文件不能大于1MB。 Yaml创建流程服务编排 登录流程引擎。 在左侧导航栏中,选择“流程编排服务 > 流程服务编排”,进入“流程服务编排”页面。 单击“创建”,展开“创建服务”页面。