检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
其他语言客户端使用说明 MQS完全兼容Kafka开源客户端。 如果您使用其他语言,也可以从Kafka官网获取客户端,按照Kafka官网提供的连接说明,与MQS对接。 获取客户端的地址请参考Kafka官网。 父主题: MQS连接开发(开源客户端)
镜像保存时报错“container size %dG is greater than threshold %dG”如何解决? 问题现象 在Notebook里保存镜像时报错“container size %dG is greater than threshold %dG”。 原因分析
如何使用资源管理插件 在常规代码开发中,通常会将一些高频率用到的一些代码片段抽离出来业务代码,使其成为一个公共函数,减少重复的代码,从而达到代码复用的目的。 同样,在编排流程元模板中,不可避免地需要编写一些高代码进行组合开发,这里同样存在存储一些公共函数以供各处调用需求。资源管理
创建泳道组 泳道组是一组泳道的集合,用于区分不同的组织或场景。 操作步骤 登录ServiceStage控制台。 选择“全链路流量控制 > 创建泳道组”,参考下表填写泳道组必填信息,其余参数保持默认。 参数名称 参数说明 泳道组名称 输入泳道组的名称,例如:lane-test。 流量入口网关
管理应用中的服务编排 服务编排是一种通过简单的拖拉拽式流程编排以及参数配置的方式,来进行服务开发的能力,并支持对已开发的服务重新进行组合编排。在AstroZero环境配置中,可管理当前账号下所有的服务编排,包括查看、启用、禁用、运行服务编排等。 约束与限制 在AstroZero沙
管理应用中的页面资源 管理组件 管理组件模板 管理库 管理桥接器 管理桥接器模板 管理禁用资产 管理页面模板 父主题: 管理AstroZero中已安装应用的资源
管理版本标准发布准入配置 组织管理员可以为标准发布版本活动配置发布准入检查项,配置后创建的版本标准发布时会继承该准入配置。 前提条件 已获取组织管理员角色权限,权限申请方法请参见申请权限。 修改发布准入配置 在开发中心首页右上角选择“工具链 > 版本活动管理”。 在“版本活动管理
配置中心概述 配置中心用来管理微服务应用的配置。微服务连接配置中心,能够从配置中心获取配置信息及其变化。配置中心还是其他微服务管控功能的核心部件,比如服务治理规则的下发,也是通过配置中心实现的。 微服务引擎支持的配置中心为:config-center和kie。 当微服务引擎版本为1
服务治理概述 服务治理是一个非常宽泛的概念,一般指独立于业务逻辑之外,给系统提供一些可靠运行的系统保障措施。针对微服务场景下的常用故障模式,提供的保障措施包括: 负载均衡管理:提供多实例情况下的负载均衡策略管理,比如采用轮询的方式保障流量在不同实例均衡。当一个实例发生故障的时候,
Spring Cloud Huawei与Java-chassis历史版本修复问题 本章列出了在Spring Cloud Huawei与Java-chassis框架历史版本中修复的所有问题。 Spring Cloud Huawei历史版本及版本修复问题 spring-cloud-huawei版本
准备资源 创建专属资源池 本文档中的模型运行环境是ModelArts Standard,用户需要购买专属资源池,具体步骤请参考创建资源池。 资源规格要求: 计算规格:用户可参考表2。 硬盘空间:至少200GB。 昇腾资源规格: Ascend: 1*ascend-snt9b表示昇腾单卡。
准备数据 本教程使用到的训练数据集是Alpaca数据集。您也可以自行准备数据集。 数据集下载 本教程使用Alpaca数据集,数据集的介绍及下载链接如下。 Alpaca数据集是由OpenAI的text-davinci-003引擎生成的包含52k条指令和演示的数据集。这些指令数据可以
准备权重 获取对应模型的权重文件,获取链接参考表1。权重文件下载有如下几种方式,但不仅限于以下方式: 方法一:网页下载:通过单击表格中权重文件获取地址的访问链接,即可在模型主页的Files and Version中下载文件。文件会直接下载用户本地,需要再上传至SFS Turbo中。
准备镜像 镜像方案说明 ECS获取和上传基础镜像 使用基础镜像 ECS中构建新镜像 父主题: 准备工作
准备资源 创建专属资源池 本文档中的模型运行环境是ModelArts Standard,用户需要购买专属资源池,具体步骤请参考创建资源池。 资源规格要求: 计算规格:用户可参考表2。 硬盘空间:至少200GB。 昇腾资源规格: Ascend: 1*ascend-snt9b表示昇腾单卡。
准备数据 本教程使用到的训练数据集是Alpaca数据集。您也可以自行准备数据集。 数据集下载 本教程使用Alpaca数据集,数据集的介绍及下载链接如下。 Alpaca数据集是由OpenAI的text-davinci-003引擎生成的包含52k条指令和演示的数据集。这些指令数据可以
准备镜像 镜像方案说明 ECS获取和上传基础镜像 使用基础镜像 ECS中构建新镜像 父主题: 准备工作
查看日志和性能 查看日志 训练过程中,训练日志会在最后的Rank节点打印。 图1 打印训练日志 训练完成后,如果需要单独获取训练日志文件,可以在${SAVE_PATH}/logs路径下获取。日志存放路径为:/home/ma-user/ws/saved_dir_for_ma_output/llama2-70b/logs
SFT全参微调训练 前提条件 已上传训练代码、训练权重文件和数据集到OBS中,具体参考代码上传至OBS。 Step1 创建训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及选择上传的镜像。 代码目录选择:OBS桶路径下的llm_train/AscendSpeed代码目录。
训练脚本说明参考 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 父主题: 主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导(6.3.909)