检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
BF16和FP16说明 在大模型训练中,BF16(Brain Floating Point)和FP16(Float16)都是使用的半精度浮点数格式,但它们在结构和适用性上有一些重要的区别。 BF16:具有8个指数位和7个小数位。在处理大模型时有优势,能够避免在训练过程中数值的上溢
多模态模型推理性能测试 benchmark方法介绍 静态性能测试:评估在固定输入、固定输出和固定并发下,模型的吞吐与首token延迟。该方式实现简单,能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 性能benchmark验证使用到的脚本存放在代码包AscendCloud-LLM-xxx
训练的数据集预处理说明 以 llama2-13b 举例,运行:0_pl_pretrain_13b.sh 训练脚本后,脚本检查是否已经完成数据集预处理的过程。 如果已完成数据集预处理,则直接执行预训练任务。如果未进行数据集预处理,则会自动执行 scripts/llama2/1_preprocess_data
显存溢出错误 在训练过程中,常见显存溢出报错,示例如下: RuntimeError: NPU out of memory. Tried to allocate 1.04 GiB (NPU 4; 60.97 GiB total capacity; 56.45 GiB already
模型NPU卡数、梯度累积值取值表 不同模型推荐的训练参数和计算规格要求如表1所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡,以此类推。 表1 NPU卡数、加速框架、梯度配置取值表 模型 模型参数量 训练类型 序列长度cutoff_len 梯度累积值 优化工具(Deepspeed)
在VMS回收弹性云服务器及边缘云服务器主机 弹性云服务器及边缘云服务器支持在VMS页面进行回收。服务运维岗位权限人员申请回收将其放入回收站中,基础运维岗位人员可以在回收站中查看或立即回收主机,运维管理员可以申请回收并在回收站进行回收。 前提条件 已获取服务运维岗位权限、基础运维岗
上传本地文件至JupyterLab Notebook的JupyterLab中提供了多种方式上传文件。 上传文件要求 对于大小不超过100MB的文件直接上传,并展示文件大小、上传进度及速度等详细信息。 对于大小超过100MB不超过50GB的文件可以使用OBS中转,系统先将文件上传O
支持云审计的关键操作 公有云平台提供了云审计服务。通过云审计服务,您可以记录与对话机器人服务相关的操作事件,便于日后的查询、审计和回溯。 前提条件 已开通云审计服务。 支持审计的关键操作列表 表1 支持审计的关键操作列表 操作名称 资源类型 事件名称 创建按需机器人 qabot purchaseQabot
部分交换机设备无法进行远程命令行操作 现象描述 部分交换机设备无法进行远程命令行操作。 处理步骤 判断是否可以远程登录到设备。 如果无法远程登录设备,可以在华为乾坤云平台通过CLI下发如下配置命令: system-view user-interface vty 0 4
作业对象的扩展属性配置 路径:公共平台->业务配置->作业对象->更多操作->表单属性配置 配置简介 对作业对象的扩展属性进行配置 图2.1-3作业对象扩展属性配置 父主题: 作业对象配置
已经结束的会议,怎么导出与会人信息? 单击PC客户端左上角头像>”个人会议管理平台”>”个人”>”我的会议”>”已结束的”,选择需要导出的会议,操作项点击导出会议详情。 父主题: 会议管理
本指南基于STM32芯片平台,以正点原子STM32F407开发板为例介绍如何快速移植LiteOS,其中并不涉及CPU架构移植。 父主题: 概述
管理资源包 服务对象 客户 场景描述 客户购买资源包后,在自建平台可以查询资源包列表和资源内使用量。 相关API列表 开放接口 接口定义链接 查询资源包列表 https://support.huaweicloud.com/api-oce/api_order_00027.html 查询资源包使用量
未接入设备开发指导 请参见端侧设备,进行端侧设备应用的开发,开发完成后,参见接入端侧设备到ISDP+系统接入设备到ISDP+平台。 父主题: 设备接入
推送证书失效怎么处理? 如果是自己制作的调测证书,请重新制作并上传至物联网平台。 如果是厂家提供的证书,请联系厂家重新制作。 父主题: 订阅推送(联通用户专用)
云商店用户如何申请发票 在云商店平台购买第三方商家的商品,发票由第三方商家开具,申请指导请参见:云商店用户申请发票帮助指南。 父主题: 发票管理
P连通云内VPC和公网网络,通过云专线、虚拟专用网络等连通云内VPC和线下数据中心,构建混合云网络,灵活整合资源。 VPC使用网络虚拟化技术,通过链路冗余,分布式网关集群,多AZ部署等多种技术,保障网络的安全、稳定、高可用。 虚拟私有云产品架构 接下来,本文档将从虚拟私有云VPC
方式2:使用预置应用搭建NGS流程 将EIHealth平台预置的应用构建成流程,并运行作业。以二代基因组分析流程:fastp,bwa-mem,bamqc,picard-insertsize两个算法为例。 应用是对每个软件的镜像封装,将应用封装好后可以反复利用并也可以让其他人很容易的使用,不用担心复杂的开发环境问题。
若需要对设备进行固件版本升级,第三方应用可调用此接口为多个设备创建固件升级任务,升级前请确保目标版本包已上传到物联网平台。当前仅支持对NB-IoT设备进行固件版本升级。 接口功能 支持第三方应用在物联网平台为多个设备进行固件版本升级,当前仅支持对NB-IoT设备进行固件版本升级。 接口描述 1 def
接收设备命令 接口功能 注册设备命令接收广播来接收处理平台下发的控制命令。 接口描述 1 IOTA_TOPIC_SERVICE_COMMAND_RECEIVE/{deviceId}; 参数说明 枚举项 枚举值 类型 描述 EN_IOTA_DATATRANS_IE_RESULT 0