检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
上传本地文件至JupyterLab Notebook的JupyterLab中提供了多种方式上传文件。 上传文件要求 对于大小不超过100MB的文件直接上传,并展示文件大小、上传进度及速度等详细信息。 对于大小超过100MB不超过50GB的文件可以使用OBS中转,系统先将文件上传O
在ModelArts控制台界面上单击VS Code接入并在新界面单击打开,未弹出VS Code窗口 原因分析 未安装VS Code或者安装版本过低。 解决方法 下载并安装VS Code(Windows用户请单击“Win”,其他用户请单击“其他”下载),安装完成后单击“刷新”完成连接。
在SLB中配置url重写/重定向 可根据请求是否为灰度做不同的重写或重定向策略,对于使用灰度的场景比较有意义,如典型的:端侧发给SLB的请求 http://xyz.com/xyzgetnews?param1=xyz & param2=abc后端现网版本接受/xyzgetnews?
在SLB中进行限流配置 限制指定窗口内的访问频次。 前提条件 需要具备AppStage服务运维岗位权限或运维管理员权限,权限申请操作请参见申请权限。 流控类型介绍 支持的流控类型有节点级流控,服务级流控,接口级流控,IP流控,自定义参数流控,多参数组合流控,配额流控及并发连接流控
(可选)录入HTTPS监听所需的服务器证书 配置HTTPS监听时,涉及服务器身份验证,需要为监听绑定服务器证书。本文介绍如何录入服务器证书。 前提条件 已获取服务器证书。 需要具备AppStage服务运维岗位权限或运维管理员权限,权限申请操作请参见申请权限。 创建证书 进入AppStage运维中心。
查看注册到CloudMap的微服务列表 本文介绍通过管理台查看微服务列表。 查看注册到CloudMap的微服务列表 进入AppStage运维中心。 在顶部导航栏选择服务。 单击,选择“微服务开发 > 服务发现”。 选择左侧导航栏的“服务目录 > 一方服务”。 选择“微服务列表”页
在WiseDBA中申请数据库账号 需要临时执行SQL语句时,可申请临时账号处理,本文介绍如何申请账号。 前提条件 需要具备AppStage服务运维岗位权限、运维管理员权限或基础运维岗位权限,权限申请操作请参见AppStage组织成员申请权限。 申请账号 进入AppStage运维中心。
在WiseDBA中查询数据库对象统计信息 支持对GaussDB数据库进行表对象统计和索引对象统计。 查询对象统计 进入AppStage运维中心。 在顶部导航栏选择服务。 单击,选择“微服务开发 > 数据库治理”。 选择左侧导航栏的“实时诊断”。 在左侧树中选择目标数据库类型以及目标节点,选择“对象统计”页签。
在SLB中配置负载均衡OLC服务 前提条件 需要具备AppStage服务运维岗位权限或运维管理员权限,权限申请操作请参见申请权限。 新增资源 资源用于定义规则中要匹配的微服务名称和接口名称。如果需要对微服务下所有接口的请求总数进行限制,需要配置微服务资源;如果需要对某一个特定的接
团队与团队角色下批量更新用户 功能介绍 团队与团队角色下批量更新用户,最终数据以传入数据为准。 URI PUT /unidata/public/api/v1/team/team-role/user/batch-update/{team_and_team_role_id} 表1 路径参数
在VMS回收弹性云服务器及边缘云服务器主机 弹性云服务器及边缘云服务器支持在VMS页面进行回收。服务运维岗位权限人员申请回收将其放入回收站中,基础运维岗位人员可以在回收站中查看或立即回收主机,运维管理员可以申请回收并在回收站进行回收。 前提条件 已获取服务运维岗位权限、基础运维岗
训练的数据集预处理说明 以 llama2-13b 举例,运行:0_pl_pretrain_13b.sh 训练脚本后,脚本检查是否已经完成数据集预处理的过程。 如果已完成数据集预处理,则直接执行预训练任务。如果未进行数据集预处理,则会自动执行 scripts/llama2/1_preprocess_data
显存溢出错误 在训练过程中,常见显存溢出报错,示例如下: RuntimeError: NPU out of memory. Tried to allocate 1.04 GiB (NPU 4; 60.97 GiB total capacity; 56.45 GiB already
模型NPU卡数、梯度累积值取值表 不同模型推荐的训练参数和计算规格要求如表1所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡,以此类推。 表1 NPU卡数、加速框架、梯度配置取值表 模型 模型参数量 训练类型 序列长度cutoff_len 梯度累积值 优化工具(Deepspeed)
训练启动脚本说明和参数配置 本代码包中集成了不同模型(包括llama2、llama3、Qwen、Qwen1.5 ......)的训练脚本,并可通过不同模型中的训练脚本一键式运行。训练脚本可判断是否完成预处理后的数据和权重转换的模型。如果未完成,则执行脚本,自动完成数据预处理和权重转换的过程。
保存ckpt时超时报错 在多节点集群训练完成后,只有部分节点会保存权重,而其他节点会一直在等待通信。当等待时间超过36分钟时,会发生超时的错误。 图1 报错提示 解决方法 1. 需要保证磁盘IO带宽正常,可以在36分钟内将文件保存到磁盘。单个节点内,最大只有60G(实际应该在40
NPU_Flash_Attn融合算子约束 query、key、value都需要梯度。默认开启重计算,则前向时qkv没有梯度,如果需要关闭重计算,可以在yaml配置 `disable_gradient_checkpointing: true` 关闭,但显存占用会直线上升。 attn_mask
BF16和FP16说明 在大模型训练中,BF16(Brain Floating Point)和FP16(Float16)都是使用的半精度浮点数格式,但它们在结构和适用性上有一些重要的区别。 BF16:具有8个指数位和7个小数位。在处理大模型时有优势,能够避免在训练过程中数值的上溢
W,这个代表该街区有问题且被处理完成的标识,可以做到吗? 问题 W,这个代表该街区有问题且被处理完成的标识,可以做到吗? 回答 基于平台现有功能,不一定实现,可以通过代码实现。 父主题: 咨询类
创建立即会议后,所有用户都在线,但是都没有收到呼叫提醒? 登录WeLink PC客户端,点击菜单栏 > 个人会议管理平台,进入会议管理页面,单击“创建会议”,高级设置“允许入会”为“所有用户”。 父主题: 会议