检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Yaml配置文件参数配置说明 本小节主要详细描述demo_yaml配置文件、配置参数说明,用户可根据实际自行选择其需要的参数。 表1 模型训练脚本参数 参数 示例值 参数说明 model_name_or_path /home/ma-user/ws/tokenizers/Qwen2-
模型NPU卡数、梯度累积值取值表 不同模型推荐的训练参数和计算规格要求如表1所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡,以此类推。 表1 NPU卡数、加速框架、梯度配置取值表 模型 Template 模型参数量 训练策略类型 序列长度cutoff_len 梯度累积值
工作负载Pod异常 Pod状态为Pending 当Pod状态为“Pending”,事件中出现“实例调度失败”的信息时,可根据具体事件信息确定具体问题原因。具体参考链接为工作负载状态异常定位方法。 通过以下命令打印Pod日志信息。 kubectl describe pod ${pod_name
训练启动脚本说明和参数配置 本代码包中集成了不同模型(包括llama2、llama3、Qwen、Qwen1.5 ......)的训练脚本,并可通过不同模型中的训练脚本一键式运行。训练脚本可判断是否完成预处理后的数据和权重转换的模型。如果未完成,则执行脚本,自动完成数据预处理和权重转换的过程
训练的数据集预处理说明 以 llama2-13b 举例,运行:0_pl_pretrain_13b.sh 训练脚本后,脚本检查是否已经完成数据集预处理的过程。 如果已完成数据集预处理,则直接执行预训练任务。如果未进行数据集预处理,则会自动执行 scripts/llama2/1_preprocess_data.sh
模型NPU卡数、梯度累积值取值表 不同模型推荐的训练参数和计算规格要求如表1所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡,以此类推。 表1 NPU卡数、加速框架、梯度配置取值表 模型 Template 模型参数量 训练策略类型 序列长度cutoff_len 梯度累积值
训练启动脚本说明和参数配置 本代码包中集成了不同模型的训练脚本,并可通过不同模型中的训练脚本一键式运行。训练脚本可判断是否完成预处理后的数据和权重转换的模型。若未完成,则执行脚本,自动完成数据预处理和权重转换的过程。 若用户进行自定义数据集预处理以及权重转换,可通过编辑 1_preprocess_data.sh
投机推理使用说明 什么是投机推理 传统LLM推理主要依赖于自回归式(auto-regressive)的解码(decoding)方式,每步解码只能够产生一个输出token,并且需要将历史输出内容拼接后重新作为LLM的输入,才能进行下一步的解码。为了解决上述问题,提出了一种投机式推理方式
语言模型推理性能测试 benchmark方法介绍 性能benchmark包括两部分。 静态性能测试:评估在固定输入、固定输出和固定并发下,模型的吞吐与首token延迟。该方式实现简单,能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试:评估在请求并发在一定范围内波动
查看及导出微服务接口契约 微服务场景中的契约是指服务契约,它是基于OpenAPI规范的微服务接口约束规范,是服务端和消费端对于接口的定义。本文介绍如何查看以及导出微服务的接口契约。 查看接口契约 进入AppStage运维中心。 在顶部导航栏选择服务。 单击,选择“微服务开发 > 服务发现
查看微服务的依赖关系 本文介绍通过管理台查看及删除微服务的依赖关系。 查看微服务依赖的服务 进入AppStage运维中心。 在顶部导航栏选择服务。 单击,选择“微服务开发 > 服务发现”。 选择左侧导航栏的“服务目录 > 一方服务”。 选择“微服务列表”页签,单击微服务列表中的微服务名
灰度测试平台接口url 对应配置文件中config.GREY_TEST_URL。 节点级流控告警阈值 如果“节点级流控 ”次数达到阈值将产生告警。 请求数量预告警 如果每个nginx worker处理的请求数量达到阈值将产生告警。
配置此步骤的主要目的是,将设备上传的二进制码流消息解码成JSON格式,以便物联网平台理解。配置示例如下: 消息名:smokerinfo 消息类型:数据上报。 添加响应字段:是。添加响应字段后,物联网平台在收到设备上报的数据后,会下发用户设置的响应数据到设备。
以下是添加边缘设备(MQTT设备)配置时的参考: 记住设备ID和密码,用于设备接入平台认证 。 父主题: 集成ModuleSDK进行数据处理
企业主机安全2023年12月新版本上线 本期云图说同步发布平台:微信、微博、知乎、今日头条、CSDN、51CTO、华为云开发者论坛、博客园、稀土掘金、OSCHINA、InfoQ。 父主题: 版本更新
个人会议,登录到个人会议管理平台>会议设置>个人会议设置。点击编辑,修改来宾密码,点击保存。置空来宾密码则可取消密码。 云会议室会议,登录到个人会议管理平台>会议设置>云会议室设置。点击编辑,修改来宾密码,点击保存。置空来宾密码则可取消密码。
图1 车队管理 认证审核 对司机角色的用户进行审核、查看详情; 图2 认证审核 车辆管理 新增车辆;条件查询平台下车辆列表信息;可对车辆进行修改、删除、冻结。 图3 车辆管理 智能管车 地图展示平台车辆信息; 司机星级评价 查询司机对应的评价信息列表;可查看评价详情列表。
方式2:使用预置应用搭建NGS流程 将EIHealth平台预置的应用构建成流程,并运行作业。以二代基因组分析流程:fastp,bwa-mem,bamqc,picard-insertsize两个算法为例。
数据上传方式 城市智能体云平台提供数据文件上传功能,用户可以将本地的数据上传至系统默认提供的存储空间中。 当前平台支持三种数据上传方式: 桌面端程序OBS Browser+。 命令行工具obsutil。 数据快递。
错误码 Http状态码 错误码 错误描述 说明 400 120015 Bad request error. 请求错误。 处理建议:请检查请求参数的是否有误。