检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 父主题: 主流开源大模型基于Lite Server适配ModelLink PyTorch NPU训练指导(6.3.907)
准备工作 准备环境 准备代码 准备镜像环境 准备数据(可选) 父主题: 主流开源大模型基于Lite Server适配LlamaFactory PyTorch NPU训练指导(6.3.907)
使用Msprobe工具分析偏差 观察上一章Loss趋势,在首个Step有较小偏差,所以对第一个Step进行比对分析。此处使用Msprobe的整网Dump和比对分析功能。 首先安装社区Msprobe工具,命令如下: pip install mindstudio-probe 使能工具
准备资源 创建专属资源池 本文档中的模型运行环境是ModelArts Standard,用户需要购买专属资源池,具体步骤请参考创建资源池。 资源规格要求: 计算规格:用户可参考表1。 硬盘空间:至少200GB。 昇腾资源规格: Ascend: 1*ascend-snt9b表示昇腾单卡。
查看日志和性能 单击作业详情页面,则可查看训练过程中的详细信息。 图1 查看训练作业 在作业详情页的日志页签,查看最后一个节点的日志,其包含“elapsed time per iteration (ms)”数据,可换算为tokens/s/p的性能数据。 吞吐量(tokens/s/p):global
准备工作 准备环境 准备代码 准备数据 准备镜像环境 父主题: 主流开源大模型基于Lite Cluster适配ModelLink PyTorch NPU训练指导(6.3.910)
查看日志和性能 单击作业详情页面,则可查看训练过程中的详细信息。 图1 查看训练作业 在作业详情页的日志页签,查看最后一个节点的日志,其包含“elapsed time per iteration (ms)”数据,可换算为tokens/s/p的性能数据。 吞吐量(tokens/s/p):global
准备代码 本教程中用到的模型软件包如下表所示,请提前准备好。 获取模型软件包 本方案支持的模型对应的软件和依赖包获取地址如表1所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6.3.912-xxx.zip 说明: 软件包名称中的xxx表示时间戳。
# 基于LLaMAFactory的训练代码 |──ascendcloud_patch/ # 针对昇腾云平台适配的功能补丁包 |──demo.yaml # 样例yaml配置文件
# 基于LLaMAFactory的训练代码 |──ascendcloud_patch/ # 针对昇腾云平台适配的功能补丁包 |──demo.yaml # 样例yaml配置文件
方法追踪 方法追踪是对某个类的某个方法进行动态埋点,当这个类的方法被调用时,APM采集探针会按照您配置的方法追踪规则对方法的调用数据进行采集,并将调用数据展现在调用链页面中。方法追踪主要用来帮助应用的开发人员在线定位方法级性能问题。 APM对三方开源组件发布的API进行埋点,但没
软件升级结果通知 接口说明 应用服务器在物联网平台订阅了软件升级结果通知后(订阅的通知类型为swUpgradeResultNotify),当设备的软件升级任务执行完成时,平台会向应用服务器推送通知消息。 注意事项 应用收到推送消息,请务必返回响应码。 URI 请求方法 POST URI
固件升级结果通知 接口说明 应用服务器在物联网平台订阅了固件升级结果通知后(订阅的通知类型为fwUpgradeResultNotify),当设备的固件升级任务执行完成时,平台会向应用服务器推送通知消息。 注意事项 应用收到推送消息,请务必返回响应码。 URI 请求方法 POST URI
资源到期了如何续费 包年/包月方式购买的资源到期后,请在平台订购管理页面进行续订操作。具体步骤如下: 登录ModelArts Studio大模型开发平台,单击页面右上角“订购管理”。 在“订购管理”页面,单击“资源订购”页签。 在“资源订购”页签可进行数据资源、训练资源、推理资源的续费操作。
选择“边缘设备”页签,单击添加边缘设备中添加的设备ID“test_IoT10”,跳转至“设备接入服务控制台”查看采集的数据。 图1 设备列表 OT数采设备状态平台不感知,即统一显示为“未激活”,请进入设备详情页,查看最新上报数据。 父主题: 操作步骤
足时,可将应用从AstroZero中删除。 AstroZero低代码平台管理中心 AstroZero低代码平台提供了一个平台管理功能,用于进行系统设置、管理用户、管理应用及应用中资源和监控系统业务配额、查看系统告警、日志等。 管理AstroZero中用户及权限:在AstroZer
登录 您可以使用以下浏览器访问华为云会议管理平台。 IE 11版本。 Chrome 46及以上版本。 FireFox 41及以上版本。 输入用户账号和密码(开户成功后,该账号密码可从邮件或短信中获取)登录华为云会议管理平台。
计费说明 API中心当前是免费的平台服务,当前API中心平台本身并不直接面向伙伴/开发者收取费用。 API商业售卖是基于华为云云商店来实现交易和变现,该场景下计费相关信息以华为云云商店相关规定为准。
配置API 原生服务旨在帮助您在AstroZero平台上或外部系统,调用已开发好的服务。为了完成调用,需要知道服务开放了哪些接口,以及这些接口的请求参数、返回参数等。API配置后,可在服务编排中进行调用,也可将API再封装为自定义公共接口,供外部系统调用自定义公共接口。 部署Native Service