检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备工作 准备环境 准备代码 准备镜像 父主题: 主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导(6.3.910)
LoRA微调训练 前提条件 已上传训练代码、训练权重文件和数据集到OBS中,具体参考代码上传至OBS。 Step1 创建训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及选择上传的镜像。 代码目录选择:OBS桶路径下的llm_train/AscendSpeed代码目录。
查看日志和性能 单击作业详情页面,则可查看训练过程中的详细信息。 图1 查看训练作业 在作业详情页的日志页签,查看最后一个节点的日志,其包含“elapsed time per iteration (ms)”数据,可换算为tokens/s/p的性能数据。 吞吐量(tokens/s/p):global
场景介绍 方案概览 本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件,为用户提供了常见主流开源大模型在ModelArts Lite Server上的预训练和全量微调方案。训练框架使用的是ModelLink。 本方案目前仅适用于部分企业客户,完成本方案
场景介绍 方案概览 本文档利用训练框架LlamaFactory+华为自研Ascend Snt9B硬件,为用户提供了常见主流开源大模型在ModelArts Lite DevServer上的微调方案,包括sft全参和lora 微调。 本方案目前仅适用于部分企业客户,完成本方案的部署,需要先联系您所在企业的华为方技术支持。
上传数据至OBS(首次使用时需要) 前提条件 已经在OBS上创建好普通OBS桶,请参见创建普通OBS桶。 已经安装obsutil,请参考下载和安装obsutil。 参考线下容器镜像构建及调试章节,构建容器镜像并调试,镜像构建及调试与单机单卡相同。 上传镜像,参考单机单卡训练的上传镜像章节操作。
推理精度测试 本章节介绍如何进行推理精度测试,数据集是ceval_gen、mmlu_gen、math_gen、gsm8k_gen、humaneval_gen。 前提条件 确保容器可以访问公网。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendC
根据环境ID获取环境详细信息 功能介绍 此API通过环境ID获取环境详细信息。 调试 您可以在API Explorer中调试该接口。 URI GET /v2/{project_id}/cas/environments/{environment_id} 表1 路径参数 参数 是否必选
根据应用ID获取应用详细信息 功能介绍 此API通过应用ID获取应用详细信息。 调试 您可以在API Explorer中调试该接口。 URI GET /v2/{project_id}/cas/applications/{application_id} 表1 路径参数 参数 是否必选
Long 首次匹配坐席时间戳 firstSubmitTime Long 首次提交时间 invitedUserId String 邀请人员 isAppraisal Integer 检查单是否需要评审 isVideoAcceptance Integer 是否视频验收(1:是;0:否) lastCollectionTime
什么是云数据库 GeminiDB 云数据库 GeminiDB是一款基于计算存储分离架构的分布式多模NoSQL数据库服务。在云计算平台高性能、高可用、高可靠、高安全、可弹性伸缩的基础上,提供了一键部署、备份恢复、监控报警等服务能力。 云数据库 GeminiDB目前兼容Cassand
社区管理 社区是企业为内部员工搭建的一个相互学习和交流的平台。 在学员端学员可以在其平台上发表文章,话题,也可以相互评论。 在管理端,管理员可以对员工发表的不规范文章,话题和评论进行删除。 图1 圈子管理 图2 文章管理 图3 问答管理 图4 话题管理 父主题: 运营
AXYB模式绑定信息查询接口 接口功能 该接口用于SP向隐私保护通话平台查询指定AXYB模式的绑定信息。 请求方向 客户应用(客户端) → 隐私保护通话平台(服务端) 接口类型 表1 请求说明 请求方法 GET 访问URI /rest/omp/xyrelationnumber/v1
完成生产工艺领域核心数据概念模型、逻辑实体及逻辑模型设计; 完成核心数据数据标准设计,包含业务标准、技术标准等 基于所设计资产目录及模型,完成华为DGC平台元数据注册与使用验证。 父主题: 工业数据资产库设计
如何对音视频内容进行审核? 环境准备 已下载SDK。 场景说明 随着视频业务广泛应用到各平台中,视频内容审查已然成为重点关注的问题。特别是在UGC场景,若视频平台未对用户自由上传的视频内容进行违规审核,则将会给平台带来多方面的伤害。 为了满足视频业务对音视频的审核需求,华为云视频点播服务提供
上报给平台,平台对该消息不进行解析,该消息可以转发给应用服务器或华为云其他云服务上进行存储和处理。 消息上报和属性上报的区别,请查看消息通信说明。 低配置且资源受限或者对网络流量有要求的设备,不适合直接构造JSON数据与物联网平台通信时,可将原始二进制数据透传到物联网平台。通过开
实例介绍 华为物联网平台提供实例助力解决数据和资源隔离等问题,当前华为云物联网平台提供标准版(标准实例)和企业版(专享实例)两种实例类型供您选择。 标准版 在标准实例下,平台提供更多的扩展功能,支持更多的服务组合能力以及行业解决方案集成适配。标准版是逻辑多租架构,不同租户之间的实
专属主机与专属云的区别? 场景方面 专属云可以配套专属分布式存储、专属企业存储、专属裸金属服务器等专属服务,提供完整的资源隔离方案。 专属主机则只能提供计算隔离主机,使用更灵活,适合对计算资源隔离、使用灵活性有要求的客户。 功能方面 专属云需要独立开通专属云账号,专属云资源和公共
查看预定义应用 华为乾坤云平台自带的应用识别特征库,能够很好的识别各种常见的应用即预定义应用。按照如下操作可以查看华为乾坤云平台已经预定义的应用。 操作步骤 单击页面左上角按钮,选择“策略 > WAN策略 > 应用管理 > 应用管理”。 单击“预定义应用”页签。 在预定义应用分类
在站点的现场,根据站点组网要求,完成设备连线。 将设备上电。 待设备启动完成后,设备会通过DHCP方式获得云平台的IP地址和端口号,自动注册到云平台。 开局成功后,云平台会将之前的预配置自动下发到已注册的设备。 结果验证 您可以通过如下方式查看设备是否上线成功。 以租户帐号登录华为乾坤控制台,选择“资源中心