正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备镜像 准备训练模型适用的容器镜像,包括获取镜像地址,了解镜像中包含的各类固件版本,配置物理机环境操作。 镜像地址 本教程中用到的基础镜像地址和配套版本关系如下表所示,请提前了解。 表1 基础镜像地址 镜像用途 镜像地址 基础镜像(训练和推理通用) 西南-贵阳一:swr.cn-southwest-2
推理前的权重合并转换 模型训练完成后,训练的产物包括模型的权重、优化器状态、loss等信息。这些内容可用于断点续训、模型评测或推理任务等。 在进行模型评测或推理任务前,需要将训练后生成的多个权重文件合并,并转换成Huggingface格式的权重文件。 权重文件的合并转换操作都要求
访问容器目录时提示Permission denied 由于在容器中没有相应目录的权限,会导致访问时提示Permission denied。可以在宿主机中对相关目录做权限放开,执行命令如下。 chmod 777 -R ${dir} 父主题: 常见问题
在Notebook调试环境中部署推理服务 在ModelArts的开发环境Notebook中可以部署推理服务进行调试。 Step1 准备Notebook 参考准备Notebook完成Notebook的创建,并打开Notebook。 Step2 准备权重文件 将OBS中的模型权重上传
准备环境 本文档中的模型运行环境是ModelArts Lite的DevServer。请参考本文档要求准备资源环境。 资源规格要求 计算规格:不同模型训练推荐的NPU卡数请参见表2。 硬盘空间:至少200GB。 Ascend资源规格: Ascend: 1*ascend-snt9b表示Ascend单卡。
SFT全参微调训练任务 Step1 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中,可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中,具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。
预训练任务 Step1 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中,可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中,具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。
LoRA微调训练 Step1 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中,可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中,具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。
LoRA训练 本章节介绍SDXL&SD 1.5模型的LoRA训练过程。LoRA训练是指在已经训练好的模型基础上,使用新的数据集进行LoRA微调以优化模型性能的过程。 启动SD1.5 LoRA训练服务 使用ma-user用户执行如下命令运行训练脚本。 sh diffusers_lora_train
Finetune训练 本章节介绍SDXL&SD 1.5模型的Finetune训练过程。Finetune是指在已经训练好的模型基础上,使用新的数据集进行微调(fine-tuning)以优化模型性能。 启动SD1.5 Finetune训练服务 使用ma-user用户执行如下命令运行训练脚本。
查看日志和性能 单击作业详情页面,则可查看训练过程中的详细信息。 图1 查看训练作业 在作业详情页的日志页签,查看最后一个节点的日志,其包含“elapsed time per iteration (ms)”数据,可换算为tokens/s/p的性能数据。 吞吐量(tokens/s/p):global
ma-cli dli-job提交DLI Spark作业支持的命令 $ma-cli dli-job -h Usage: ma-cli dli-job [OPTIONS] COMMAND [ARGS]... DLI spark job submission and query jod
响应示例 状态码: 200 OK 查询连接器数据主权保护倡议。 { "data" : { "declaration_id" : "c1***********", "content" : "协议详情" }, "total" : 1 } 状态码 状态码 描述 200
共享型负载均衡| 全动态BGP| 流量 | 400GB 1 564.00 OBS 100G 1 13 总计:9027.00 部署说明: 用户现在华为云平台购买方案套餐和华为云资源,具体规格根据自身业务数据量评估后选择。 所有软件模块均为java应用,docker方式部署,交付镜像包。华为云资源准备好以后由顶象实施人员部署。
发布进行一站式管理,避免形成信息孤岛,各自为政的情形,实现包括统一信息发布、自动回复、微门户等功能。 系统将微信、微博管理后台对接到平台,通过平台的全媒体管理系统,实现对官方微信、官方微博的统一管理,包括支持对官方微信的绑定设置、粉丝管理、内容模板管理等,对微博的内容发布管理、回复管理、关注管理等功能。
类型 位置 描述 app_key 必选 String header 访问物联网平台的应用ID,在物联网平台创建应用时由平台分配获得。 Authorization 必选 String header 访问物联网平台的认证信息,值为“Bearer {accessToken}”,其中{acc
发送撤回消息 消息用途 当Chatbot已发送消息到5G消息云服务平台后,希望将发往5G消息云服务平台的消息撤回时,调用此接口进行消息撤回操作。 方法 HTTPs:put URL: https://{serverRoot}/v2/{chatbotAddress}/{messageId}/outbound
物联网普及的速度在加快,很多企业在物联网转型过程中往往面临着接入碎片化、设备管理复杂、安全难保证、平台容量小等难题。针对以上物联网痛点,华为云物联网平台提供了一系列解决措施。 传统平台 华为云物联网平台 设备通信 需要跨地域采购物理SIM卡,生产地无法测试目的地网络状态。 全球拓展难:需与
与datahub对接的算法镜像制作 算法与仿真平台datahub通过grpc连接,通过接收osi数据作为输入,并将算法内部信号输出到datahub,仿真平台可以生成仿真的osi和算法pb,用于3d回放展示和算法的白盒化评测。如下图所示: 图1 算法镜像 具体grpc连接datah
的整数。 marker 可选 String Query 上一次分页查询结果中最后一条记录的ID,在上一次分页查询时由物联网平台返回获得。分页查询时物联网平台是按marker也就是记录ID降序查询的,越新的数据记录ID也会越大。若填写marker,则本次只查询记录ID小于marke