正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
推理前参考本章节,将训练后生成的多个权重文件合并,并转换成Huggingface格式的权重文件。 如果无推理任务或者使用开源Huggingface权重文件进行推理,可以忽略此章节。和本文档配套的推理文档请参考《开源大模型基于DevServer的推理通用指导》。
将自定义的推理文件和模型配置文件保存在训练生成的模型文件目录下。
示例中,默认生成在“processed_for_input”文件夹下。如果用户需要修改,可添加并自定义该变量。
NPU网络链接异常。 可能是亚健康,建议先重启节点,若重启节点后未恢复,发起维修流程。 NT_NPU_CARD_LOSE NPU 掉卡 NPU卡丢失。 节点规格的NPU卡数和k8sNode中可调度卡数不一致。 可能是亚健康,建议先重启节点,若重启节点后未恢复,发起维修流程。
当训练作业执行多次时,将基于V001、V002等规则生成不同的版本目录,且生成的模型将存储在不同版本目录下的model文件夹。此处选择模型文件时,需指定对应版本目录下的model文件夹。 “动态加载” 用于实现快速部署和快速更新模型。
--handler-name:生成数据集的用途,这里是生成的指令数据集,用于微调。 GeneralPretrainHandler:默认值。用于预训练时的数据预处理过程中,将数据集根据key值进行简单的过滤。
--handler-name:生成数据集的用途,这里是生成的指令数据集,用于微调。 GeneralPretrainHandler:默认。用于预训练时的数据预处理过程中,将数据集根据key值进行简单的过滤。
也可以根据业务实际情况,使用generate_datasets.py脚本生成和业务数据分布接近的数据集。
--handler-name:生成数据集的用途,这里是生成的指令数据集,用于微调。 GeneralPretrainHandler:默认。用于预训练时的数据预处理过程中,将数据集根据key值进行简单的过滤。
API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/authorizations 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。
示例中,默认生成在“processed_for_input”文件夹下。如果用户需要修改,可添加并自定义该变量。
model_description_url String 模型描述链接。 parameter String 模型的运行参数。当为自定义镜像训练作业的时候,此参数为容器环境变量。该样例请参考请求示例。 create_time Long 模型的创建时间。
图8 注册镜像 Step9 通过openssl创建SSL pem证书 在ECS中执行如下命令,会在当前目录生成cert.pem和key.pem,并将生成的pem证书上传至OBS。证书用于后续在推理生产环境中部署HTTPS推理服务。
--handler-name:生成数据集的用途,这里是生成的指令数据集,用于微调。 GeneralPretrainHandler:默认。用于预训练时的数据预处理过程中,将数据集根据key值进行简单的过滤。
示例中,默认生成在“processed_for_input”文件夹下。如果用户需要修改,可添加并自定义该变量。
--handler-name:生成数据集的用途,这里是生成的指令数据集,用于微调。 GeneralPretrainHandler:默认。用于预训练时的数据预处理过程中,将数据集根据key值进行简单的过滤。
推理前参考本章节,将训练后生成的多个权重文件合并,并转换成Huggingface格式的权重文件。 如果无推理任务或者使用开源Huggingface权重文件进行推理,可以忽略此章节。和本文档配套的推理文档请参考《开源大模型基于DevServer的推理通用指导》。
评测静态性能脚本 ├── benchmark_serving.py # 评测动态性能脚本 ├── benchmark_utils.py # 抽离的工具集 ├── generate_datasets.py # 生成自定义数据集的脚本
评测静态性能脚本 ├── benchmark_serving.py # 评测动态性能脚本 ├── benchmark_utils.py # 抽离的工具集 ├── generate_datasets.py # 生成自定义数据集的脚本
训练完成后,将生成模型并存储至OBS中。 创建训练作业 管理AI应用 编写推理代码和配置文件 针对您生成的模型,建议您按照ModelArts提供的模型包规范,编写推理代码和配置文件,并将推理代码和配置文件存储至训练输出位置。