检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SD1.5 Finetune是指在已经训练好的SD1.5模型基础上,使用新的数据集进行微调(fine-tuning)以优化模型性能的过程。 本文档主要介绍如何利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件,对Stable Diffusion模型下不同数据集进
TABLE (表格数据) VIDEO_ANNOTATION (视频标注) description 版本描述信息。 否 str 如果您没有特殊需求,则可直接使用内置的默认值,例如example = DatasetVersionConfig() 使用案例 场景一:基于数据集发布版本 使
huawei.com/ascend-1980: "8" # 每个节点的需求卡数,key保持不变。与MA_NUM_GPUS一致 limits: huawei
e格式。开源权重文件获取地址请参见表3。 如果使用模型训练后的权重文件进行推理,模型训练及训练后的权重文件转换操作可以参考相关文档章节中提供的模型训练文档。 权重要求放在磁盘的指定目录,并做目录大小检查,参考命令如下: df -h Step4 制作推理镜像 解压AscendClo
e格式。开源权重文件获取地址请参见表3。 如果使用模型训练后的权重文件进行推理,模型训练及训练后的权重文件转换操作可以参考相关文档章节中提供的模型训练文档。 3.权重要求放在磁盘的指定目录,并做目录大小检查,参考命令如下: df -h 步骤四 制作推理镜像 解压AscendClo
e格式。开源权重文件获取地址请参见表3。 如果使用模型训练后的权重文件进行推理,模型训练及训练后的权重文件转换操作可以参考相关文档章节中提供的模型训练文档。 权重要求放在磁盘的指定目录,并做目录大小检查,参考命令如下: df -h Step4 制作推理镜像 解压AscendClo
e格式。开源权重文件获取地址请参见表3。 如果使用模型训练后的权重文件进行推理,模型训练及训练后的权重文件转换操作可以参考相关文档章节中提供的模型训练文档。 3.权重要求放在磁盘的指定目录,并做目录大小检查,参考命令如下: df -h 步骤四 制作推理镜像 解压AscendClo
AnnotationFormatConfig excluded_labels 不导入包含指定标签的样本。 否 Label的列表 import_annotated 用于导入智能标注结果的任务,是否导入原数据集中已标注的样本到待确认,默认值为"false"即不导入原数据集中已标注的样本到待确认。可选值如下: true:导入原数据集中已标注的样本到待确认
ytorch,再其他依赖包。 如果训练数据和代码经常变动,则不建议把数据、代码放到容器镜像里,避免频繁地构建容器镜像。 容器已经能满足隔离需求,不建议在容器内再创建多个conda env。 导出conda环境。 启动线下的容器镜像: # run on terminal docker
数据集dataset配置: dataset: mllm_demo,identity 否,忽略此步骤,执行下一步。 如需其他配置参数,可参考表1按照实际需求修改。 步骤三:启动训练脚本 修改完yaml配置文件后,启动训练脚本。模型不同最少NPU卡数不同,NPU卡数建议值可参考表1。 修改启动脚本demo
数据集dataset配置: dataset: mllm_demo,identity 否,忽略此步骤,执行下一步。 如需其他配置参数,可参考表1按照实际需求修改。 步骤三 启动训练脚本 修改完yaml配置文件后,启动训练脚本。模型不同最少NPU卡数不同,NPU卡数建议值可参考表1。 修改启动脚本demo
数据集dataset配置: dataset: mllm_demo,identity 否,忽略此步骤,执行下一步。 如需其他配置参数,可参考表1按照实际需求修改。 步骤三 启动训练脚本 修改完yaml配置文件后,启动训练脚本。模型不同最少NPU卡数不同,NPU卡数建议值可参考表1。 修改启动脚本demo
ytorch,再其他依赖包。 如果训练数据和代码经常变动,则不建议把数据、代码放到容器镜像里,避免频繁地构建容器镜像。 容器已经能满足隔离需求,不建议在容器内再创建多个conda env。 导出conda环境。 启动线下的容器镜像: # run on terminal docker
数据集dataset配置: dataset: mllm_demo,identity 否,忽略此步骤,执行下一步。 如需其他配置参数,可参考表1按照实际需求修改。 步骤三:启动训练脚本 修改完yaml配置文件后,启动训练脚本。模型不同最少NPU卡数不同,NPU卡数建议值可参考表1。 修改启动脚本demo
常用预置包:基于标准的Conda环境,预置了常用的AI引擎,常用的数据分析软件包,例如Pandas,Numpy等,常用的工具软件,例如cuda,cudnn等,满足AI开发常用需求。 预置Conda环境:每个预置镜像都会创建一个相对应的Conda环境和一个基础Conda环境python(不包含任何AI引擎),如预置M
unit_num Integer gpu卡数。 product_name String 产品名。 memory String 内存。 表48 Npu 参数 参数类型 描述 unit_num String npu卡数。 product_name String 产品名。 memory String 内存。
e格式。开源权重文件获取地址请参见表3。 如果使用模型训练后的权重文件进行推理,模型训练及训练后的权重文件转换操作可以参考相关文档章节中提供的模型训练文档。 权重要求放在磁盘的指定目录,并做目录大小检查,参考命令如下: df -h Step4 制作推理镜像 解压AscendClo
e格式。开源权重文件获取地址请参见表3。 如果使用模型训练后的权重文件进行推理,模型训练及训练后的权重文件转换操作可以参考相关文档章节中提供的模型训练文档。 3.权重要求放在磁盘的指定目录,并做目录大小检查,参考命令如下: df -h 步骤四 制作推理镜像 解压AscendClo
使用AK/SK认证时,您可以通过APIG SDK访问,也可以通过ModelArts SDK访问。使用ModelArts SDK访问参见用户AK-SK认证模式。本文档详细介绍如何通过APIG SDK访问在线服务,具体操作流程如下: 获取AK/SK 获取在线服务信息 发送预测请求 方式一:使用Python语言发送预测请求
"max_tokens": 50,"temperature":0}”,单击“预测”即可看到预测结果。 图9 预测-openai 在线服务的更多内容介绍请参见文档查看服务详情。 Step5 推理性能测试 推理性能测试操作请参见推理性能测试。 父主题: 主流开源大模型基于Standard适配PyTorch