检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
s[i : i + 1])[0] for i in range(latents.shape[0])]) ... 修改后的文件参考Gitee代码库中的如下两个文件: pipeline_onnx_stable_diffusion_img2img_mslite.py mslite_model_proxy
的OBS目录。即数据集存储的位置。 在SDK中调用对应OBS目录下的数据。 SDK的下载和使用,请参见《SDK参考》。 可参考从OBS下载文件,通过接口直接使用上述步骤中下载的数据集。 父主题: AI Gallery
${container_model_path}:模型地址,模型格式是HuggingFace的目录格式。即Step2 准备权重文件上传的HuggingFace权重文件存放目录。如果使用了量化功能,则使用推理模型量化章节转换后的权重。 --max-num-seqs:最大同时处理的请求数,超过后拒绝访问。
查看日志和性能 查看日志 训练过程中,训练日志会在最后的Rank节点打印。 图1 打印训练日志 训练完成后,如果需要单独获取训练日志文件,可以在${SAVE_PATH}/logs路径下获取。日志存放路径为:/home/ma-user/ws/saved_dir_for_ma_output/llama2-70b/logs
查看日志和性能 查看日志 训练过程中,训练日志会在最后的Rank节点打印。 图1 打印训练日志 训练完成后,如果需要单独获取训练日志文件,可以在${SAVE_PATH}/logs路径下获取。日志存放路径为:/home/ma-user/ws/saved_dir_for_ma_output/llama2-70b/logs
方法2:使用同步数据源功能。将图片上传到数据集输入目录下(或者其子目录),单击数据集详情页中的“同步数据源”将新增图片导入。需注意的是,同步数据源同时也会将OBS已删除的文件从数据集也删除,请谨慎操作。 方法3:新建数据集。将图片上传至OBS任意目录,可以直接使用这些图片目录作为数据集的输入目录,新建一个数据集。
查看日志和性能 查看日志 训练过程中,训练日志会在最后的Rank节点打印。 图1 打印训练日志 训练完成后,如果需要单独获取训练日志文件,可以在${SAVE_PATH}/logs路径下获取。日志存放路径为:/home/ma-user/ws/saved_dir_for_ma_output/llama2-70b/logs
查看日志和性能 查看日志 训练过程中,训练日志会在最后的Rank节点打印。 图1 打印训练日志 训练完成后,如果需要单独获取训练日志文件,可以在${SAVE_PATH}/logs路径下获取。日志存放路径为:/home/ma-user/ws/saved_dir_for_ma_output/llama2-70b/logs
查看日志和性能 查看日志 训练过程中,训练日志会在最后的Rank节点打印。 图1 打印训练日志 训练完成后,如果需要单独获取训练日志文件,可以在${SAVE_PATH}/logs路径下获取。日志存放路径为:/home/ma-user/ws/saved_dir_for_ma_output/llama2-70b/logs
--test_count=3 (随机选择 3个数据作为测试集) user_id: 用户的唯一不重复的ID值,必选。 excel_addr: 待处理的excel文件的地址,必选。 dataset_name: 处理后的数据集名称,必选。 proportion: 测试集所占份数,范围[1,9],可选。 test_count:
--test_count=3 (随机选择 3个数据作为测试集) user_id: 用户的唯一不重复的ID值,必选。 excel_addr: 待处理的excel文件的地址,必选。 dataset_name: 处理后的数据集名称,必选。 proportion: 测试集所占份数,范围[1,9],可选。 test_count:
查看日志和性能 查看日志 训练过程中,训练日志会在最后的Rank节点打印。 图1 打印训练日志 训练完成后,如果需要单独获取训练日志文件,可以在${SAVE_PATH}/logs路径下获取。日志存放路径为:/home/ma-user/ws/saved_dir_for_ma_output/llama2-70b/logs
包放到模型所在的OBS目录下)。 查看待安装包的安装限制和前置依赖等,排查是否满足相关要求。 如果包有依赖关系,请参考导入模型时,模型配置文件中的安装包依赖参数如何编写?章节配置包的先后依赖关系。 父主题: 模型管理
app_url/boot_file_url和engine_id无需填写。 boot_file_url 是 String 训练作业的代码启动文件,需要在代码目录下,如:“/usr/app/boot.py”。应与app_url一同出现,若填入model_id则app_url/boot
--test_count=3 (随机选择 3个数据作为测试集) user_id: 用户的唯一不重复的ID值,必选。 excel_addr: 待处理的excel文件的地址,必选。 dataset_name: 处理后的数据集名称,必选。 proportion: 测试集所占份数,范围[1,9],可选。 test_count:
实现在租户账号下管理个人的作业与资源。 下线旧版自动学习对现有用户的使用是否有影响? 用户将无法再使用旧版自动学习的功能,且因旧版自动学习文件均存储于ModelArts统一管理账号下,用户无法找回旧版自动学习的作业记录。 旧版自动学习如何升级到新版自动学习? 请参考新版自动学习指导文档来体验新版自动学习。
illegal 图片非RGB模式 convert to rgb 系统已将图片转成RGB格式处理,不需要用户处理。 5 type illegal 非图片文件,但可以转换成JPG convert to jpg 系统已将图片转换成JPG格式处理,不需要用户处理。 父主题: 模型训练
10000; done 部分参数说明: MODEL_NAME:HuggingFace格式模型权重文件所在OBS文件夹名称。 OUTPUT_DIR:通过TensorRT-LLM转换后的模型文件在容器中的路径。 完整的Dockerfile如下: FROM nvcr.io/nvidia/tritonserver:23
E表示作业的配置文件路径,如果不指定该参数,则表示配置文件为空。配置文件是一个YAML格式的文件,里面的参数就是命令的option参数。此外,如果用户在命令行中同时指定YAML_FILE配置文件和option参数,命令行中指定的option参数的值将会覆盖配置文件相同的值。 $ma-cli
logs -f ${pod_name} 训练过程中,训练日志会在最后的Rank节点打印。 图1 打印训练日志 训练完成后,如果需要单独获取训练日志文件,可以在${SAVE_PATH}/logs路径下获取。日志存放路径为:/home/ma-user/ws/saved_dir_for_ma_