AI开发平台MODELARTS-Controlnet训练:Step1 处理fill50k数据集

时间：2024-09-24 10:50:24

AI开发平台MODELARTS

Step1 处理fill50k数据集

使用ma-user用户在容器上执行如下命令解压数据集。

cd /home/ma-user/datasets/fill50k 
unzip conditioning_images.zip 
unzip images.zip

接着修改fill50k.py文件，如果机器无法访问huggingface网站，则需要将脚本文件中下载地址替换为容器本地目录。

56     def _split_generators(self, dl_manager):      
57         #metadata_path = dl_manager.download(METADATA_URL)      
58         #images_dir = dl_manager.download_and_extract(IMAGES_URL)      
59         #conditioning_images_dir = dl_manager.download_and_extract(      
60         #    CONDITIONING_IMAGES_URL      
61         #)      
62         metadata_path = "/home/ma-user/datasets/fill50k/train.jsonl"      
63         images_dir = "/home/ma-user/datasets/fill50k"      
64         conditioning_images_dir = "/home/ma-user/datasets/fill50k"

上一篇：AI开发平台MODELARTS-非分离部署推理服务:Step1 检查环境

下一篇：AI开发平台MODELARTS-Finetune训练:启动SDXL Finetune训练服务