AI开发平台MODELARTS-Controlnet训练:Step1 处理fill50k数据集

时间:2024-12-09 20:36:20

Step1 处理fill50k数据集

使用ma-user用户在容器上执行如下命令解压数据集。

cd /home/ma-user/datasets/fill50k 
unzip conditioning_images.zip 
unzip images.zip

接着修改fill50k.py文件,如果机器无法访问huggingface网站,则需要将脚本文件中下载地址替换为容器本地目录。

56     def _split_generators(self, dl_manager):      
57         #metadata_path = dl_manager.download(METADATA_URL)      
58         #images_dir = dl_manager.download_and_extract(IMAGES_URL)      
59         #conditioning_images_dir = dl_manager.download_and_extract(      
60         #    CONDITIONING_IMAGES_URL      
61         #)      
62         metadata_path = "/home/ma-user/datasets/fill50k/train.jsonl"      
63         images_dir = "/home/ma-user/datasets/fill50k"      
64         conditioning_images_dir = "/home/ma-user/datasets/fill50k"
support.huaweicloud.com/bestpractice-modelarts/modelarts_aigc_train_0005.html