第三届计图人工智能挑战赛：风格及语义引导的风景图像生成赛题（赛题一）baseline

简介

本目录结合了计图挑战赛中【王文琦、陈顾骏】小组所复现的GauGAN（Semantic Image Synthesis with Spatially-Adaptive Normalization）模型和Shijie Li, Ming-Ming Cheng, Juergen Gall在arXiv所提交的论文（Dual Pyramid Generative Adversarial Networks for Semantic Image Synthesis）中的DP-GAN模型修改而得，单卡训练时间约为45epoch/24h。 GauGAN原仓库地址：https://github.com/wenqi-wang20/jittor-ThisNameIsGeneratedByJittor-Landscape DP-GAN原仓库地址：https://github.com/sj-li/DP_GAN

测试时，SPADE网络可以完成一张参考的ref图+一张label Mask图通过网络输出一张生成图。

安装

运行环境

ubuntu 20.04 LTS
python >= 3.7
jittor >= 1.3.0

安装依赖

pip install -r requirements.txt # 本目录下的requirements.txt

数据集

赛事A榜训练数据集由此下载。赛事B榜训练数据集由此下载。

预训练模型采用的是 Jittor 框架自带的 vgg19 模型，无需额外下载，在代码运行的过程中会载入到内存里。

训练

在单卡上训练：

sh train.sh

此前需要修改train.sh，其内容为：

# train.sh
CUDA_VISIBLE_DEVICES="0" python train.py --input_path {训练数据集路径（即train_resized文件夹所在路径）}

测试

在单卡上进行测试：

sh test.sh

此前需要： 1.将label与img的映射关系（label_to_img.json）放置在gaugan目录下 2.修改test.sh，其内容为：

CUDA_VISIBLE_DEVICES="0" python test.py  \
--input_path {测试数据集路径（即labels文件夹所在路径），它提供label mask图} \
--img_path {训练数据集的图片路径（即train_resized/imgs文件夹所在路径，它提供ref图）}
--which_epoch {使用的模型的epoch数目}

致谢

我们将DP-GAN论文的 pytorch 版本的源代码，迁移到了 Jittor 框架当中，并且借鉴了计图挑战赛中【王文琦、陈顾骏】小组所复现的 Jittor 框架下的GauGAN模型、开源社区 Spectral Normalization 的代码，以及重度参考了原论文的官方开源代码：SPADE。