第三届计图(Jittor)人工智能挑战赛-风格及语义引导的风景图片生成

本仓库为Secret;Weapon团队针对第三届计图(Jittor)人工智能挑战赛赛题一给出的解决方案，该模型最终在A榜上取得第4的成绩，在B榜上取得第4的成绩。

本次比赛赛题为风格及语义引导的风景图片生成，该算法生成图片的效果如下所示：

安装

运行环境

• ubuntu 20.04 LTS
• python 3.8.16
• jittor 1.3.8

安装依赖

执行以下命令安装 python 依赖

pip install -r requirements.txt

预训练模型

预训练模型模型下载地址，下载后放入目录 <root>/checkpoints/ 下，最终checkpoints目录结构为：

checkpoints/
|–– fusion/
|   |–– 360_net_E.pkl
|   |–– 360_net_G.pkl
|–– merge/
|   |–– avg_237_272_net_E.pkl
|   |–– avg_237_272_net_G.pkl
|–– train_fid_m.npy
|–– train_fid_s.npy

数据集下载

清华大学计算机系图形学实验室从Flickr官网收集了12000张高清（宽512、高384）的风景图片，并制作了它们的语义分割图。其中，10000对图片被用来训练。

训练数据集可以从这里下载。

A榜测试集可以从这里下载。

B榜测试集可以从这里下载。

训练

模型训练

使用以下命令进行模型的训练，其中训练集路径需要进行替换

python train.py --input_path 训练集路径

推理

使用以下命令即可生成图片复现排行榜分数，其中测试数据路径和参考图像路径需要进行替换

python test.py --input_path 测试数据路径 --img_path 参考图像路径 --output_path ./results

致谢

此项目代码基于APF-GAN 实现，代码参考来自SPADE、 APF-GAN。