Jittor 基于GauGAN的风格及语义引导的风景图片生成项目

图像生成任务一直以来都是十分具有应用场景的计算机视觉任务，从语义分割图生成有意义、高质量的图片仍然存在诸多挑战，如保证生成图片的真实性、清晰程度、多样性、美观性等。其中，条件图像合成，即输入图片数据，合成真实感图片，在内容生成与图片编辑领域有广泛应用。一种条件图像合成的方式是，用两张图片作为输入，经过处理转换后生成一张新的图片，其中一张输入为语义分割图片（称为mask图），指示生成图片（称为gen图）的语义信息；另一张输入为参考风格图片（称为ref图），从色调等方面指示gen图的风格信息。

简介

本项目包含了第三届计图挑战赛计图 - 风格及语义引导的风景图片生成比赛的代码实现。本项目的特点是：采用了GauGAN模型对mask图处理，取得了不错额效果效果。

mask accuary	美学评分	FID	风格相似度	总分
0	0	0	0	0

安装

本项目可在 1 张 2080 上运行，训练时间约为 6 小时。

运行环境

• windows10
• python >= 3.7
• jittor >= 1.3.0

安装依赖

执行以下命令安装 python 依赖

pip install -r requirements.txt

模型

训练完成的模型下载地址：百度云盘，密码：，下载后放入目录 ./checkpoints// 下。

数据预处理

训练数据集下载地址：训练集，测试集 将数据下载解压到 ./dataset 下。 完整的数据集文件夹结构如下：

--datasets
    --train_resized
        --imgs
        --labels
    --val_resized
        --val_A_labels_resized
        --label_to_img.json

训练

单卡训练可运行以下命令：

python train.py

推理

生成测试集上的结果可以运行以下命令：

python test.py

致谢

此项目基于论文 带有空间自适应归一化的语义图像合成 实现。