基于 MMDetection，探究 Transformer 在 Object Detection 的应用 —— GLCC22

CCF GitLink编程夏令营（GitLink Code Camp，简称GLCC），是由中国计算机学会（CCF）主办，GitLink社区和CCF开源发展委员会（CCF ODC）共同举办的面向全国高校学生的暑期开源项目实习计划。

课题详情：https://www.gitlink.org.cn/glcc/subjects/detail/76

Issue链接：https://github.com/open-mmlab/mmdetection/issues/8030

学生：李青云 哈尔滨工业大学在读 (导师：陈雨时 教授)

​ 谢其致——清华大学在读

​ 刘祎铭——中山大学在读

项目导师：张士龙 项目单位：OpenMMLab

项目目标

• 复现 Conditional DETR (2.x)
• 复现 DAB DETR (2.x)
• 复现 DINO (2.x)
• 研讨现有框架问题，设计重构方案
• 重构 DETR，Deformable DETR (3.x)
• 重构 复现的三个 DETR 算法 (3.x)
• 对 五个 pr 进行训练实验，对齐主要结果的训练精度

后续工作：

• 参与重构 MaskFormer 和 Mask2Former
• 在 Mask DINO 开源后 参与复现pr的开发

项目地址

仓库地址: https://github.com/Li-Qingyun/mmdetection

​ branch: (refactor-detr-3.x, refactor-dino-3.x, refactor-conditional-detr-3.x, ​ refactor-dab-detr-3.x, add-dino, add-dab-detr, ​ add-conditional-detr-lym_version, refactor-detr)

PR地址：

​ 重构 pr (3.x) :

​ DETR 和 Deformable DETR：https://github.com/open-mmlab/mmdetection/pull/8763

​ Conditional DETR：https://github.com/Li-Qingyun/mmdetection/pull/2

​ DAB-DETR：https://github.com/open-mmlab/mmdetection/pull/8811

​ DINO：https://github.com/open-mmlab/mmdetection/pull/8820

​ 复现 pr (2.x) :

​ Conditional DETR：https://github.com/open-mmlab/mmdetection/pull/8545

​ DAB-DETR：https://github.com/open-mmlab/mmdetection/pull/8533

​ DINO：https://github.com/open-mmlab/mmdetection/pull/8362

​ 重构草稿 :

​ DETR: https://github.com/open-mmlab/mmdetection/pull/8754

项目工具仓库：https://github.com/Li-Qingyun/glcc22_align_utils

课题进度

中期视频汇报

https://www.bilibili.com/video/BV15G41147Fm/?vd_source=61f067a89ceaf3e4435587d6ddeaa100

重构研讨方案

DETR-like 重构整理 0903-2.0：https://flowus.cn/share/b08c0fa4-57df-4790-8d6c-2b111dbaa853

DETRTransformerLayer 重构：https://flowus.cn/share/ce675d78-cba1-481e-b615-06e6cb18dea1

细节修正方案：https://flowus.cn/share/75849522-d594-4651-9bd4-f37b0696e592

DETR-like 重构整理 0827-1.0：https://flowus.cn/share/f2b1b514-1899-4c82-85f7-d2d2bcc7e47b

实验结果汇总 (2.x)

(多次实验的，取save_best_AP最高的实验结果)

(2022.08.19 更新)

Conditional DETR	AP	AP50	AP75	APs	APm	APl
Conditional DETR-R50-50e (论文结果)	40.9	61.8	43.3	20.8	44.6	59.2
Conditional DETR-R50-50e (项目复现)	40.8	61.4	43.3	20.4	44.1	60.2
Conditional DETR-R101-50e (论文结果)	42.8	63.7	46.0	21.7	46.6	60.9
Conditional DETR-R101-50e (项目复现)	42.9	63.8	45.8	21.7	46.9	61.9
Conditional DETR-R50-DC5-50e (论文结果, 1x8)	43.8	64.4	46.7	24.0	47.6	60.7
Conditional DETR-R50-DC5-50e (项目复现, 1x8)	42.2	62.9	45.0	22.0	45.7	60.6
Conditional DETR-R50-DC5-50e (项目复现, 2x8)	43.6	64.0	46.3	23.5	47.1	61.6
Conditional DETR-R101-DC5-50e (论文结果, 1x8)	45.0	65.5	48.4	26.1	48.9	62.8
Conditional DETR-R101-DC5-50e (项目复现, 1x8)	43.8	64.4	47.0	23.3	48.1	62.2
Conditional DETR-R101-DC5-50e (项目复现, 2x8)	44.4	65.0	47.7	24.7	48.5	62.3

DAB-DETR	AP	AP50	AP75	APs	APm	APl
DAB-DETR-R50 (论文结果)	42*.*2	63*.*1	44*.*7	21*.*5	45*.*7	60*.*3
DAB-DETR-R50 (项目复现)	41.8	62.7	44.3	21.4	45.2	60.4
DAB-DETR-R50-3pat (论文结果)	42.6	63.2	45.6	21.8	46.2	61.1
DAB-DETR-R50-3pat (项目复现)	42.7	63.4	45.4	22.1	46.4	61.2

DINO	AP	AP50	AP75	APs	APm	APl
DINO-4scale-R50-12e (论文结果)	49.0	66.6	53.5	32.0	52.3	63.0
DINO-4scale-R50-12e (项目复现)	48.9	66.1	53.4	30.5	51.9	64.1
DINO-4scale-R50-36e (论文结果)	50.9	69.0	55.3	34.6	54.1	64.6
DINO-4scale-R50-36e (项目复现)	50.7	68.7	55.4	33.3	53.7	65.6
DINO-5scale-R50-36e (论文结果)	51.2	69.0	55.8	35.0	54.3	65.3
DINO-5scale-R50-36e (项目复现)	51.6	69.3	56.3	34.1	55.0	64.6

• DINO 的详细实验结果会持续更新在PR的comments里