Deep-Learning学习笔记

深度学习在图像处理中的应用教程

前言

• 本教程是对本人对研究内容进行整理总结，总结的同时也希望能够帮助更多的小伙伴。后期如果有学习到新的知识也会与大家一起分享。
• 本笔记主要记录了： 1）使用Pytorch进行网络的搭建与训练
  2）使用Tensorflow（内部的keras模块）进行网络的搭建与训练

教程目录，点击跳转相应视频（后期会根据学习内容增加）

• 图像分类

  • LeNet（已完成）

    • [Pytorch官方demo(Lenet)]
    • [Tensorflow2官方demo]

  • AlexNet（已完成）

    • [AlexNet网络讲解]
    • [Pytorch搭建AlexNet]
    • [Tensorflow2搭建Alexnet]

  • VggNet（已完成）

    • [VggNet网络讲解]
    • [Pytorch搭建VGG网络]
    • [Tensorflow2搭建VGG网络]

  • GoogLeNet（已完成）

    • [GoogLeNet网络讲解]
    • [Pytorch搭建GoogLeNet网络]
    • [Tensorflow2搭建GoogLeNet网络]

  • ResNet（已完成）

    • [ResNet网络讲解]
    • [Pytorch搭建ResNet网络]
    • [Tensorflow2搭建ResNet网络]

  • ResNeXt (已完成)

    • [ResNeXt网络讲解]
    • [Pytorch搭建ResNeXt网络]

  • MobileNet（已完成）

    • [MobileNet_v1_v2网络讲解]
    • [MobileNet_v3网络讲解]
    • [Pytorch搭建MobileNetV2网络]
    • [Pytorch搭建MobileNetV3网络]
    • [Tensorflow2搭建MobileNetV2网络]
    • [Tensorflow2搭建MobileNetV3网络]

  • ShuffleNet (已完成)

    • [ShuffleNet_v1_v2网络讲解]
    • [使用Pytorch搭建ShuffleNetv2]
    • [使用Tensorflow2搭建ShuffleNetv2]

  • EfficientNet（已完成）

    • [EfficientNet网络讲解]
    • [使用Pytorch搭建EfficientNet]
    • [使用Tensorflow2搭建EfficientNet]

  • EfficientNetV2 (已完成)

    • [EfficientNetV2网络讲解]
    • [使用Pytorch搭建EfficientNetV2]
    • [使用Tensorflow搭建EfficientNetV2]

  • Vision Transformer(已完成)

    • [Multi-Head Attention讲解]
    • [Vision Transformer网络讲解]
    • [使用Pytorch搭建Vision Transformer]
    • [使用tensorflow2搭建Vision Transformer]

• 目标检测篇

  • Faster-RCNN/FPN（已完成）

    • [Faster-RCNN网络讲解]
    • [FPN网络讲解]
    • [Faster-RCNN源码解析(Pytorch)]

  • SSD/RetinaNet (已完成)

    • [SSD网络讲解]
    • [RetinaNet网络讲解]
    • [SSD源码解析(Pytorch)]

  • YOLOv3 SPP (进行中)

    • [YOLO系列网络讲解]
    • [YOLOv3 SPP源码解析(Pytorch版)]

• 目标分割

  • FCN (准备中)
    • FCN网络详解
    • FCN源码解析(Pytorch版)

---

所需环境

• Anaconda3（建议使用）
• python3.6/3.7/3.8
• pycharm (IDE)
• pytorch 1.7.1 (pip package)
• torchvision 0.8.1 (pip package)
• tensorflow 2.4.1 (pip package)

  Tensorflow2.1 GPU安装与Pytorch1.3 GPU安装

  参考博文：Centos7 安装Tensorflow2.1 GPU以及Pytorch1.3 GPU（CUDA10.1）

keras functional api训练的模型权重与subclassed训练的模型权重能否混用 [tensorflow2.0.0]

强烈不建议混用，即使两个模型的名称结构完全一致也不要混用，里面有坑，用什么方法训练的模型就载入相应的模型权重

使用subclassed模型时无法使用model.summary() [tensorflow2.0.0]

subclassed模型在实例化时没有自动进行build操作（只有在开始训练时，才会自动进行build），如果需要使用summary操作，需要提前手动build
model.build((batch_size, height, width, channel))

无法使用keras的plot_model(model, ‘my_model.png’)问题 [tensorflow2.0.0]

在linux下你需要安装一些包：

• pip install pydot==1.2.3
• sudo apt-get install graphviz

  在windows中，同样需要安装一些包（windows比较麻烦）：

• pip install pydot==1.2.3
• 安装graphviz，并添加相关环境变量
  参考连接：https://github.com/XifengGuo/CapsNet-Keras/issues/7

为什么每计算一个batch，就需要调用一次optimizer.zero_grad() [Pytorch1.3]

如果不清除历史梯度，就会对计算的历史梯度进行累加（通过这个特性你能够变相实现一个很大batch数值的训练）
参考链接：https://www.zhihu.com/question/303070254

Pytorch1.3 ImportError: cannot import name ‘PILLOW_VERSION’ [Pytorch1.3]

pillow版本过高导致，安装版本号小于7.0.0即可