PyTorch自動駕駛視覺感知算法實戰(zhàn)

前言
第1章 卷積神經網(wǎng)絡的理論基礎
1.1神經網(wǎng)絡回顧
1.1.1神經網(wǎng)絡模型
1.1.2神經網(wǎng)絡的訓練——反向傳播算法
1.1.3神經網(wǎng)絡的擬合能力和泛化能力
1.2什么是卷積神經網(wǎng)絡
1.2.1什么是卷積運算
1.2.2通道（Channel）和三維卷積
1.2.3為什么需要深度網(wǎng)絡
1.2.4什么是批次（Batch）
1.3卷積神經網(wǎng)絡的組成細節(jié)
1.3.1卷積神經網(wǎng)絡的輸入層
1.3.2神經網(wǎng)絡的輸出層
1.3.3卷積層和轉置卷積層
1.3.4激活層
1.3.5歸一化層
1.3.6上采樣層和下采樣層
1.3.7池化層
1.3.8跳躍、空間注意力等特殊的連接方式
1.3.9構建一個復雜的卷積神經網(wǎng)絡
1.4卷積神經網(wǎng)絡的訓練
1.4.1常用損失函數(shù)
1.4.2常用的正則化方法
1.4.3常用的優(yōu)化器
1.4.4常用的訓練學習率調整方法
第2章 深度學習開發(fā)環(huán)境及常用工具庫
2.1硬件和操作系統(tǒng)
2.1.1顯卡
2.1.2操作系統(tǒng)
2.2Python開發(fā)環(huán)境管理
2.2.1Anaconda虛擬環(huán)境的管理
2.2.2Python的包管理器pip
2.3常用的Python包
2.3.1NumPy——Python科學計算庫
2.3.2OpenCV——Python圖像處理庫
2.4GPU加速的深度學習和科學計算庫PyTorch
2.4.1GPU加速的科學計算功能
2.4.2PyTorch的自動求導功能
2.4.3PyTorch的優(yōu)化器
2.4.4PyTorch的數(shù)據(jù)加載
2.4.5用PyTorch搭建神經網(wǎng)絡
2.4.6常用的輔助工具
2.4.7搭建一個神經網(wǎng)絡并進行訓練
第3章 神經網(wǎng)絡的特征編碼器——主干網(wǎng)絡
3.1什么是神經網(wǎng)絡的主干網(wǎng)絡
3.1.1神經網(wǎng)絡的元結構
3.1.2神經網(wǎng)絡的主干網(wǎng)絡及有監(jiān)督預訓練
3.1.3主干網(wǎng)絡的自監(jiān)督預訓練
3.2流行的主干網(wǎng)絡
3.2.1簡單直白的主干網(wǎng)絡——類VGG網(wǎng)絡
3.2.2最流行的主干網(wǎng)絡——ResNet系列網(wǎng)絡
3.2.3速度更快的輕量級主干網(wǎng)絡——MobileNet系列
3.2.4自由縮放的主干網(wǎng)絡——RegNet系列
3.3使用TorchVision模型庫提供的主干網(wǎng)絡
3.3.1構建和加載模型
3.3.2修改主干網(wǎng)絡獲取多尺度特征圖
3.3.3不同主干網(wǎng)絡和預訓練模型的訓練對比
第4章 目標檢測網(wǎng)絡——識別車輛
4.1目標檢測基本概念
4.1.1Anchor
4.1.2NMS
4.1.3目標檢測網(wǎng)絡的類別
4.2以Faster RCNN為代表的兩階段檢測方法
4.2.1RPN網(wǎng)絡
4.2.2ROI網(wǎng)絡
4.2.3使用TorchVision模型庫中的Faster RCNN
4.3以Yolo為代表的一階段檢測方法
4.3.1YoloV3的整體結構
4.3.2Yolo的訓練
4.3.3類Yolo的一階段檢測網(wǎng)絡
4.4以CenterNet為代表的Anchor-Free方法
4.4.1CenterNet的整體結構
4.4.2用高斯模糊和Focal Loss訓練CenterNet
4.4.3YoloX網(wǎng)絡
4.5Yolo的PyTorch實現(xiàn)
4.5.1樣本選擇算法的實現(xiàn)
4.5.2Yolo層的實現(xiàn)
4.5.3構造損失函數(shù)
4.5.4NMS的實現(xiàn)
第5章 語義分割與實例分割——逐像素分類
5.1語義分割
5.1.1語義分割的網(wǎng)絡構架和損失函數(shù)
5.1.2評價語義分割質量的指標
5.1.3使用OHEM和類別權重解決樣本不均衡問題
5.1.4語義分割的關鍵——信息融合
5.2使用PyTorch訓練一個語義分割模型
5.2.1語義分割的數(shù)據(jù)加載
5.2.2加載Lite R-ASPP語義分割模型進行訓練
5.2.3計算混淆矩陣
5.2.4計算mIoU
5.3實例分割——分辨行人和車輛
5.3.1以Mask-RCNN為代表的兩階段實例分割方法
5.3.2以SOLO為代表的單階段實例分割方法
5.3.3基于CondInst的半監(jiān)督實例分割方法BoxInst
5.4安裝及使用OpenMMLab——以MMDetection為例
5.4.1安裝和配置MMDetection
5.4.2MMDetection介紹
5.4.3SOLO代碼解析
第6章 單目深度估計——重建三維世界
6.1計算機三維視覺基礎知識
6.1.1相機模型
6.1.2什么是深度圖
6.1.3相機運動模型
6.2單目深度估計的網(wǎng)絡構架
6.2.1深度圖預測網(wǎng)絡
6.2.2基于相對視差的深度圖輸出編碼
6.2.3基于有序回歸的深度圖輸出編碼
6.2.4相機運動估計網(wǎng)絡
6.3無監(jiān)督學習的機制
6.3.1無監(jiān)督學習系統(tǒng)構架
6.3.2將深度圖反投影為點云的PyTorch實現(xiàn)
6.3.3從相鄰幀采集RGB值并重投影的PyTorch實現(xiàn)
6.3.4無監(jiān)督單目深度推斷的損失函數(shù)
6.4可能存在的問題及解決方案
6.4.1用圖像梯度圖解決邊緣模糊問題
6.4.2用圖像一致性掩膜解決移動物體問題
6.4.3用速度損失解決尺度問題
第7章 通過控制網(wǎng)絡結構提高速度和精度
7.1使用多任務網(wǎng)絡構架提高速度和精度
7.1.1多任務網(wǎng)絡的設計
7.1.2多任務網(wǎng)絡的任務平衡問題
7.2用PyTorch搭建一個語義分割和目標檢測雙任務網(wǎng)絡
7.2.1多任務數(shù)據(jù)加載
7.2.2多任務網(wǎng)絡的搭建
7.2.3多任務損失的平衡
7.3壓縮神經網(wǎng)絡提高推理速度
7.3.1什么是神經網(wǎng)絡壓縮
7.3.2幾種常見的通道剪枝方法
7.3.3在訓練中使用L1正則化壓縮權重
7.3.4使用可微通道加權進行通道剪枝
7.3.5網(wǎng)絡壓縮的流程
7.4用PyTorch實現(xiàn)可微網(wǎng)絡壓縮
7.4.1用PyTorch構造可微通道選擇層
7.4.2利用通道選擇層確定壓縮方案
7.4.3對PyTorch模型進行壓縮并對比運行速度
第8章 導出和部署神經網(wǎng)絡模型
8.1配置開發(fā)環(huán)境
8.1.1Docker的使用
8.1.2配置C++開發(fā)環(huán)境
8.2使用LibTorch部署PyTorch模型
8.2.1導出TorchScript模型
8.2.2將LibTorch加入CMake項目
8.2.3將輸入圖像轉換為Tensor
8.2.4加載TorchScript模型并進行推理
8.3用TensorRT部署模型