裝備仿真人機交互旗語識別技術

1 概論
1.1 虛擬現(xiàn)實與裝備仿真
1.2 模式識別領域的深度神經網絡
1.2.1 深度神經網絡
1.2.2 典型的深度卷積神經網絡模型
1.2.3 評估標準
1.3 裝備仿真人機交互接口
2 旗語識別技術
2.1 旗語信號與捕捉
2.2 動作采集與識別
2.2.1 動作采集
2.2.2 信號預處理
2.2.3 特征提取
2.2.4 分類識別
3 基于單目視覺的人體骨架提取
3.1 基于背景建模的人體輪廓檢測
3.1.1 核密度估計背景建模
3.1.2 基于相關系數(shù)的前景區(qū)域檢測
3.2 基于形態(tài)學的骨骼提取研究
3.2.1 距離變換算法
3.2.2 基于數(shù)學形態(tài)學細化方法
3.3 人體姿態(tài)骨架模型建立
3.3.1 骨架關節(jié)點模型建立
3.3.2 鏈碼遍歷骨架算法
3.4 結果分析
3.4.1 算法實現(xiàn)流程
3.4.2 測試實驗與結果
3.5 小結
4 基于深度信息的人體姿態(tài)特征提取
4.1 深度圖像原理
4.1.1 深度圖像概念
4.1.2 深度圖像的偽灰度表示
4.2 深度圖像獲取方法研究
4.2.1 深度圖像獲取方法
4.2.2 基于結構光深度獲取優(yōu)化
4.2.3 基于結構光的深度傳感系統(tǒng)環(huán)境分析
4.3 基于深度信息的骨架提取
4.3.1 基于深度信息的人體輪廓分割
4.3.2 基于深度信息的骨架提取
4.3.3 改進的基于深度信息骨架提取方法
4.3.4 基于深度的骨架結構優(yōu)化
4.4 結果分析
4.4.1 基于深度信息的人體與骨架的提取效果
4.4.2 基于深度信息的骨骼節(jié)點匹配效果分析
4.5 小結
5 基于神經網絡的旗語識別研究
5.1 基于空間位置的旗語識別方法
5.1.1 手臂位置的檢測
5.1.2 基于空間位置旗語的識別方法
5.2 基于深度信息的人體模型建立
5.2.1 旗語手臂運動約束
5.2.29 -DOF人體骨架模型建立
5.3 基于BP神經網絡的旗語識別方法
5.3.1 神經元
5.3.2 BP網絡算法原理
5.4 基于BP神經網絡的旗語識別系統(tǒng)的實現(xiàn)
5.4.1 基于關鍵幀的旗語動作提取原理與方法
5.4.2 BP神經網絡輸入特征的構建
5.4.3 旗語樣本庫的建立
5.5 BP網絡的結構設計優(yōu)化
5.5.1 輸入與輸出層設計
5.5.2 隱層設計
5.5.3 激勵函數(shù)選擇優(yōu)化
5.5.4 BP網絡的訓練流程
5.5.5 實驗結果
5.6 結果分析
5.6.1 旗語識別實驗環(huán)境設計
5.6.2 旗語動作識別實驗
5.6.3 靜/動態(tài)旗語識別結果分析
5.6.4 實驗分析
5.7 小結
6 基于可穿戴傳感器的旗語動作數(shù)據(jù)采集與處理
6.1 基于可穿戴傳感器的旗語動作采集方法
6.2 基于9軸姿態(tài)傳感器的動作信號采集流程
6.3 旗語信號采集平臺搭建
6.3.1 WT901C姿態(tài)傳感器采集設備
6.3.2 旗語信號采集平臺
6.4 旗語動作模型
6.5 一維信號檢測分割技術
6.6 基于時間序列變化點檢測的旗語信號分割模型
6.7 算法研究及相關模型建立
6.7.1 旗語動作時間序列三維采樣散點模型建立
6.7.2 基于滑動模型的時間序列類間差異度函數(shù)建立
6.7.3 差異度函數(shù)閾值模型建立
6.7.4 一維旗語信號特征函數(shù)建立
6.8 數(shù)據(jù)導入及差異度函數(shù)閾值確定
6.9 小結
7 基于融合數(shù)據(jù)的一維及二維CNN旗語識別研究
7.1 基于時間序列的一維CNN網絡
7.2 基于9軸旗語信號的一維CNN結構
7.2.1 基于方位角信息解算的9軸數(shù)據(jù)融合算法
7.2.2 卷積層設置
7.2.3 激活函數(shù)
7.2.4 池化層設置
7.2.5 全連接層設置
7.3 旗語動作識別一維網絡訓練參數(shù)設置
7.3.1 學習率（learning rate)
7.3.2 迭代輪數(shù)（training epoch）
7.3.3 網絡訓練
7.4 Inception-ResNet二維卷積網絡模型
7.5 基于9軸旗語動作數(shù)據(jù)的Inception-ResNet網絡模型構建
7.5.1 Block 1（Stem層）設置
7.5.2 基于深度可分離卷積的Block 2（Inception-ResNet層）建立
7.5.3 Block 3 Reduction-A（降維層）建立
7.5.4 Block 4 Reduction-B建立
7.5.5 整體二維CNN網絡結構
7.6 C-L聯(lián)合損失函數(shù)分類模型
7.6.1 損失函數(shù)
7.6.2 常用損失函數(shù)類型及其特性分析
7.6.3 CrossEntropy-Logistic聯(lián)合損失函數(shù)
7.6.4 訓練效果對比
7.7 結果分析
7.7.1 數(shù)據(jù)集劃分
7.7.2 數(shù)據(jù)導入及實驗結果
7.7.3 基于融合數(shù)據(jù)處理的一維CNN識別結果
7.7.4 基于Inception-ResNet雙流網絡框架的識別結果
7.7.5 結果分析與探討
7.8 小結
參考文獻