裝備仿真人機(jī)交互旗語識別技術(shù)

1 概論
1.1 虛擬現(xiàn)實(shí)與裝備仿真
1.2 模式識別領(lǐng)域的深度神經(jīng)網(wǎng)絡(luò)
1.2.1 深度神經(jīng)網(wǎng)絡(luò)
1.2.2 典型的深度卷積神經(jīng)網(wǎng)絡(luò)模型
1.2.3 評估標(biāo)準(zhǔn)
1.3 裝備仿真人機(jī)交互接口
2 旗語識別技術(shù)
2.1 旗語信號與捕捉
2.2 動作采集與識別
2.2.1 動作采集
2.2.2 信號預(yù)處理
2.2.3 特征提取
2.2.4 分類識別
3 基于單目視覺的人體骨架提取
3.1 基于背景建模的人體輪廓檢測
3.1.1 核密度估計(jì)背景建模
3.1.2 基于相關(guān)系數(shù)的前景區(qū)域檢測
3.2 基于形態(tài)學(xué)的骨骼提取研究
3.2.1 距離變換算法
3.2.2 基于數(shù)學(xué)形態(tài)學(xué)細(xì)化方法
3.3 人體姿態(tài)骨架模型建立
3.3.1 骨架關(guān)節(jié)點(diǎn)模型建立
3.3.2 鏈碼遍歷骨架算法
3.4 結(jié)果分析
3.4.1 算法實(shí)現(xiàn)流程
3.4.2 測試實(shí)驗(yàn)與結(jié)果
3.5 小結(jié)
4 基于深度信息的人體姿態(tài)特征提取
4.1 深度圖像原理
4.1.1 深度圖像概念
4.1.2 深度圖像的偽灰度表示
4.2 深度圖像獲取方法研究
4.2.1 深度圖像獲取方法
4.2.2 基于結(jié)構(gòu)光深度獲取優(yōu)化
4.2.3 基于結(jié)構(gòu)光的深度傳感系統(tǒng)環(huán)境分析
4.3 基于深度信息的骨架提取
4.3.1 基于深度信息的人體輪廓分割
4.3.2 基于深度信息的骨架提取
4.3.3 改進(jìn)的基于深度信息骨架提取方法
4.3.4 基于深度的骨架結(jié)構(gòu)優(yōu)化
4.4 結(jié)果分析
4.4.1 基于深度信息的人體與骨架的提取效果
4.4.2 基于深度信息的骨骼節(jié)點(diǎn)匹配效果分析
4.5 小結(jié)
5 基于神經(jīng)網(wǎng)絡(luò)的旗語識別研究
5.1 基于空間位置的旗語識別方法
5.1.1 手臂位置的檢測
5.1.2 基于空間位置旗語的識別方法
5.2 基于深度信息的人體模型建立
5.2.1 旗語手臂運(yùn)動約束
5.2.29 -DOF人體骨架模型建立
5.3 基于BP神經(jīng)網(wǎng)絡(luò)的旗語識別方法
5.3.1 神經(jīng)元
5.3.2 BP網(wǎng)絡(luò)算法原理
5.4 基于BP神經(jīng)網(wǎng)絡(luò)的旗語識別系統(tǒng)的實(shí)現(xiàn)
5.4.1 基于關(guān)鍵幀的旗語動作提取原理與方法
5.4.2 BP神經(jīng)網(wǎng)絡(luò)輸入特征的構(gòu)建
5.4.3 旗語樣本庫的建立
5.5 BP網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)優(yōu)化
5.5.1 輸入與輸出層設(shè)計(jì)
5.5.2 隱層設(shè)計(jì)
5.5.3 激勵函數(shù)選擇優(yōu)化
5.5.4 BP網(wǎng)絡(luò)的訓(xùn)練流程
5.5.5 實(shí)驗(yàn)結(jié)果
5.6 結(jié)果分析
5.6.1 旗語識別實(shí)驗(yàn)環(huán)境設(shè)計(jì)
5.6.2 旗語動作識別實(shí)驗(yàn)
5.6.3 靜/動態(tài)旗語識別結(jié)果分析
5.6.4 實(shí)驗(yàn)分析
5.7 小結(jié)
6 基于可穿戴傳感器的旗語動作數(shù)據(jù)采集與處理
6.1 基于可穿戴傳感器的旗語動作采集方法
6.2 基于9軸姿態(tài)傳感器的動作信號采集流程
6.3 旗語信號采集平臺搭建
6.3.1 WT901C姿態(tài)傳感器采集設(shè)備
6.3.2 旗語信號采集平臺
6.4 旗語動作模型
6.5 一維信號檢測分割技術(shù)
6.6 基于時間序列變化點(diǎn)檢測的旗語信號分割模型
6.7 算法研究及相關(guān)模型建立
6.7.1 旗語動作時間序列三維采樣散點(diǎn)模型建立
6.7.2 基于滑動模型的時間序列類間差異度函數(shù)建立
6.7.3 差異度函數(shù)閾值模型建立
6.7.4 一維旗語信號特征函數(shù)建立
6.8 數(shù)據(jù)導(dǎo)入及差異度函數(shù)閾值確定
6.9 小結(jié)
7 基于融合數(shù)據(jù)的一維及二維CNN旗語識別研究
7.1 基于時間序列的一維CNN網(wǎng)絡(luò)
7.2 基于9軸旗語信號的一維CNN結(jié)構(gòu)
7.2.1 基于方位角信息解算的9軸數(shù)據(jù)融合算法
7.2.2 卷積層設(shè)置
7.2.3 激活函數(shù)
7.2.4 池化層設(shè)置
7.2.5 全連接層設(shè)置
7.3 旗語動作識別一維網(wǎng)絡(luò)訓(xùn)練參數(shù)設(shè)置
7.3.1 學(xué)習(xí)率（learning rate)
7.3.2 迭代輪數(shù)（training epoch）
7.3.3 網(wǎng)絡(luò)訓(xùn)練
7.4 Inception-ResNet二維卷積網(wǎng)絡(luò)模型
7.5 基于9軸旗語動作數(shù)據(jù)的Inception-ResNet網(wǎng)絡(luò)模型構(gòu)建
7.5.1 Block 1（Stem層）設(shè)置
7.5.2 基于深度可分離卷積的Block 2（Inception-ResNet層）建立
7.5.3 Block 3 Reduction-A（降維層）建立
7.5.4 Block 4 Reduction-B建立
7.5.5 整體二維CNN網(wǎng)絡(luò)結(jié)構(gòu)
7.6 C-L聯(lián)合損失函數(shù)分類模型
7.6.1 損失函數(shù)
7.6.2 常用損失函數(shù)類型及其特性分析
7.6.3 CrossEntropy-Logistic聯(lián)合損失函數(shù)
7.6.4 訓(xùn)練效果對比
7.7 結(jié)果分析
7.7.1 數(shù)據(jù)集劃分
7.7.2 數(shù)據(jù)導(dǎo)入及實(shí)驗(yàn)結(jié)果
7.7.3 基于融合數(shù)據(jù)處理的一維CNN識別結(jié)果
7.7.4 基于Inception-ResNet雙流網(wǎng)絡(luò)框架的識別結(jié)果
7.7.5 結(jié)果分析與探討
7.8 小結(jié)
參考文獻(xiàn)