音視頻開(kāi)發(fā)進(jìn)階指南：基于Android與iOS平臺(tái)的實(shí)踐

Contents?目　　錄
推薦序一
推薦序二
前言
第1章　音視頻基礎(chǔ)概念 1
1.1　聲音的物理性質(zhì) 1
1.1.1　聲音是波 1
1.1.2　聲波的三要素 2
1.1.3　聲音的傳播介質(zhì) 3
1.1.4　回聲 3
1.1.5　共鳴 4
1.2　數(shù)字音頻 4
1.3　音頻編碼 6
1.4　圖像的物理現(xiàn)象 7
1.5　圖像的數(shù)值表示 8
1.5.1　RGB表示方式 8
1.5.2　YUV表示方式 9
1.5.3　YUV和RGB的轉(zhuǎn)化 10
1.6　視頻的編碼方式 10
1.6.1　視頻編碼 10
1.6.2　編碼概念 11
1.7　本章小結(jié) 13
第2章　移動(dòng)端環(huán)境搭建 14
2.1　在iOS上如何搭建一個(gè)基礎(chǔ)項(xiàng)目 14
2.2　在Android上如何搭建一個(gè)基礎(chǔ)項(xiàng)目 21
2.3　交叉編譯的原理與實(shí)踐 26
2.3.1　交叉編譯的原理 26
2.3.2　iOS平臺(tái)交叉編譯的實(shí)踐 27
2.3.3　Android平臺(tái)交叉編譯的實(shí)踐 33
2.3.4　使用LAME編碼MP3文件 38
2.4　本章小結(jié) 42
第3章　FFmpeg的介紹與使用 43
3.1　FFmpeg的編譯與命令行工具的使用 43
3.1.1　FFmpeg的編譯 43
3.1.2　FFmpeg命令行工具的使用 51
3.2　FFmpeg API的介紹與使用 60
3.3　FFmpeg源碼結(jié)構(gòu) 68
3.3.1　libavformat與libavcodec介紹 68
3.3.2　FFmpeg通用API分析 69
3.3.3　調(diào)用FFmpeg解碼時(shí)用到的函數(shù)分析 70
3.3.4　調(diào)用FFmpeg編碼時(shí)用到的函數(shù)分析 71
3.3.5　面向?qū)ο蟮腃語(yǔ)言設(shè)計(jì) 72
3.4　本章小結(jié) 74
第4章　移動(dòng)平臺(tái)下的音視頻渲染 75
4.1　AudioUnit介紹與實(shí)踐 75
4.2　Android平臺(tái)的音頻渲染 84
4.2.1　AudioTrack的使用 85
4.2.2　OpenSL ES的使用 87
4.3　視頻渲染 90
4.3.1　OpenGL ES介紹 90
4.3.2　OpenGL ES的實(shí)踐 91
4.3.3　上下文環(huán)境搭建 98
4.3.4　OpenGL ES中的紋理 104
4.4　本章小結(jié) 109
第5章　實(shí)現(xiàn)一款視頻播放器 110
5.1　架構(gòu)設(shè)計(jì) 110
5.2　解碼模塊的實(shí)現(xiàn) 115
5.3　音頻播放模塊的實(shí)現(xiàn) 118
5.3.1　Android平臺(tái)的音頻渲染 118
5.3.2　iOS平臺(tái)的音頻渲染 119
5.4　畫(huà)面播放模塊的實(shí)現(xiàn) 121
5.4.1　Android平臺(tái)的視頻渲染 121
5.4.2　iOS平臺(tái)的視頻渲染 122
5.5　AVSync模塊的實(shí)現(xiàn) 124
5.5.1　維護(hù)解碼線程 124
5.5.2　音視頻同步 125
5.6　中控系統(tǒng)串聯(lián)起各個(gè)模塊 127
5.6.1　初始化階段 127
5.6.2　運(yùn)行階段 128
5.6.3　銷(xiāo)毀階段 129
5.7　本章小結(jié) 130
第6章　音視頻的采集與編碼 131
6.1　音頻的采集 131
6.1.1　Android平臺(tái)的音頻采集 131
6.1.2　iOS平臺(tái)的音頻采集 134
6.2　視頻畫(huà)面的采集 137
6.2.1　Android平臺(tái)的視頻畫(huà)面采集 137
6.2.2　iOS平臺(tái)的視頻畫(huà)面采集 146
6.3　音頻的編碼 156
6.3.1　libfdk_aac編碼AAC 156
6.3.2　Android平臺(tái)的硬件編碼器MediaCodec 158
6.3.3　iOS平臺(tái)的硬件編碼器AudioToolbox 161
6.4　視頻畫(huà)面的編碼 166
6.4.1　libx264編碼H264 166
6.4.2　Android平臺(tái)的硬件編碼器MediaCodec 172
6.4.3　iOS平臺(tái)的硬件編碼器 175
6.5　本章小結(jié) 184
第7章　實(shí)現(xiàn)一款視頻錄制應(yīng)用 185
7.1　視頻錄制的架構(gòu)設(shè)計(jì) 185
7.2　音頻模塊的實(shí)現(xiàn) 188
7.2.1　音頻隊(duì)列的實(shí)現(xiàn) 189
7.2.2　Android平臺(tái)的實(shí)現(xiàn) 191
7.2.3　iOS平臺(tái)的實(shí)現(xiàn) 194
7.3　音頻編碼模塊的實(shí)現(xiàn) 198
7.3.1　改造編碼器 198
7.3.2　編碼器適配器 199
7.4　畫(huà)面采集與編碼模塊的實(shí)現(xiàn) 202
7.4.1　視頻隊(duì)列的實(shí)現(xiàn) 202
7.4.2　Android平臺(tái)畫(huà)面編碼后入隊(duì) 203
7.4.3　iOS平臺(tái)畫(huà)面編碼后入隊(duì) 204
7.5　Mux模塊 205
7.5.1　初始化 206
7.5.2　封裝和輸出 208
7.5.3　銷(xiāo)毀資源 212
7.6　中控系統(tǒng)串聯(lián)起各個(gè)模塊 213
7.7　本章小結(jié) 214
第8章　音頻效果器的介紹與實(shí)踐 215
8.1　數(shù)字音頻基礎(chǔ) 215
8.1.1　波形圖 215
8.1.2　頻譜圖 217
8.1.3　語(yǔ)譜圖 219
8.1.4　深入理解時(shí)域與頻域 219
8.2　數(shù)字音頻處理：快速傅里葉變換 222
8.3　基本樂(lè)理知識(shí) 229
8.3.1　樂(lè)譜 229
8.3.2　音符的音高與十二平均律 231
8.3.3　音符的時(shí)值 233
8.3.4　節(jié)拍 233
8.3.5　MIDI格式 234
8.4　混音效果器 235
8.4.1　均衡效果器 236
8.4.2　壓縮效果器 239
8.4.3　混響效果器 240
8.5　效果器實(shí)現(xiàn) 243
8.5.1　Android平臺(tái)實(shí)現(xiàn)效果器 243
8.5.2　iOS平臺(tái)實(shí)現(xiàn)效果器 252
8.6　本章小結(jié) 255
第9章　視頻效果器的介紹與實(shí)踐 256
9.1　圖像處理的基本原理 256
9.1.1　亮度調(diào)節(jié) 257
9.1.2　對(duì)比度調(diào)節(jié) 258
9.1.3　飽和度調(diào)節(jié) 259
9.2　圖像處理進(jìn)階 259
9.2.1　圖像的卷積過(guò)程 260
9.2.2　銳化效果器 260
9.2.3　高斯模糊算法 262
9.2.4　雙邊濾波算法 263
9.2.5　圖層混合介紹 264
9.3　使用FFmpeg內(nèi)部的視頻濾鏡 266
9.3.1　FFmpeg視頻濾鏡介紹 266
9.3.2　濾鏡圖的構(gòu)建 267
9.3.3　使用與銷(xiāo)毀濾鏡圖 269
9.3.4　常用濾鏡介紹 270
9.4　使用OpenGL ES實(shí)現(xiàn)視頻濾鏡 272
9.4.1　加水印 273
9.4.2　添