服務(wù)器： 處理（轉(zhuǎn)碼、錄制、截圖、鑒黃）后分發(fā)給用戶播映端

互動體系： 談天室、禮物體系、zan

1.搜集、2.濾鏡處理、3.編碼、4.推流、5.CDN分發(fā)、6.拉流、7.解碼、8.播映、9.談天互動

相關(guān)于上面圖中每個技能點刨開來說都很繁瑣 ，也很難掌握，我會在下面的【相關(guān)技能常識點歸納】中給與大致敘述；因為觸及音視頻的編碼解碼、美顏功能的算法，幀的處理等許多問題，能從底層自己開發(fā)的完好功能的肯定是大牛！

1、運用第三方直播SDK快速的開發(fā)

阿里云: 供給低推遲、高清晰、 高并發(fā)支撐的直播服務(wù)，幫您從容應(yīng)對業(yè)務(wù)突發(fā)峰值。廣泛運用于 游戲直播、娛樂直播、泛日子直播、 教育類、 長途醫(yī)療、 企業(yè)長途視頻會議等典型場景，

七牛云:七牛直播云是專為直播渠道打造的全球化直播流服務(wù)和一站式完結(jié)SDK端到端直播場景的企業(yè)級直播云服務(wù)渠道.

2、自研還是運用第三方直播SDK開發(fā)？

第三方SDK開發(fā)：開發(fā)周期短，前期投入少，從長遠看，第三方費用較高，占很大一筆開銷， 相對來說自研可以節(jié)約本錢，技能成面比直接用SDK相對可控。

模塊四、相關(guān)技能常識點歸納 （袁崢Seemygo共享）

AVFoundation:AVFoundation是用來播映和創(chuàng)立實時的視聽媒體數(shù)據(jù)的結(jié)構(gòu)，一起供給Objective-C接口來操作這些視聽數(shù)據(jù)，比方編輯，旋轉(zhuǎn)，重編碼

* 1.2 視頻、音頻硬件設(shè)備 *

拾音器:聲響傳感器： 用于聲響搜集和處理的進程，把聲響轉(zhuǎn)化成電信號。

視頻采樣數(shù)據(jù): 一般都是YUV,或RGB格局，搜集到的原始音視頻的體積是十分大的，需求通過緊縮技能處理來提高傳輸效率

2.視頻處理（美顏，水印）

視頻處理原理:因為視頻最終也是通過GPU，一幀一幀烘托到屏幕上的，所以咱們可以運用OpenGL ES，對視頻幀進行各種加工，然后視頻各種不同的作用，就好像一個水龍頭流出的水，通過若干節(jié)管道，然后流向不同的目標

這個結(jié)構(gòu)完結(jié)的,.

* 視頻處理結(jié)構(gòu) *

OpenGL:OpenGL（全寫Open Graphics Library）是個界說了一個跨編程言語、跨渠道的編程接口的規(guī)格，它用于三維圖象（二維的亦可）。OpenGL是個專業(yè)的圖形程序接口，是一個功能強大，調(diào)用便利的底層圖形庫。

FFmpeg :是一個跨渠道的開源視頻結(jié)構(gòu),能完結(jié)如視頻編碼,解碼,轉(zhuǎn)碼,串流,播映等豐厚的功能。其支撐的視頻格局以及播映協(xié)議十分豐厚,幾乎包括了一切音視頻編解碼、封裝格局以及播映協(xié)議。-Libswresample:可以對音頻進行重采樣,rematrixing 以及轉(zhuǎn)化采樣格局等操 作。

-Libavformat:用于對視頻進行封裝/解封裝。

-Libpostproc:用于進行視頻的一些后期處理。

-Libavfilter:供給濾鏡功能。

X264 :把視頻原數(shù)據(jù)YUV編碼緊縮成H.264格局

AudioToolbox :蘋果自帶的音頻硬解碼和硬編碼API

* 3.2 視頻編碼技能 *

H.264/AVC:一種視頻緊縮辦法,選用事先猜測和與MPEG中的P-B幀相同的幀猜測辦法緊縮，它可以依據(jù)需求產(chǎn)生適合網(wǎng)絡(luò)情況傳輸?shù)囊曨l流,還有更高的緊縮比，有更好的圖象質(zhì)量

留意1: 假如是從單個畫面清晰度比較，MPEG4有優(yōu)勢；從動作連貫性上的清晰度，H.264有優(yōu)勢

留意3: 因為264的完結(jié)愈加靈敏，它把一些完結(jié)留給了廠商自己去完結(jié)，盡管這樣給完結(jié)帶來了許多優(yōu)點，但是不同產(chǎn)品之間互通成了很大的問題，造成了通過A公司的編碼器編出的數(shù)據(jù)，有必要通過A公司的解碼器去解這樣為難的事情

H.265/HEVC: 一種視頻緊縮辦法,依據(jù)H.264，保存原來的某些技能，一起對一些相關(guān)的技能加以改進，以改進碼流、編碼質(zhì)量、延時和算法雜亂度之間的聯(lián)系，到達最優(yōu)化設(shè)置。H.265 是一種更為高效的編碼規(guī)范，可以在同等畫質(zhì)作用下將內(nèi)容的體積緊縮得更小，傳輸時更快更省帶寬

I幀: (關(guān)鍵幀)保存一副完好的畫面，解碼時只需求本幀數(shù)據(jù)就可以完結(jié)（因為包括完好畫面）

P幀 :(不同幀)保存這一幀跟之前幀的不同，解碼時需求用之前緩存的畫面疊加上本幀界說的不同，生成最終畫面。（P幀沒有完好畫面數(shù)據(jù)，只要與前一幀的畫面不同的數(shù)據(jù)）

B幀: (雙向不同幀)保存的是本幀與前后幀的不同，解碼B幀，不僅要獲得之前的緩存畫面，還要解碼之后的畫面，通過前后畫面的與本幀數(shù)據(jù)的疊加獲得最終的畫面。B幀緊縮率高，但是解碼時CPU會比較累

幀內(nèi)（Intraframe）緊縮: 當緊縮一幀圖畫時，僅考慮本幀的數(shù)據(jù)而不考慮相鄰幀之間的冗余信息,幀內(nèi)一般選用有損緊縮算法

幀間（Interframe）緊縮: 時刻緊縮（Temporal compression），它通過比較時刻軸上不同幀之間的數(shù)據(jù)進行緊縮。幀間緊縮一般是無損的

muxing（合成）：將視頻流、音頻流甚至是字幕流封裝到一個文件中(容器格局（FLV，TS）)，作為一個信號進行傳輸。

* 3.3 音頻編碼技能 *

多碼率:觀眾所處的網(wǎng)絡(luò)情況是十分雜亂的，有或許是WiFi，有或許4G、3G、甚至2G，那么怎么滿足多方需求呢？多搞幾條線路，依據(jù)當時網(wǎng)絡(luò)環(huán)境自界說碼率。列如：常�？匆娨曨l播映軟件中的1024，720，高清，標清，流通等，指的便是各種碼率。

* 3.5 視頻封裝格局 *

為什么要用TS: 這是因為兩個TS片段可以無縫拼接，播映器能接連播映

FLV: 一種流媒體封裝格局,因為它構(gòu)成的文件極小、加載速度極快，使得網(wǎng)絡(luò)觀看視頻文件成為或許,因而FLV格局成為了當今主流視頻格局

4.推流

* 4.1 數(shù)據(jù)傳輸結(jié)構(gòu) *

* 4.2 流媒體數(shù)據(jù)傳輸協(xié)議 *

RTMP協(xié)議用于目標、視頻、音頻的傳輸，這個協(xié)議建立在TCP協(xié)議或許輪詢HTTP協(xié)議之上。

SRS：一款國人開發(fā)的優(yōu)秀開源流媒體服務(wù)器體系

nginx: 免費開源web服務(wù)器，常用來裝備流媒體服務(wù)器。

* 5.2數(shù)據(jù)分發(fā) *

CDN：代理服務(wù)器，相當于一個中介。

2.源站存儲流媒體數(shù)據(jù)

4.CDN的服務(wù)器呼應(yīng)懇求，若節(jié)點上沒有該流媒體數(shù)據(jù)存在，則向源站繼續(xù)懇求流媒體數(shù)據(jù)；若節(jié)點上已經(jīng)緩存了該視頻文件，則跳到第6步。

6.CDN將流媒體數(shù)據(jù)發(fā)送到客戶端

回源：當有用戶訪問某一個URL的時分，假如被解析到的那個CDN節(jié)點沒有緩存呼應(yīng)的內(nèi)容，或許是緩存已經(jīng)到期，就會回源站去獲取查找。假如沒有人訪問，那么CDN節(jié)點不會主動去源站拿.

這種群集技能可以用最少的出資獲得接近于大型主機的性能。

QoS（帶寬辦理）:限制每一個組群的帶寬，讓有限的帶寬發(fā)揮最大的功效

6.拉流

直播協(xié)議挑選：即時性要求較高或有互動需求的可以選用RTMP,RTSP

關(guān)于有回放或跨渠道需求的，引薦運用HLS

直播協(xié)議對比:

HLS: 由Apple公司界說的用于實時流傳輸?shù)膮f(xié)議,HLS依據(jù)HTTP協(xié)議完結(jié)，傳輸內(nèi)容包括兩部分，一是M3U8描繪文件，二是TS媒體文件�？赏杲Y(jié)流媒體的直播和點播，首要運用在iOS體系HLS是以點播的技能辦法來完結(jié)直播HLS是自適應(yīng)碼率流播，客戶端會依據(jù)網(wǎng)絡(luò)情況主動挑選不同碼率的視頻流，條件允許的情況下運用高碼率，網(wǎng)絡(luò)繁忙的時分運用低碼率，而且主動在二者間隨意切換。這對移動設(shè)備網(wǎng)絡(luò)情況不穩(wěn)定的情況下保障流通播映十分有協(xié)助。

完結(jié)辦法是服務(wù)器端供給多碼率視頻流，而且在列表文件中注明，播映器依據(jù)播映進度和下載速度主動調(diào)整。

HLS與RTMP對比: HLS首要是延時比較大，RTMP首要優(yōu)勢在于延時低HLS協(xié)議的小切片辦法會生成許多的文件，存儲或處理這些文件會造成許多資源糟蹋

demuxing（分離）

)中， 分解出視頻、音頻或字幕，各自進行解碼。

* 7.2 音頻編碼結(jié)構(gòu) *

硬解碼：用GPU來解碼，削減CPU運算　優(yōu)點：播映流通、低功耗，解碼速度快，　 * 缺陷：兼容不好

軟解碼：用CPU來解碼優(yōu)點：兼容好　　 * 缺陷：加大CPU擔(dān)負，耗電增加、沒有硬解碼流通，解碼速度相對慢

8.播映

ijkplayer:一個依據(jù)FFmpeg的開源Android/iOS視頻播映器API易于集成；

支撐硬件加速解碼，愈加省電

在直播體系中的首要作用是完結(jié)觀眾與主播、觀眾與觀眾之間的文字互動.

七牛云直播流程

開篇，將從全體介紹直播中的各個環(huán)節(jié)。

1.搜集

音頻數(shù)據(jù)既能與圖畫結(jié)合組合成視頻數(shù)據(jù)，也能以純音頻的辦法搜集播映，后者在許多老練的運用場景如在線電臺和語音電臺等起著十分重要的作用。音頻的搜集進程首要通過設(shè)備將環(huán)境中的模擬信號搜集成 PCM 編碼的原始數(shù)據(jù)，然后編碼緊縮成 MP3 等格局的數(shù)據(jù)分發(fā)出去。常見的音頻緊縮格局有：MP3，AAC，OGG，WMA，Opus，F(xiàn)LAC，APE，m4a 和 AMR 等。

音頻搜集和編碼首要面對的挑戰(zhàn)在于：延時靈敏、卡頓靈敏、噪聲消除（Denoise）、回聲消除（AEC）、靜音檢測（VAD）和各種混音算法等。

在音頻搜集階段，參考的首要技能參數(shù)有 ：

size = 8000 x 2 x 16bit x 0.02s = 5120 bit = 640 byte

圖畫搜集

圖畫傳輸格局：通用印象傳輸格局（Common Intermediate Format）是視訊會議（video conference）中常運用的印象傳輸格局。

圖畫格局：通常選用 YUV 格局存儲原始數(shù)據(jù)信息，其中包括用 8 位表明的黑白圖畫灰度值，以及可由 RGB 三種顏色組合成的彩色圖畫。

傳輸通道：正常情況下視頻的拍照只需 1 路通道，跟著 VR 和 AR 技能的日漸老練，為了拍照一個完好的 360° 視頻，或許需求通過不同視點拍照，然后通過多通道傳輸后合成。

分辨率：跟著設(shè)備屏幕尺度的日益增多，視頻搜集進程中原始視頻分辨率起著越來越重要的作用，后續(xù)處理環(huán)節(jié)中運用的一切視頻分辨率的界說都以原始視頻分辨率為根底。視頻搜集卡能支撐的最大點陣反映了其分辨率的性能。

采樣頻率：采樣頻率反映了搜集卡處理圖畫的速度和才能。在進行高度圖畫搜集時，需求留意搜集卡的采樣頻率是否滿足要求。采樣率越高，圖畫質(zhì)量越高，一起保存這些圖畫信息的數(shù)據(jù)量也越大。

以上，構(gòu)成了一個視頻搜集的首要技能參數(shù)，以及視頻中音頻和圖畫編碼的常用格局。而關(guān)于直播 App 開發(fā)者來說，了解這些細節(jié)盡管更有協(xié)助，但實踐開發(fā)進程中或許很少可以關(guān)注搜集環(huán)節(jié)中技能參數(shù)的操控，而是直接在 SDK 中將搜集后的數(shù)據(jù)傳遞給下一個「處理」和「編碼」環(huán)節(jié)。

2.處理

視頻或許音頻完結(jié)搜集之后得到原始數(shù)據(jù)，為了增強一些現(xiàn)場作用或許加上一些額定的作用，咱們一般會在將其編碼緊縮前進行處理，比方打上時刻戳或許公司 Logo 的水印，祛斑美顏和聲響混雜等處理。在主播和觀眾連麥場景中，主播需求和某個或許多個觀眾進行對話，并將對話成果實時共享給其他一切觀眾，連麥的處理也有部分作業(yè)在推流端完結(jié)。

敞開式規(guī)劃

如上圖所示，處理環(huán)節(jié)中分為音頻和視頻處理，音頻處理中詳細包括混音、降噪和聲響特效等處理，視頻處理中包括美顏、水印、以及各種自界說濾鏡等處理。

「80% 的主播沒有美顏根本沒法看�！共还馐敲李�，許多其它的視頻處理如含糊作用、水印等也都是在這個環(huán)節(jié)做�，F(xiàn)在 iOS 端比較聞名的是 GPUImage 這個庫，供給了豐厚端預(yù)處理作用，還可以依據(jù)這個庫自己寫算法完結(jié)更豐厚端作用。Android 也有 GPUImage 這個庫的移植，叫做 android-gpuimage。一起，Google 官方開源了一個巨大的庫，覆蓋了 Android 上面許多多媒體和圖形圖畫相關(guān)的處理。

基本原理

空間冗余：圖畫相鄰像素之間有較強的相關(guān)性

時刻冗余：視頻序列的相鄰圖畫之間內(nèi)容相似

編碼冗余：不同像素值出現(xiàn)的概率不同

視覺冗余：人的視覺體系對某些細節(jié)不靈敏

常識冗余：規(guī)律性的結(jié)構(gòu)可由先驗常識和布景常識得到

/ZKKLiveAPP_Swift3.0 （swift更新到現(xiàn)在越加簡練 , 假如感覺不錯請給予鼓舞 ）