五分鐘技術(shù)趣談 | 基于安防攝像頭的慢直播技術(shù)淺析

作者：謝小概，單位：中國(guó)移動(dòng)智慧家庭運(yùn)營(yíng)中心

慢直播是一種新興的媒介形式，在技術(shù)上慢直播兩種實(shí)現(xiàn)方式：一種是基于傳統(tǒng)攝像機(jī)通過(guò)外接SDI/HDMI數(shù)據(jù)線將采集后的原始信號(hào)直接傳到帶網(wǎng)絡(luò)的音視頻編碼器，最后實(shí)時(shí)傳輸?shù)铰辈テ脚_(tái)；第二種是基于安防網(wǎng)絡(luò)攝像頭(IPC)直接接入互聯(lián)網(wǎng)實(shí)現(xiàn)音視頻數(shù)據(jù)實(shí)時(shí)傳輸?shù)铰辈テ脚_(tái)。本文主要探討第二種基于安防攝像頭的慢直播具體實(shí)現(xiàn)原理和技術(shù)架構(gòu)。

Part 01●??技術(shù)簡(jiǎn)介?●

攝像頭的慢直播就是指借助攝像頭對(duì)實(shí)景進(jìn)行長(zhǎng)時(shí)間不間斷的的實(shí)時(shí)記錄并原生態(tài)呈現(xiàn)的一種直播形態(tài)。直播畫(huà)面沒(méi)有任何剪輯、沒(méi)有主播，也沒(méi)有旁邊解說(shuō)，讓觀看者的參與感以及沉浸式的體驗(yàn)更加真實(shí)。因?yàn)槁辈ヒ彩且环N公眾直播，所以需要嚴(yán)格的牌照資質(zhì)才能對(duì)外提供。對(duì)于安防廠家或者網(wǎng)絡(luò)運(yùn)營(yíng)商來(lái)說(shuō)，一般都是將直播音視頻流通過(guò)網(wǎng)絡(luò)標(biāo)準(zhǔn)傳輸協(xié)議提供給第三方公眾直播平臺(tái)(如微信直播、抖音或者CCTV等)來(lái)進(jìn)行慢直播推廣。

為提高慢直播效果，如上圖所示，實(shí)際直播過(guò)程中會(huì)在直播畫(huà)面加上一些Logo、字幕、時(shí)間OSD和背景音樂(lè)等信息，也會(huì)做多個(gè)攝像頭畫(huà)面的定時(shí)輪播。這樣對(duì)慢直播技術(shù)就有了更高要求，涉及到對(duì)攝像頭流源的重新編解碼和多路流的融屏技術(shù)。

Part 02●??架構(gòu)介紹?●

攝像頭慢直播在架構(gòu)上一般都是由安防網(wǎng)絡(luò)攝像頭(IPC)、視聯(lián)網(wǎng)云平臺(tái)和第三方直播平臺(tái)三者組成，其中視聯(lián)網(wǎng)云平臺(tái)負(fù)責(zé)接入安防攝像頭的各種協(xié)議直播流并轉(zhuǎn)換成常見(jiàn)的標(biāo)準(zhǔn)直播流協(xié)議(RTMP和HLS等)，并完成對(duì)直播流的各種加logo、文字、背景音樂(lè)和融屏等處理，最后再對(duì)直播內(nèi)容進(jìn)行管控；第三方直播平臺(tái)一般由直播流分發(fā)、時(shí)間管理，用戶管理、直播安全、錄制和數(shù)據(jù)運(yùn)營(yíng)等功能模塊組成，大型的直播平臺(tái)還會(huì)引入CDN對(duì)直播流加速處理。本文主要探討視聯(lián)網(wǎng)云平臺(tái)的相關(guān)慢直播技術(shù)。

2.1 攝像頭接入

攝像頭接入主要負(fù)責(zé)適配攝像頭直播流的各種接入?yún)f(xié)議。攝像頭直播流協(xié)議常見(jiàn)的有私有協(xié)議、GB/T28181協(xié)議、行業(yè)標(biāo)準(zhǔn)協(xié)議(RTSP)和直播協(xié)議(RTMP),兼容性好首選私有協(xié)議，但是接入流程比較復(fù)雜且不適合互聯(lián)網(wǎng)模式接入；GB/T28181協(xié)議支持的攝像頭最廣，基本市面上所有的安防攝像頭都支持它，缺點(diǎn)是在互聯(lián)網(wǎng)環(huán)境接入不安全；行業(yè)標(biāo)準(zhǔn)協(xié)議RTSP接入一般都采用拉流模式，因此需要固定的公網(wǎng)IP，這個(gè)在很多互聯(lián)網(wǎng)環(huán)境是很難實(shí)現(xiàn)的；支持直播RTMP協(xié)議的攝像頭一般比較少，很少考慮采用。綜合考慮上述因素，常見(jiàn)開(kāi)放的視聯(lián)網(wǎng)云平臺(tái)(如騰訊的慢直播平臺(tái))在接入安防攝像頭做慢直播都首選GB/T28181協(xié)議，然后信令和流傳輸?shù)倪^(guò)程采用了安全保護(hù)措施，確保接入安全。

2.2 協(xié)議轉(zhuǎn)換

協(xié)議轉(zhuǎn)換負(fù)責(zé)將攝像頭接入直播流轉(zhuǎn)封裝成標(biāo)準(zhǔn)協(xié)議的流數(shù)據(jù)。轉(zhuǎn)成標(biāo)準(zhǔn)直播流之后一般不會(huì)選擇直接推送到第三方直播平臺(tái)，因?yàn)閿z像頭的裸流中攜帶的結(jié)構(gòu)化信息不多，最多只帶有時(shí)間OSD信息，而且里面的音頻也一般不適合直接做直播。因此需要將標(biāo)準(zhǔn)流做成服務(wù)并提供拉流URL地址，提供給流加工和安全管控進(jìn)行拉流處理。

2.3 流加工

流加工常見(jiàn)兩種形式：一種是利用開(kāi)源GUI工具(比如OBS)對(duì)攝像頭的流做二次加工之后再通過(guò)標(biāo)準(zhǔn)的網(wǎng)絡(luò)實(shí)時(shí)流傳輸協(xié)議(常見(jiàn)RTMP)推送到直播平臺(tái)；第二種就是直接在后端使用服務(wù)器利用開(kāi)源的編解碼解決方案(比如FFmpeg)對(duì)流源進(jìn)行二次處理，然后再推送到直播平臺(tái)。下面就分別介紹下兩種技術(shù)方案：

2.3.1 使用第三方視頻工具OBS進(jìn)行流加工處理

OBS是一個(gè)免費(fèi)的開(kāi)源的視頻錄制和視頻實(shí)時(shí)交流軟件，它支持從視聯(lián)網(wǎng)云平臺(tái)的拉取轉(zhuǎn)換后的標(biāo)準(zhǔn)流，并在Window環(huán)境提供了方便的可加工操作界面，用戶直接簡(jiǎn)單的拖拽就可以實(shí)現(xiàn)加log、文字、背景音樂(lè)和多屏融合功能，通過(guò)簡(jiǎn)單配置也可以實(shí)現(xiàn)多攝像頭畫(huà)面定時(shí)輪播切換的效果。最后，通過(guò)在OBS上配置RTMP協(xié)議的推流密鑰和地址(第三方直播平臺(tái)提供)，可以直接將加工好的流直接推送到第三方直播平臺(tái)進(jìn)行慢直播。OBS進(jìn)行加工也有缺點(diǎn)：首選必須選用高性能的WindowPC電腦，其次配置操作盡管比較簡(jiǎn)單但是流程比較多，最后直播過(guò)程中需要人工看守，隨時(shí)干涉直播界面出現(xiàn)的各種異常。

2.3.2 在后端使用服務(wù)器利用開(kāi)源的編解碼解決方案(比如FFmpeg)對(duì)流源進(jìn)行二次處理

FFmpeg是一套可以用來(lái)記錄、轉(zhuǎn)換數(shù)字音頻、視頻，并能將其轉(zhuǎn)化為流的開(kāi)源計(jì)算機(jī)程序，它提供了錄制、轉(zhuǎn)換以及流化音視頻的完整解決方案?？梢允褂肍Fmpeg的標(biāo)準(zhǔn)協(xié)議處理libavformat庫(kù)從協(xié)議轉(zhuǎn)換服務(wù)獲取到的URL拉取標(biāo)準(zhǔn)流，然后使用其音頻/視頻編解碼庫(kù)libavcodec對(duì)拉取到的流做加logo、文字和背景音樂(lè)處理，最后再使用libavformat庫(kù)將處理好的流封裝成RTMP協(xié)議推送到第三方直播平臺(tái)。相比使用OBS，在服務(wù)端使用FFmpeg做加工優(yōu)點(diǎn)是可以實(shí)現(xiàn)在后端服務(wù)自動(dòng)化處理，不需要人工干涉；性能比較高，資源消耗如果不涉及像由H265轉(zhuǎn)成H264這樣的編碼格式轉(zhuǎn)換會(huì)小很多，對(duì)服務(wù)器性能要求低。缺點(diǎn)是需要專(zhuān)業(yè)的工程師開(kāi)發(fā)服務(wù)程序進(jìn)行加工處理；多攝像頭的定時(shí)輪播和融屏等復(fù)雜功能的開(kāi)放難度較大，比如多攝像頭的定時(shí)輪播功能需要實(shí)現(xiàn)直播畫(huà)面的精準(zhǔn)切換需要開(kāi)發(fā)過(guò)程中實(shí)現(xiàn)GOP緩存技術(shù)。

2.3.3 兩種加工模式的優(yōu)缺點(diǎn)比較

2.4 安全管控

盡管很多公眾大直播平臺(tái)對(duì)慢直播內(nèi)容也會(huì)做安全方面的管控，但是實(shí)際在慢直播前都會(huì)要求提供者先確保直播源的安全可靠。這部分我們可以通過(guò)調(diào)用第三方成熟的圖片和文字審核庫(kù)來(lái)完成。因?yàn)閿z像頭接入服務(wù)已經(jīng)實(shí)現(xiàn)將直播ES裸流化，所以我們只要從裸流中定期提取到I幀，使用FFmpeg的libavcodec庫(kù)將I幀轉(zhuǎn)換成圖片審核庫(kù)要求的格式進(jìn)行審核處理；有些慢直播比如賽事直播需要保留攝像頭的原有音頻，所以也要對(duì)聲音進(jìn)行額外的審核。音頻部分的處理比較復(fù)雜，需要先將音頻轉(zhuǎn)換為文字(推薦使用科大訊飛開(kāi)源庫(kù))，然后再將處理好的文字提交給文字審核庫(kù)處理。安全管控的技術(shù)難點(diǎn)就是要預(yù)留攝像頭一定的直播處理時(shí)延，及時(shí)將直播流審核異常的報(bào)警信息上報(bào)并第一時(shí)間將慢直播關(guān)停，最大限度的降低直播事故。

Part 03●??總結(jié)?●

最后，慢直播作為融媒線上宣傳的新興工具已經(jīng)取到了很大成功，從最初的CCTV采用攝像頭24小時(shí)全程展現(xiàn)火神山醫(yī)院和雷神山醫(yī)院建造過(guò)程，再到現(xiàn)在的數(shù)字鄉(xiāng)村的三農(nóng)原生態(tài)養(yǎng)殖、鄉(xiāng)村美景宣傳，慢直播技術(shù)應(yīng)用越來(lái)越廣，相關(guān)技術(shù)也得到不斷提升，慢直播也在嘗試引入新的技術(shù)比如AI智能技術(shù)、虛擬數(shù)字人直播、VR/AR直播，使得慢直播內(nèi)容更加豐富，效果更加精彩。