主要的功能模塊

1,、VAG 接入服務(wù)

2,、IVS  智能分析服務(wù)

3,、CMS 中央管理服務(wù)

4、SDK 服務(wù)端

5,、流媒體服務(wù)

6,、Web 管理客戶端

產(chǎn)品特色

支持全面多模態(tài)情緒感知算法

5種情緒特征全采集(面部微表情，面部微動(dòng)作,，眼動(dòng)視線,，心率，身體姿態(tài)),，8種主要表情,，22種特定表情微動(dòng)作識(shí)別,。根據(jù)在公安刑偵領(lǐng)域?qū)崙?zhàn)經(jīng)驗(yàn)，眼動(dòng)視線以及心率檢測(cè)對(duì)于發(fā)現(xiàn)可疑人員的異常情緒有重大效果,，也是本產(chǎn)品在多模態(tài)異常情緒分析融合算法方面的重大突破。參見下圖,。

配置設(shè)備信息: 配置接入的視頻通道信息以及接入授權(quán),；

實(shí)時(shí)視頻接入/離線文件導(dǎo)入: 從音視頻采集設(shè)備接入引流智多模態(tài)情緒分析平臺(tái)；

算法并行分析計(jì)算: 對(duì)視頻流進(jìn)行特征提取,，并推送給算法模型利用高性能算力進(jìn)行多路并行分析,；

超過告警閾值進(jìn)行實(shí)時(shí)報(bào)警: 當(dāng)算法計(jì)算結(jié)果和告警配置進(jìn)行比對(duì)，一旦觸發(fā)告警,，則通過系統(tǒng)實(shí)時(shí)消息總線進(jìn)行通知,；

記錄報(bào)警信息(快照，時(shí)間,，可疑值,，狀態(tài)等)用于查詢和統(tǒng)計(jì)分析；

實(shí)時(shí)推送告警信息給訂閱該消息的用戶,，包括系統(tǒng)通知,，短信等，告警時(shí)的快照以及相關(guān)視頻存儲(chǔ)至系統(tǒng)存儲(chǔ)系統(tǒng),；

研判系統(tǒng)用戶按照權(quán)限查看導(dǎo)出系統(tǒng)報(bào)表,。

平臺(tái)介紹

1.基礎(chǔ)管理平臺(tái)

登錄功能、預(yù)覽模式,、審訊模式,、被詢問人實(shí)時(shí)狀態(tài)顯示，告警提示,，數(shù)據(jù)波形圖,、告警回溯、歷史回放記錄,、審訊記錄管理,、人員管理、后臺(tái)控制管理等,。

2.測(cè)謊問題庫(kù)系統(tǒng)

測(cè)謊問題庫(kù)定制,，可針對(duì)用戶場(chǎng)景，結(jié)合訊問專家與的研究與積累,，針對(duì)青島地區(qū)場(chǎng)景進(jìn)行定制,；

3.實(shí)時(shí)識(shí)別系統(tǒng)：

審訊過程異常情況智能識(shí)別，抓拍,、錄像及告警,。在審訊過程中,，通過識(shí)別人臉的分類和微表情，對(duì)其進(jìn)行圖標(biāo)數(shù)據(jù)和告警數(shù)據(jù)顯示,，數(shù)據(jù)計(jì)算達(dá)到每秒15幀,，心率識(shí)別算法輸出響應(yīng)時(shí)間0.07s。

4.面部表情分析系統(tǒng)

通過攝像頭識(shí)別人臉,，建立檔案進(jìn)行匹配,。通過深度學(xué)習(xí)的方式進(jìn)行人臉圖像分類和微表情的識(shí)別。支持一路視頻的8種微情緒分析（自然狀態(tài),、高興,、悲傷、憤怒,、驚訝,、害怕、厭惡,、輕蔑）,。提取人臉68個(gè)特征點(diǎn)，利用深度卷積網(wǎng)絡(luò)進(jìn)行微表情識(shí)別,。

5.心率分析系統(tǒng)

通過攝像頭識(shí)別面部表情計(jì)算出心率信息,。通過采集到的紅、綠,、藍(lán)三色通道的亮度變化包含動(dòng)脈信息,，將其進(jìn)行計(jì)算處理后獲得輸入信號(hào)，對(duì)其信號(hào)進(jìn)行計(jì)算分析得出心率,。分析時(shí)間每秒15幀,，心率識(shí)別算法輸出響應(yīng)時(shí)間0.07s。

6.聲強(qiáng)分析系統(tǒng)

通過聲強(qiáng)數(shù)據(jù)提取韻律性特征來識(shí)別語音中的情感,。利用聲強(qiáng),、短期能量、基頻,、聲強(qiáng)導(dǎo)數(shù),、短期能量導(dǎo)數(shù)、基頻導(dǎo)數(shù)等23個(gè)特征值進(jìn)行計(jì)算,。

7.實(shí)時(shí)告警系統(tǒng)

實(shí)時(shí)顯示當(dāng)前的告警情況,，包括告警指標(biāo)、告警快照,、視頻信息,、音頻信息、問題自動(dòng)切分音頻系統(tǒng)。

8.歷史回溯系統(tǒng)

審訊人可回看告警信息和告警視頻,，用于回放查看,。審訊記錄的歷史回溯，包括媒體信息,、告警信息,、智能數(shù)據(jù)明細(xì)信息、筆錄等,。

9.審計(jì)報(bào)表統(tǒng)計(jì)系統(tǒng)

基于智能算法對(duì)審訊過程生成評(píng)估報(bào)告,，包含問詢概況、問詢信息,、告警統(tǒng)計(jì)、總結(jié),。支持定制化報(bào)告模板,，在線筆錄編輯及導(dǎo)出功能，支持在線打印輸出,。

10.角色權(quán)限管理功能

本系統(tǒng)提供完善的權(quán)限管理功能,，可通過角色和用戶兩種方式編輯權(quán)限功能，支持創(chuàng)建系統(tǒng)角色,，并為角色分配權(quán)限,。管理員為不同的用戶創(chuàng)建賬號(hào)并分配角色，使不同的用戶根據(jù)權(quán)限的不同分配不同的權(quán)限,，每個(gè)用戶或角色擁有基礎(chǔ)的看,、增、刪,、改功能,，可根據(jù)模塊或角色的需要增加、編輯其他權(quán)限,。

11.人員管理功能

可對(duì)被測(cè)人的個(gè)人信息進(jìn)行編輯功能,，擁有新增、編輯,、刪除功能,。

12.模板定制化功能

結(jié)論報(bào)告模板定制，可針對(duì)用戶審訊要求定制結(jié)論報(bào)告模板,。

13.案件信息定制化功能

案件信息可根據(jù)詢問場(chǎng)景和內(nèi)容設(shè)定,，實(shí)際錄入本次案件的信息。

14.專家評(píng)判功能

即按照一定的專家評(píng)判規(guī)則對(duì)生理指標(biāo)進(jìn)行綜合評(píng)估后輸出被檢測(cè)對(duì)象的心理緊張程度,。并以圖像或者數(shù)據(jù)的方式顯示其分析評(píng)判結(jié)果,。

15.數(shù)據(jù)存儲(chǔ)功能

在實(shí)際詢問的場(chǎng)景中，及時(shí)保存、歷史回溯的要求越來越高,，需確保數(shù)據(jù)能夠在任何狀態(tài)下連續(xù)運(yùn)轉(zhuǎn),。自動(dòng)存儲(chǔ)就是在業(yè)務(wù)連續(xù)運(yùn)轉(zhuǎn)的前提下自動(dòng)存儲(chǔ)整合信息，以保護(hù)信息不丟失,，同時(shí)管理復(fù)雜的信息,，降低成本。本系統(tǒng)在系統(tǒng)數(shù)據(jù)存儲(chǔ)方面支持高壓縮比,，在**視頻質(zhì)量的情況下可存儲(chǔ)更多視頻,。

16.日志功能

系統(tǒng)自動(dòng)記錄所有操作記錄，用于安全審核查看,。