主要的功能模塊

1,、VAG 接入服務(wù)

2,、IVS  智能分析服務(wù)

3,、CMS 中央管理服務(wù)

4、SDK 服務(wù)端

5,、流媒體服務(wù)

6,、Web 管理客戶端

產(chǎn)品特色

支持全面多模態(tài)情緒感知算法

5種情緒特征全采集(面部微表情，面部微動作,，眼動視線,，心率，身體姿態(tài)),，8種主要表情,，22種特定表情微動作識別。根據(jù)在公安刑偵領(lǐng)域?qū)崙?zhàn)經(jīng)驗,，眼動視線以及心率檢測對于發(fā)現(xiàn)可疑人員的異常情緒有重大效果,，也是本產(chǎn)品在多模態(tài)異常情緒分析融合算法方面的重大突破,。參見下圖。

配置設(shè)備信息: 配置接入的視頻通道信息以及接入授權(quán),；

實時視頻接入/離線文件導(dǎo)入: 從音視頻采集設(shè)備接入引流智多模態(tài)情緒分析平臺,；

算法并行分析計算: 對視頻流進行特征提取，并推送給算法模型利用高性能算力進行多路并行分析,；

超過告警閾值進行實時報警: 當(dāng)算法計算結(jié)果和告警配置進行比對,，一旦觸發(fā)告警，則通過系統(tǒng)實時消息總線進行通知,；

記錄報警信息(快照,，時間，可疑值,，狀態(tài)等)用于查詢和統(tǒng)計分析,；

實時推送告警信息給訂閱該消息的用戶,，包括系統(tǒng)通知,，短信等，告警時的快照以及相關(guān)視頻存儲至系統(tǒng)存儲系統(tǒng),；

研判系統(tǒng)用戶按照權(quán)限查看導(dǎo)出系統(tǒng)報表,。

平臺介紹

1.基礎(chǔ)管理平臺

登錄功能、預(yù)覽模式,、審訊模式,、被詢問人實時狀態(tài)顯示，告警提示,，數(shù)據(jù)波形圖,、告警回溯、歷史回放記錄,、審訊記錄管理,、人員管理、后臺控制管理等,。

2.測謊問題庫系統(tǒng)

測謊問題庫定制,，可針對用戶場景，結(jié)合訊問專家與的研究與積累,，針對青島地區(qū)場景進行定制,；

3.實時識別系統(tǒng)：

審訊過程異常情況智能識別，抓拍,、錄像及告警,。在審訊過程中，通過識別人臉的分類和微表情,，對其進行圖標(biāo)數(shù)據(jù)和告警數(shù)據(jù)顯示,，數(shù)據(jù)計算達(dá)到每秒15幀,，心率識別算法輸出響應(yīng)時間0.07s。

4.面部表情分析系統(tǒng)

通過攝像頭識別人臉,，建立檔案進行匹配,。通過深度學(xué)習(xí)的方式進行人臉圖像分類和微表情的識別。支持一路視頻的8種微情緒分析（自然狀態(tài),、高興,、悲傷、憤怒,、驚訝,、害怕、厭惡,、輕蔑）,。提取人臉68個特征點，利用深度卷積網(wǎng)絡(luò)進行微表情識別,。

5.心率分析系統(tǒng)

通過攝像頭識別面部表情計算出心率信息,。通過采集到的紅、綠,、藍(lán)三色通道的亮度變化包含動脈信息,，將其進行計算處理后獲得輸入信號，對其信號進行計算分析得出心率,。分析時間每秒15幀,，心率識別算法輸出響應(yīng)時間0.07s。

6.聲強分析系統(tǒng)

通過聲強數(shù)據(jù)提取韻律性特征來識別語音中的情感,。利用聲強,、短期能量、基頻,、聲強導(dǎo)數(shù),、短期能量導(dǎo)數(shù)、基頻導(dǎo)數(shù)等23個特征值進行計算,。

7.實時告警系統(tǒng)

實時顯示當(dāng)前的告警情況,，包括告警指標(biāo)、告警快照,、視頻信息,、音頻信息、問題自動切分音頻系統(tǒng),。

8.歷史回溯系統(tǒng)

審訊人可回看告警信息和告警視頻,，用于回放查看。審訊記錄的歷史回溯，包括媒體信息,、告警信息,、智能數(shù)據(jù)明細(xì)信息、筆錄等,。

9.審計報表統(tǒng)計系統(tǒng)

基于智能算法對審訊過程生成評估報告,，包含問詢概況、問詢信息,、告警統(tǒng)計,、總結(jié)。支持定制化報告模板,，在線筆錄編輯及導(dǎo)出功能,，支持在線打印輸出。

10.角色權(quán)限管理功能

本系統(tǒng)提供完善的權(quán)限管理功能,，可通過角色和用戶兩種方式編輯權(quán)限功能,，支持創(chuàng)建系統(tǒng)角色，并為角色分配權(quán)限,。管理員為不同的用戶創(chuàng)建賬號并分配角色,，使不同的用戶根據(jù)權(quán)限的不同分配不同的權(quán)限，每個用戶或角色擁有基礎(chǔ)的看,、增,、刪,、改功能,，可根據(jù)模塊或角色的需要增加、編輯其他權(quán)限,。

11.人員管理功能

可對被測人的個人信息進行編輯功能,，擁有新增、編輯,、刪除功能,。

12.模板定制化功能

結(jié)論報告模板定制，可針對用戶審訊要求定制結(jié)論報告模板,。

13.案件信息定制化功能

案件信息可根據(jù)詢問場景和內(nèi)容設(shè)定,，實際錄入本次案件的信息。

14.專家評判功能

即按照一定的專家評判規(guī)則對生理指標(biāo)進行綜合評估后輸出被檢測對象的心理緊張程度,。并以圖像或者數(shù)據(jù)的方式顯示其分析評判結(jié)果,。

15.數(shù)據(jù)存儲功能

在實際詢問的場景中，及時保存,、歷史回溯的要求越來越高,，需確保數(shù)據(jù)能夠在任何狀態(tài)下連續(xù)運轉(zhuǎn)。自動存儲就是在業(yè)務(wù)連續(xù)運轉(zhuǎn)的前提下自動存儲整合信息，以保護信息不丟失,，同時管理復(fù)雜的信息,，降低成本。本系統(tǒng)在系統(tǒng)數(shù)據(jù)存儲方面支持高壓縮比,，在**視頻質(zhì)量的情況下可存儲更多視頻,。

16.日志功能

系統(tǒng)自動記錄所有操作記錄，用于安全審核查看,。