ErgoLAB面部表情分析系統(tǒng)

一,、產(chǎn)品概述

ErgoLAB FACS面部表情分析系統(tǒng)是主要的神經(jīng)行為測(cè)試工具之一，該系統(tǒng)是一款專業(yè)的工具軟件,，可自動(dòng)分析面部表情和面部微表情動(dòng)作,，同時(shí)系統(tǒng)內(nèi)嵌情感效價(jià)識(shí)別模型，直接測(cè)量個(gè)體的“消極”,、“中性”,、“積極”的情感狀態(tài)，還提供視線方向,、頭部朝向,、個(gè)人特征等數(shù)據(jù)。系統(tǒng)通過(guò)面部動(dòng)作編碼體系（FACS：Facial Action Coding System）將許多現(xiàn)實(shí)生活中人類的表情進(jìn)行了分類,，是如今面部表情的肌肉運(yùn)動(dòng)的**參照標(biāo)準(zhǔn),。系統(tǒng)具備情緒狀態(tài)識(shí)別,、面部表情分析等功能，根據(jù)人臉的解剖學(xué)特點(diǎn),，將其劃分成若干既相互獨(dú)立又相互的運(yùn)動(dòng)單元（AU）,，并分析了這些運(yùn)動(dòng)單元的運(yùn)動(dòng)特征及其所控制的主要區(qū)域以及與之相關(guān)的表情。

ErgoLAB FACS系統(tǒng)是自主研發(fā)技術(shù),，具有多項(xiàng)國(guó)家發(fā)明ZHUAN LI與軟件著作權(quán),，通過(guò)了省部級(jí)新技術(shù)新產(chǎn)品認(rèn)證，歐洲CE,、美國(guó)FCC,、歐盟Rohs、ISO9001,、ISO14001,、OHSAS18001等多項(xiàng)國(guó)際管理體系認(rèn)證。廣泛應(yīng)用于心理與行為觀察,、人因智能與人機(jī)互動(dòng),、人機(jī)界面設(shè)計(jì)與產(chǎn)品可用性測(cè)試、產(chǎn)品（廣告）營(yíng)銷,、汽車駕駛（交通安全）,、工業(yè)管理、工業(yè)設(shè)計(jì),、人因工程,、消費(fèi)行為學(xué)、應(yīng)急行為研究,、安全科學(xué),、環(huán)境行為學(xué)、建筑設(shè)計(jì)等多個(gè)領(lǐng)域科學(xué)研究,。

ErgoLAB FACS面部表情分析系統(tǒng)是一款專業(yè)的面部表情分析與情緒狀態(tài)識(shí)別科研工具,。系統(tǒng)通過(guò)圖像識(shí)別技術(shù)結(jié)合機(jī)器學(xué)習(xí)等人工智能算法，利用面部肌肉特征點(diǎn)計(jì)算和分類表情狀態(tài),，自動(dòng)編碼多種基本表情,、**計(jì)算情感效價(jià)；并通過(guò)龐大的數(shù)據(jù)庫(kù)使得模型預(yù)測(cè)的情緒準(zhǔn)確率高達(dá) 93.3%,。通過(guò)計(jì)算多維度數(shù)據(jù)特征,，結(jié)合AI狀態(tài)識(shí)別進(jìn)一步研發(fā)可實(shí)現(xiàn)對(duì)操作人員的分心、疲勞,、應(yīng)激等狀態(tài)的自動(dòng)識(shí)別以及特定環(huán)境條件下的預(yù)警反饋,。ErgoLAB FACS系統(tǒng)采用表情識(shí)別算法，開發(fā)團(tuán)隊(duì)在軟件功能及算法定制開發(fā)上積累了豐富的開發(fā)實(shí)施經(jīng)驗(yàn)，可以根據(jù)用戶要求對(duì)軟件進(jìn)行定制化設(shè)計(jì)開發(fā),，確保滿足用戶科研需要,。

系統(tǒng)可以嵌入ErgoLAB行為觀察分析系統(tǒng)和人機(jī)環(huán)境同步平臺(tái)，支持在同一個(gè)軟件界面同步采集與分析多維數(shù)據(jù)源,，包括行為觀察視頻,、SHENG LI數(shù)據(jù)、眼動(dòng)數(shù)據(jù),、腦電數(shù)據(jù),、動(dòng)作捕捉、生物力學(xué),、作業(yè)環(huán)境數(shù)據(jù)等,，包含多終端API/TTL實(shí)時(shí)行為編碼與事件標(biāo)記應(yīng)用程序，并提供開放數(shù)據(jù)同步接口可供二次開發(fā),。

隨著神經(jīng)行為科學(xué)的迅猛發(fā)展,，人們開始嘗試用神經(jīng)行為學(xué)工具來(lái)測(cè)試各種商業(yè)行為表現(xiàn)。主要集中應(yīng)用在對(duì)消費(fèi)者偏好和滿意度的測(cè)試,，如消費(fèi)者觀看廣告內(nèi)容時(shí)的表情和購(gòu)買意愿的關(guān)系,；消費(fèi)者聞不同氣味的香水后的表情反應(yīng)與對(duì)香水偏好的關(guān)系；聽眾的表情與音樂(lè)喜好的關(guān)系等眾多研究領(lǐng)域,。情感預(yù)測(cè)態(tài)度和行動(dòng)針對(duì)視頻圖像中的每一幀,，F(xiàn)ACS提供面部表情的7種關(guān)鍵指標(biāo)的詳實(shí)數(shù)據(jù)，以及6種面部特征統(tǒng)計(jì)數(shù)據(jù),。這些參數(shù)可以洞察人們的情緒狀態(tài),，并提高消費(fèi)品,、廣告,、媒體、軟件的商業(yè)價(jià)值,。

二,、產(chǎn)品特點(diǎn)

1、面部表情自動(dòng)編碼

● 面部表情自定義處理參數(shù)模塊,，包括實(shí)時(shí)處理及離線處理,，如數(shù)據(jù)插值、中值濾波,、均值濾波等,，支持自定義程度閾值、合并閾值,、以及大腦加工時(shí)間,。

● 自動(dòng)識(shí)別并編碼七種基本表情，包括高興、悲傷,、厭惡,、恐懼、驚訝,、生氣,、參與度，以0至100%區(qū)間計(jì)算表情程度值,；

● 計(jì)算多種微表情數(shù)據(jù),，如抬起眉毛內(nèi)角、抬起眉毛外角,、皺眉（降低眉毛）,、上眼瞼上升、臉頰提升,、眼輪匝肌外圈收緊/內(nèi)圈收緊,、皺鼻、拉動(dòng)上嘴唇向上運(yùn)動(dòng),、拉動(dòng)人中部位的皮膚向上,、拉動(dòng)嘴角傾斜向上、急劇的嘴唇拉動(dòng),、收緊嘴角,、拉動(dòng)嘴角向下傾斜、拉動(dòng)下唇向下,、推動(dòng)下唇向上,、撅嘴、嘴角拉伸,、收緊雙唇向外翻,、眼睛擴(kuò)大、張嘴等,。

2,、狀態(tài)識(shí)別與預(yù)警反饋

● 系統(tǒng)內(nèi)嵌情感效價(jià)計(jì)算模型，**識(shí)別積極,、中性,、消極情感，客觀評(píng)價(jià)個(gè)體情緒狀態(tài),，與多模態(tài)數(shù)據(jù)形成客觀有效的印證關(guān)系,；

● 系統(tǒng)可自動(dòng)檢測(cè)操作人員的頭部位置三軸數(shù)據(jù)：俯仰角、偏航角,、翻滾角,；系統(tǒng)能夠自動(dòng)檢測(cè)實(shí)時(shí)跟蹤操作人員頭部朝向,，包括俯仰角、偏航角,、翻滾角,，并測(cè)定注視方向，計(jì)算瞳孔間距以及注意狀態(tài)檢測(cè),；

● 結(jié)合人工智能與機(jī)器學(xué)習(xí)算法,，進(jìn)一步實(shí)現(xiàn)對(duì)操作人員的分心、疲勞,、應(yīng)激等狀態(tài)的自動(dòng)識(shí)別以及特定環(huán)境條件下的預(yù)警反饋,。

3、面部表情分析與統(tǒng)計(jì)屬性識(shí)別

● 實(shí)時(shí)可視化的表情編碼：系統(tǒng)實(shí)時(shí)計(jì)算操作人員的表情狀態(tài)與情緒效價(jià),，在實(shí)驗(yàn)過(guò)程中,，主試可實(shí)時(shí)查看與監(jiān)測(cè)操作人員的表情程度與情緒變化，并做出相應(yīng)的任務(wù)調(diào)整與行為預(yù)警,。

● 自動(dòng)統(tǒng)計(jì)面部表情數(shù)據(jù)：包括每種面部表情的開始時(shí)間,、結(jié)束時(shí)間、**次發(fā)生的時(shí)間,、總發(fā)生次數(shù),、頻率、每次發(fā)生的時(shí)間,、總的持續(xù)時(shí)間,、總的持續(xù)時(shí)間在全部觀察時(shí)間中所占的百分比、**短的持續(xù)時(shí)間,、**長(zhǎng)的持續(xù)時(shí)間,、平均持續(xù)時(shí)間、持續(xù)時(shí)間的標(biāo)準(zhǔn)差,、持續(xù)時(shí)間間隔置信區(qū)間等數(shù)據(jù),。

● 自動(dòng)檢測(cè)操作人員的整個(gè)面部特征點(diǎn)，并輸出原始坐標(biāo)X,、Y,，以及視線位置,；

● 系統(tǒng)包含年齡分類器,，支持實(shí)時(shí)計(jì)算并識(shí)別多個(gè)年齡段狀態(tài)，可智能識(shí)別多種被試屬性信息,，如性別,、是否佩戴眼鏡。

4,、多維度數(shù)據(jù)統(tǒng)計(jì)與二次開發(fā)

● 多維度數(shù)據(jù)交叉統(tǒng)計(jì)：系統(tǒng)支持面部表情數(shù)據(jù)與其他多模態(tài)數(shù)據(jù)（眼動(dòng),、腦電,、動(dòng)補(bǔ)、行為等）的同步交叉分析,，多個(gè)數(shù)據(jù)源在同一平臺(tái)界面呈現(xiàn),，在采集的同時(shí)間軸數(shù)據(jù)里選擇相應(yīng)的時(shí)間片段，可同步觀察和統(tǒng)計(jì)分析所有數(shù)據(jù)流之間的相關(guān)關(guān)系,；

● 具有API開發(fā)接口：面部表情原始數(shù)據(jù)與狀態(tài)分析結(jié)果可以被其他程序?qū)崟r(shí)訪問(wèn),，可使其它程序?qū)Ρ辉囌叩那榫w進(jìn)行反饋。

三,、應(yīng)用領(lǐng)域

●心理學(xué)與神經(jīng)科學(xué)研究,；

●人因工程與工效學(xué)研究；

●人因智能與人機(jī)交互研究,；

●智能交通與駕駛行為研究,；

●建筑人居健康與環(huán)境行為研究；

●市場(chǎng)研究與消費(fèi)者調(diào)研,；

●用戶體驗(yàn)與交互研究,；

●教育研究；

●臨床研究,；

●嬰兒研究,；

●體育運(yùn)動(dòng)研究；

●沉浸式VR研究,；