얼굴 표정 분석 소프트웨어 - FaceReader

Posted by 베리슨
2016.01.11 11:58 Human Behavior

FaceReader는 사람의 얼굴 표정을 인식하여 6가지 정서(행복한, 슬픈, 놀란, 두려운, 화난, 혐오스러운)와 중립 및 경멸하는 정서를 자동으로 분석해 주는 사용성 평가 소프트웨어입니다. 또한 실험 참여자의 시선 응시 방향, 머리 회전, 성별, 나이, 인종 등과 같이 개인적인 특성을 자동으로 인식, 분석하며 얼굴 표정 상태 즉 눈썹, 이마, 입꼬리, 턱의 오르내림 여부도 자동으로 감지합니다. 실험 참여자의 정서가 긍정인지/부정인지(valence), 얼마나 적극적인 태도를 갖고 있는지(arousal)를 표정 분석을 통해 그래프로 제시합니다.


얼굴표정분석 - FaceReader


FaceReader 데이터를 The Observer XT 에서 불러들일 수 있고 이벤트 데이터, 생리적 데이터, 아이트래킹 데이터와 같이 다양한 데이터와 통합적으로 분석하는데 사용되고 있으며, 미국과 유럽에서는 주로 다음과 같은 분야에 FaceReader를 활용하고 있습니다.

  • 상담, 인지 심리: 상담 시 내담자의 표정 변화를 바탕으로 상담의 질(質)을 객관적으로 평가, 특정 자극에 대해 참여자의 정서적인 태도 측정, 평가
  • 교육 분야: 수업 시간에 학생들의 표정을 관찰하여 교수법/학습법 개선, 개발
  • 사람-컴퓨터 간 상호작용: 사용자 경험을 진행하는 동안 보고 느낀 것이 얼굴 표정으로 나타나며 이를 통해 관련 정보 획득
  • 사용성 테스트: 기기 및 제품이 얼마나 사용하기 쉬운지, 인터페이스가 사용자에게 얼마나 편리하게 다가가는지 평가
  • 마켓 리서치: 사람들이 새로 출시된 상품 및 디자인에 어떻게 반응하는지 연구

  
 

얼굴 표정 인식 매커니즘 & 동아시아인의 얼굴 표정에 대한 데이터

FaceReader의 얼굴 표정 인식 매커니즘은 다음과 같이 3단계로 진행됩니다.

  • Face finding – 얼굴 표정의 정확한 위치 인식
  • Face modeling – 인식된 얼굴 표정을 Active Appearance Model에 적용하여 모델링
  • Face classification – 대표적인 6가지 정서 및 경멸, 중립적인 상태값으로 결과 도출

이목구비가 뚜렷하고 표정이 풍부한 서양인에게만 가능한 것이 아니냐는 문의를 받는데요. 결론부터 말씀드리면 동양인의 얼굴 표정도 인식, 분석할 수 있는데, 이는 약 4,000개 이상의 아시아인의 얼굴 표정 이미지를 수집, 확보한 데이터 베이스를 기반으로 하고 있으며, 지속적으로 데이터를 추가 확보하고 있기 때문입니다. 이를 통해 어린 아이와 연세 드신 분의 얼굴 표정도 쉽게 분석 할 수 있습니다.



새로운 정서 모델: 경멸하는 Contempt

FaceReader는 얼굴 표정을 다음과 같이 다양한 감성(정서)로 분석합니다.

  • 행복한(happy)
  • 슬픈(sad)
  • 무서워하는(scared)
  • 혐오감을 느끼는, 넌더리 나는(disgusted)
  • 놀란, 놀라는(surprised)
  • 화가 나는, 성난(angry)
  • 중립적인(neutral)
  • 경멸하는, 멸시하는(contempt)

이와 같이 6가지 대표적인 정서와 중립적인 상태를 제공하는데요. 이번에 새로운 정서인 ‘경멸(멸시)하는’ 정서를 추가하였습니다. 경멸 정서는 상대를 배려하지 않고 가치가 없다고 느끼거나 깔보는 감정을 드러내는 것으로 부정적인 감정을 나타냅니다.



Remote Heart Rate 측정

FaceReader에서 remote Photo-plethymopraphy(PPG)에 기반을 둔 Remote Heart Rate 측정을 지원합니다. 이는 혈류량 변화에 따라 미세한 얼굴색 변화를 감지하여 심박수를 측정하는 기술로 특정 환경, 상황에서 참여자의 각성 정도를 파악하는데 유용한 지표로 활용할 수 있습니다.


 

감정 원형 모델(Circumplex model of affect)

정서의 원형 모델(circumplex model of affect)은 다양한 정서들을 하나의 원의 형태로 배열하여 구성한 모델입니다. 원에서 서로 가까운 정서들은 서로 유사하고 혼동하여 느낄 수 있는 정서를 의미하는데 비해 원에서 서로 반대 쪽에 위치하는 정서들은 서로 관련이 없거나 아주 다른 정서로 느낄 수 있다는 뜻으로 해석할 수 있습니다. 이러한 원형 모델에서는 2가지 차원으로 구분할 수 있는데요. 즉, 수평축으로는 valence 관점(pleasant-unpleasant), 수직축으로는 arousal 차원(active – inactive)으로 표현함으로써 특정 표정과 관련된 정서들의 강도를 객관적으로 측정할 수 있습니다.

이러한 원형 모델을 도입한 FaceReader는 실시간으로 실험 참여자의 얼굴 표정을 인식하여 관련있는 정서를 분석함으로써 심리학, 마케팅, 소비자 행동과학, 광고 측정 및 평가 등 다양한 분야에서 널리 사용되고 있습니다.

※ 참고 포스트:

 
 

20개 세부 표정 분석

볼(뺨)이 올라가거나, 코를 찡그리거나, 보조개를 짓거나, 입술을 굳건히 다무는 등 일반적으로 널리 표정짓는 20개의 표정 정보도 제공하여 대표적인 정서 뿐 아니라 세밀한 얼굴 표정까지 제공함으로써 보다 심도있는 분석을 할 수 있습니다.


 

다양한 결과 데이터

분석 데이터는 bar graph, pie chart, valence(positive/negative), arousal 뿐만 아니라 실험 참여자의 기분상태(positive/neutral, negative) 정보를 제공합니다. 이러한 정보는 실시간으로 제공되어 현장에서 참여자들의 반응과 태도를 확인할 수 있습니다.


 

Complete solution

한 화면에서 여러 동영상(예들 들어 자극물, 실험 참여자의 얼굴 표정)을 동시에 확인 및 비교하는 것은 물론 자극물에 대한 참여자의 반응을 신속하게 캐치할 수 있습니다. 이 밖에도 실험 참여자를 그룹화 하고, 여러 자극물을 분류하고 비교하거나, 여러 템플릿 생성, 여러 변인을 추가, 편집 하는 기능과 같이 다양하게 실험을 편집, 관리함으로써 얼굴 표정 연구를 보다 효율적이고 효과적으로 진행할 수 있습니다. TV 광고와 같은 자극에 대한 반응 및 표정 변화를 시간 흐름 즉, 타임라인에 따라 살펴볼 수 있습니다. 여러 감정(expressions), 정서가(valence), 각성(arousal) 상태 변화 그래프와 전체 요약 차트를 제공합니다.


 

수치 분석 

성별, 나이, 전문성 여부 등과 같이 실험 참여자들을 대상으로 그룹을 설정하여 해당 지표값의 평균과 표준편차 값을 도출할 수 있으며 FaceReader 자체적으로 T-test 분석을 수행하여 측정된 결과값의 유의미 여부를 판단할 수 있습니다.



아래 동영상은 아시아 여성을 대상으로 표정을 분석한 화면으로 Expression Intensity, Circumplex Model of Affect, Timeline, Valence Line Chart, Arousal Line Chart, Expression Line Chart 등 다양하게 시각적 분석 결과물을 활용할 수 있습니다. (전체화면으로 재생해서 보세요~^^)



이상으로 얼굴 표정으로 감성/정서를 분석하는 FaceReader에 대한 소개를 마치며 제품 문의 혹은 궁금하신 부분은 아래 링크를 통해 문의 남겨주시면 답변 드리겠습니다. 






저작자 표시 비영리 동일 조건 변경 허락
신고
이 댓글을 비밀 댓글로