| 초록 |
연구의 목적 및 내용 제안한 연구에서는 사용자의 뇌 신호 및 다양한 생체신호를 동시에 측정하고 분석하여 사용자가 느끼는 감정과 의도를 실시간으로 인식할 뿐만 아니라, 인식한 사용자의 감정과 의도를 효과적으로 융합하여 보다 정확하고 진보된 사용자 행위예측이 가능한 원천기술을 개발한다. 사용자가 느끼는 감정에 따라 같은 상황이더라도 사용자의 의도는 달라질 수 있으며, 이러한 사용자의 의도를 감정을 고려하여 인식하고 의도에 따른 행위가 이루어지며, 사용자 행위 후 야기되는 사용자의 감정변화를 다시 인식하는 인지과정(감정/의도/행위예측) 순환 계산 모델을 개발하고자 한다. 연구결과 본 연구는 감정, 의도 및 행위예측의 순환 인지 구조를 기계학습 기반 계산모델로 구현하는 것이다. 최종 기계학습 기반 계산모델의 효율적인 구현을 위하여, 감정, 의도, 행위 예측 모듈을 각각 구현한 후에 결과를 융합하였다. 감정 및 의도 인식을 위하여 EEG, fNIRS 장비를 이용하여 뇌 신호를 측정하였으며, 사용자의 감정 및 의도에 따른 뇌 신호 특징점의 차이를 확인하였다. 시선추적장치, 심전도, 피부전도도 센서 등의 생체신호 센서도 이용하여 감정 및 의도에 따른 생체신호 특징점의 차이를 확인하였다. 또한, 지도식 Multiple Timescale Recurrent Neural Network (MTRNN) 모델을 구현하여 사용자의 행위를 예측하였다. 각 인지 모듈을 구현한 후, 뇌 신호 및 생체 신호 특징점 추가와 베이지안 기반의 모달리티 융합 방법 등을 적용하여 각 인지 모듈의 성능을 지속적으로 증진하였다. 연구 3차년도에는 각 인지모듈을 융합하는 모델을 설계하고 구현하였으며, 사용자의 특성에 따른 객체 관심도를 확인하여 구매의도를 최대화 하는 광고 유형을 유추하였다. 최종적으로 개발한 각 인지 모듈과 뇌 신호 및 생체 신호 실험 분석 결과를 바탕으로 사용자 맞춤형 컨텐츠 제공 시스템을 구현하였다. 연구결과의 활용계획 제안한 연구를 통해 개발될 감정과 의도 인식 기술 및 감정, 의도, 행위예측의 순환 모델은 로봇, 자동차, 웨어러블 기기, 스마트 폰, 스마트 TV 등에 적용되어, 사람과 능동적인 상호작용이 가능한 새로운 기기 인터페이스 개발의 핵심 원천 기술로 사용될 것이다. 또한, 광고, 쇼핑몰, S/W 컨텐츠 등의 시장에서 사용자 맞춤형 컨텐츠 제공, 소비자의 구매 의도 파악하는 광고 분석 등과 같이 다양한 응용 분야에 적용될 수 있다. 뿐만 아니라, 뇌 신호 및 생체신호 기반 감정/의도 인식 및 행위예측 기술은 의료, 복지, 재활 등의 분야에서도 다양하게 활용될 것으로 전망된다. (출처 : 한글요약문 4p) |
