FFT 기반 음파 분석을 이용한 사용자 손동작 인식 알고리즘
논문 : http://nsl.cau.ac.kr/~jpaek/docs/sound-based-gesture-detection.pdf
Abstract
- 사용자 행동 인식 기술 : 스마트 디바이스에 내장이 가능한 센서들을 활용해 사람들의 행동에 대한 정보들을 수집, 해석하고 해당 행동을 인식하는 기술
- 영상분석 기반 인식 기술/온 바디 센서 기반의 행동 인식 기술 존재
- (카메라, 가속도 센서, 블루투스 등의 센서를 이용)
- Paper : 사용자의 손동작에 따른 음파 변화를 분석 하여 손동작을 인식
손동작에 따른 소리 데이터를 수집 및 분석하고 해당 내용을 바탕으로 소리 데이터를 이용한 손동작 인식 알고리즘을 제시
Introduction
- 사용자의 행동에 따른 음파 변화를 분석하여 행동을 인식하는 새로운 방안을 제시
- 행동 인식 모델에는 특정 손동작을 하는 동시에 스마트 디바이스를 이용해 소리를 발생시키는 송신자, 해당 소리를 듣고 있는 수신자 존재
- 모델 내의 수신자는 송신자의 손동작을 인식하기 위해 수신한 소리 신호를 분석할 필요가 있는데 전자기파, 음파와 같은 파형 및 주파수 분석에는 주로 푸리에 변환 사용됨.
💡 푸리에 변환 : (다른 게시글에 wavelet과 함께 자세히 포스트)
시간에 대한 신호에 대해 해당 신호를 구성하고 있는 주파수 성분으로 분해하는 수학적 기법
송신자가 행동을 취하게 되면 수신자와 송신자 사이에 상대 속도가 발생
→ 도플러 효과로 인해 주파수 변화가 발생
→ 푸리에 변환을 통해 주파수 변화 및 파형의 변화를 분석, 손동작 인식을 위해 고속 푸리에 변환을 사용
💡 고속 푸리에 변환 :
- 이산적 푸리에 변환을 행하는 알고리즘 중 하나
- N개의 데이터열에 대해 O (n log n)의 연산만 을 수행하여 빠른 속도가 특징
2. 소리 기반 행동 인식 모델
- 수신자는 계속해서 소리를 녹음하며 발생 주파수 대역에서 일정 Magnitude 이상을 감지하였을 때 송신자의 소리가 발생했음을 파악
- 발생 주파수 대역에서 더 이상 소리를 감지할 수 없을 때 까지 데이터를 수집하고 해당 데이터의 변화에 따라 송신자의 손동작을 인식
- 주어진 모델에서 인식하는 송신자의 손동작 : 스마트 디바이스를 흔드는 경우&아무 동작도 하지 않는 경우로 제한
스마트 디바이스를 흔드는 경우는 세부적으로 빠르게 흔드는 경우(1초에 4회), 느리게 흔드는 경우(1초에 2회)로 구분하며 흔드는 거리는 30 cm로 설정
추후 표현의 편의를 위해 흔드는 행위를 속도에 따라 "Fast Shake", "Slow Shake", 아무런 동작도 하지 않는 것을 "No Movement"라 명명
스마트 디바이스를 흔들 때는 Figure 2의 Shake와 같이 수신자 기준 전후로 흔들며 송신자와 수신자 모두 추가로 부착하는 센서 없이 스마트 디바이스에 내장되어 있는 스피커와 마이크를 이용
- 사용하는 주파수 대역 :
비가청 주파수에 속하는 고주파수 대역
손동작 인식 과정 중 비가청 주파수 이하의 주파수를 사용할 시 기본적으로 발생하는 생활 소음들과 중복되는 주파수 들이 다수 존재하고 실제 사용에 있어 소음을 발생시 킬 것이라 판단하여 해당 주파수 대역을 선택
고주파수 대역 내에서도 제안하는 모델에서는 주파수 를 18 kHz로 고정
주파수가 높아질수록 소리를 원활하게 발생시키지 못하는 스마트 디바이스 내장 스피커의 한계로 인해 해당 주파수를 선택