본 발명의 일 실시예에 따른 사용자 동작 인식 시스템은, 복수 개의 신호를 입력받는 신호 입력부; 복원 손실 정보, 분류 손실 정보, 및 상기 복수 개의 신호를 수신하여 상기 복수 개의 신호 중 제 1 신호와 제 2 신호와의 관계를 나타내는 특성 정보를 추출하는 특징 추출부; 및 상기 복원 손실 정보를 디코더로부터 수신하는 복원 손실 입력부를 포함하는 인코더; 상기 특성 정보를 기초로 하여 분류 인덱스를 예측하는 신호 분류부; 및 상기 예측된 분류 인덱스와 오리지널 분류 인덱스의 분류 손실을 산출하는 분류 손실 산출부를 포함하는 분류기; 및 상기 제 1 신호 및 상기 인코더로부터 상기 특성 정보를 수신하는 신호 수신부; 상기 제 1 신호 및 상기 특성 정보를 이용하여 상기 제 2 신호를 복원하는 신호 복원부; 및 상기 복원된 제 2 신호와 오리지널 제 2 신호를 비교하여 복원 손실을 산출하는 복원 손실 산출부를 포함하는 디코더를 포함하고, 상기 분류 손실 정보는 상기 인코더 및 상기 분류기에 입력되어 상기 인코더 및 상기 분류기를 학습시키고, 상기 복원 손실 정보는 상기 인코더 및 상기 디코더에 입력되어 상기 인코더 및 상기 디코더를 학습시킬 수 있다.