사용자 인식 기반의 영상 제어 장치 및 그 동작방법에 관한 것으로서, 일실시예에 따른 영상 제어 장치는 스크린(Screen) 전면에 위치한 사용자의 얼굴 위치 정보, 사용자와 스크린 사이의 거리 정보 및 사용자의 시선 정보 중 적어도 하나 이상의 사용자 정보를 수집하는 사용자 정보 수집부와, 수집된 사용자 정보에 기초하여 스크린에 표시되는 자막 및 영상 시청 GUI(Graphical User Interface) 중 적어도 하나 이상의 디스플레이 요소를 제어하기 위한 영상 제어 신호를 생성하는 신호 생성부 및 영상 제어 신호에 대응하여 스크린에 표시되는 디스플레이 요소를 제어하는 디스플레이 제어부를 포함한다.