컨텍스트 인지 플래닝 모듈 및 환경 인지 메모리 모듈을 포함하는 CAPEAM 모델에 따른 태스크 수행 방법 및 이를 사용한 AI 에이전트
출원인
연세대학교 산학협력단, 광주과학기술원
공고일
2024.06.19
출원일
2023.12.15
게시글 내용
본 발명은 컨텍스트 인지 플래닝 모듈 및 환경 인지 메모리 모듈을 포함하는 CAPEAM 모델에 따른 태스크 수행 방법에 관한 것으로서, 보다 상세하게는 (a) 자연어 지시 데이터가 획득되면, AI 에이전트가, 상기 자연어 지시 데이터를 서브-골 플래너로 입력하여 상기 서브-골 플래너로 하여금 상기 자연어 지시 데이터를 러닝 연산하도록 하여 상기 자연어 지시 데이터에 대응되는 서브-골 액션들의 액션 컴포넌트 시퀀스 및 상기 액션 컴포넌트 시퀀스에 대응되는 플레이스 홀더 컴포넌트 시퀀스를 포함하는 서브-골 프레임 시퀀스를 생성하도록 하고, 상기 자연어 지시 데이터로부터 획득한 컨텍스트들을 상기 컨텍스트들에 대응되는 상기 서브-골 프레임 시퀀스의 플레이스 홀더에 입력하여 상기 서브-골 프레임 시퀀스에 대응되는 제1 서브-골 내지 제N 서브-골 - 상기 N은 1 이상의 정수임- 을 생성하도록 하며, 디테일드 플래너로 하여금 상기 제1 서브-골에 대한 제1 실행 액션 내지 제T1 실행 액션 - 상기 T1은 1 이상의 정수임 -, 내지 상기 제N 서브-골에 대한 제1 실행 액션 내지 제Tn 실행 액션 - 상기 Tn은 1 이상의 정수임 - 을 생성하도록 하는 단계; 및 (b) 상기 제1 서브-골 내지 상기 제N 서브-골 중 어느 하나인 제j 서브-골에 대한 제k 실행 액션을 제j_k 실행 액션이라고 할 때, 상기 AI 에이전트가, (i) 상기 j를 1부터 상기 N까지 증가시키며, 상기 k를 1부터 상기 Tj까지 증가시켜가며, 상기 제j_k 실행 액션에 대응하여, 이미지 퍼셉션 모듈을 통해 상기 제j_k 실행 액션에 따른 특정 오브젝트를 확인하고, (ii) 상기 태스크를 수행하는 전체 환경에 대한 시맨틱 스페이셜 맵 상에서의 상기 제j_k 실행 액션의 이전 실행 액션들에 대한 오브젝트들의 상태 정보를 저장하고 있는 상기 환경 인지 메모리 모듈을 참조하여 상기 특정 오브젝트가 유효한 오브젝트인지 확인하며, 상기 특정 오브젝트가 유효한 오브젝트로 확인되면 상기 특정 오브젝트에 대한 상기 제j_k 실행 액션을 수행하며, 상기 제j_k 실행 액션에 따른 상기 특정 오브젝트의 특정 상태 변화 정보를 상기 환경 인지 메모리 모듈에 저장하여 상기 시맨틱 스페이셜 맵을 업데이트하는 단계를 포함하는 방법이 개시된다.