본 발명은 라운드 단위로 반복 수행되는 분산 학습의 초기 라운드에서 중앙 서버에서 브로드캐스팅되어 전송된 초기 글로벌 가중치를 획득하여 인공 신경망인 로컬 모델에 적용하는 단계, 분산 학습 장치가 수행해야 하는 기지정된 태스크에 따라 미리 획득된 테스트 데이터를 이용하여 현재 라운드에서 획득된 글로벌 가중치가 적용된 로컬 모델을 모의 테스트하는 단계, 글로벌 가중치가 적용된 로컬 모델이 기지정된 테스트 통과 기준에 따라 모의 테스트를 통과하면, 글로벌 가중치의 다수의 원소에 대해 기지정된 방식으로 가지치기하는 단계, 글로벌 가중치에서 가지치기되지 않은 잔여 원소의 값을 초기화하는 단계, 초기화된 가중치가 적용된 로컬 모델을 태스크에 따라 미리 준비된 학습 데이터를 이용하여 로컬 학습시키고, 로컬 학습에 의해 업데이트된 가중치인 로컬 가중치를 중앙 서버로 전송하는 단계 및 중앙 서버에서 로컬 가중치에 따라 다음 라운드를 위해 업데이트된 글로벌 가중치를 인가받는 단계를 포함하여, 연산량과 통신량을 저감시킬 뿐만 아니라 활용 용도에 무관하게 다양한 용도의 로컬 모델이 공동으로 학습되도록 할 수 있는 분산 학습 시스템 및 방법을 제공한다.