본 발명은 다중 영상데이터의 학습을 통한 연속적 객체 위치 추적 장치 및 그 방법에 관한 것으로, 복수의 사람에 대한 복수의 포즈를 스켈레톤 데이터 세트를 기반으로 학습하여 패턴 추정용 학습모델을 생성해둔 상태에서, 실내 또는 실외에 설치된 복수의 카메라에서 촬영한 영상데이터로부터 객체를 인지하여 생성한 스켈레톤 데이터 세트를 상기 패턴 추정용 학습모델에 적용하여 상기 객체의 움직임이나 행동에 대한 패턴을 추정하고, 상기 추정한 객체의 패턴을 토대로 해당 객체의 특정 공간에서의 이동 동선을 추적할 수 있는 장치 및 그 방법에 관한 것이다.