본 연구는 로봇이 통에 담긴 물체를 잡아내는 어플리케이션에서 ,기존 연구와 다른 방식으로 접근하여 사람의 유연성과 판단 능력을 활용하여 문제점을 해결하고자 하였다. 특히 사람과AI가 협업을 통해학습 데이터의 양과 처리능력을 줄일수 있는 로봇 소재투입 장치 플랫폼을 제안하였다. 해당 플랫폼으로 소재가 통(Bin) 에 담겨저 랜덤하게 위치해 있더라도 로봇이 자동으로 소재를 잡을 수 있으며, 적은 학습량으로 높은 성공률을 보여주었다.
본 플랫폼은 사람이 인터페이스를 통해 물체 잡기를 시연하는 부분과, 시연을 통해 구성된Convolutional Neural Network (CNN) 신경망 모델을 통해 로봇이 자가 학습하는 부분으로 이루어져 있다. 사람 인터페이스는 GUI 프로그램이며, Bin 의 Depth image 위에 잡을수 있다고 생각되는 물체를 클릭하여, 로봇이 잡기를 시연하고 난 후 성공 여부 및 해당 이미지 결과를 기록한다. 다음, 이 소규모의 작업자 시연으로 수집된 데이터를 통해 초기 CNN 모델을 생성한다. CNN 모델의 입력은 Depth image 이며, 출력은 잡기 성공 여부(%) 이다. 이후 해당 초기 모델을 통해 Depth image를 스캔하여 로봇이 자동으로 잡기를 시도한 후, 잡기의 성공/실패 여부를 자가 학습하여 CNN 모델의 정확성을 높인다.
총100회의 시연을 통해CNN 모델을 학습하고 나서, 로봇이CNN 모델을 통해 잡을수 있는 물체를 예측하고 잡기를 스스로 시도하였다.
다음, 총2000회의 자가 학습을 통해 CNN 모델의 잡기 성공률을 초기74% 에서87% 까지 증가시킬 수 있었다.
사람의 초기 학습과 로봇 자가 학습을 통해 빠르게 CNN 모델을 만들수 있었다. 해당 성공률은 최근 연구들과 동등한 수준이며, 학습 데이터의 양도 기존 연구 대비 최소화 할 수 있었다.
