Occlusion-Free Optical Sensing Device for Safe Human-Robot Collaboration

Abstract

In this thesis, a rotational optical sensing device that can be embedded or externally mounted on the manipulator link is proposed. The proposed device combines a newly designed slip ring-based mechanism with Time-of- Flight (ToF) sensors, generalizing hardware and software design parameters, and developing an algorithm to convert the detected obstacle positions into a 3D coordinate system. Through the implementation of a vision and reinforcement learning-based human-robot shortest distance measurement algorithm, this study identified that the traditional camera-based vision sensors and deep learning-based position estimation methods have limitations in detection during occlusion situations caused by overlapping robots and humans or obstacles. In contrast, the device proposed in this paper was demonstrated to detect humans and obstacles omnidirectionally without shadowed areas, even with fewer sensors compared to conventional skin-type and ring-type sensors. Finally, the effectiveness of the proposed device and algorithm was experimentally verified through obstacle and human detection experiments in various overlapping scenarios, integrating the vision and reinforcement learning-based algorithm with the proposed RotOptiRing system.|본 논문에서는 매니퓰레이터 링크에 내장 또는 외장 하여 활용할 수 있는 회전식 광학 센싱 장치를 제안하였다. 제안된 장치는 새롭게 고안된 슬립 링 기반 메커니즘과 Time-of-Flight(ToF) 센서를 결합하여, 하드웨어 및 소프트웨어 설계 변수들을 일반화하였으며, 감지된 장애물의 위치를 3차원 좌표계로 변환하는 알고리즘을 개발하였다. 직접 구현한 비전 및 강화학습 기반의 사람-로봇 간 최단거리 측정 알고리즘을 통해, 기존의 카메라 기반 비전 센서 및 딥러닝 기반 위치 추정 방식은 로봇과 사람의 중첩이나 장애물에 의한 차폐(occlusion) 상황에서 탐지에 한계가 있음을 규명하였다. 반면, 본 논문에서 제안한 장치는 기존의 스킨 타입 및 링 타입 센서에 비해 적은 수의 센서만으로도 음영 지역 없이 전방위적으로 사람 및 장애물을 감지할 수 있음을 입증하였다. 마지막으로, 비전 및 강화학습 기반 알고리즘과 제안하는 RotOptiRing을 통합한 시스템에서 다양한 중첩 시나리오에 대한 장애물 및 사람 감지 실험을 통해 제안한 장치와 알고리즘의 유효성을 실험적으로 검증하였다.