롤링셔터 보정을 이용한 스마트폰 영상 기반 진동 응답 측정

키워드

확장요약문

롤링셔터(Rolling Shutter, RS) 카메라는 이미지 센서의 각 행을 서로 다른 시각에 노출하므로, 동일 프레임 내에서도 위치에 따라 촬영 시각이 달라진다. 이 시간차는 진동 응답의 공간 위상 분포를 왜곡한다[1]. 이러한 왜곡은 위상 기반 운동 확대(Phase-Based Motion Magnification, PMM) 결과에 영향을 주고, 적합 직교 분해(Proper Orthogonal Decomposition, POD)에 비물리적 부가성분을 유발할 수 있다. 본 연구에서는 행 간 지연 시간과 센서의 판독 방향을 이용하여 화소 밝기 신호를 시간 주파수 영역에서 시간 이동시키고, 공통 시각으로 정렬하는 행 시각 보정을 제안한다. 보정 영상에 기존 복소 조향 피라미드(Complex Steerable Pyramid, CSP) 기반 PMM 을 적용하였다[2]. 보정은 화소 밝기 신호가 Nyquist 주파수 미만으로 대역 제한된 조건에서 성립함을 보이고, 이 조건을 벗어나는 경우의 잔차와 RS 가 POD 에 유발하는 부가 성분을 정량화하였다. RS 를 모사한 단일 주파수 정상상태, 다중 주파수, 과도 응답의 합성 영상과 스마트폰 120 fps 에서 촬영한 외팔보 영상으로 검증하였다. 34 Hz 가진 실측 영상의 위상 추출 결과에서 공간 위상 왜곡의 저감을 확인하였다. 합성 검증에서는 Nyquist 주파수 초과 성분과 밝기– 변위 비선형성에 따른 고조파의 알리아싱이 보정 후에도 잔차로 남음을 확인하여, 제안 기법의 적용 범위와 한계를 제시하였다.

[1] André, H., Leclère, Q., et al., 2021, “Using a smartphone camera to analyse rotating and vibrating systems: Feedback on the SURVISHNO 2019 contest,” Mechanical Systems and Signal Processing, Vol. 154, 107553. [2] Wadhwa, N., Rubinstein, M., Durand, F. and Freeman, W. T., 2013, "Phase-based Video Motion Processing," ACM Transactions on Graphics, Vol. 32, No. 4, 80.