Multi-Frame GAN: Image Enhancement for Stereo Visual Odometry in Low Light (MLR 2020)

Abstract

밝은 이미지에 대한 Pair data없이 어두운 이미지에서 밝은 이미지를 만들어낼 수 있는 Multi-frame GAN을 제안

 

그 와중 coherent geometric cue를 translate하는 도중 보존하기 위하여, novel network와 loss function을 제안

 

위 그림과 같이 어두운 stereo 이미지에서 MFGAN을 통하여 밝은 이미지를 만들어 낼 수 있다. MFGAN으로 만들어낸 이미지를 기존 method와 같이 사용하면, 오른쪽 아래 그림과 같이 좋은 tracjectory를 추출할 수 있다.

Method

 

X: low-light, Y: Good-light, 3개의 sequence input

 

Loss function

L_gen에서 y'가 realistic 한 data를 만들도록, L_disc 에서 y는 realistic한 밝은 이미지 

 

 

(5) cycle loss, (6) temporal loss (연속된 이미지의 temporal 관계를 warping으로 학습), (7) left-right image 관계를 warping으로 학습

실제로 만들어낸 결과