가짜 빛으로 진짜 센서를 만들다

로봇은 세상을 센서로 봅니다. 카메라, 적외선, LiDAR, 레이더, 소나 — 각각 다른 물리(빛·열·전파·음파)로 세상을 읽습니다. 시뮬레이션에서 이 센서들을 만든다는 건, 그 물리를 진짜로 계산해 응답을 합성한다는 뜻입니다. 핵심 도구는 광선 추적(ray tracing) 입니다.

같은 장면, 다섯 가지로 본다

하나의 장면을 다섯 센서가 각자의 물리로 봅니다.

도식 렌더링 중…

• EO(가시광 카메라) — RTX path tracing으로 빛의 반사·그림자·재질을 사실적으로 렌더.
• IR(적외선) — 물체의 온도와 재질 방사율(emissivity)에 따른 열복사를 모사. 야간·연막에서 사람·엔진이 빛나는 영상.
• LiDAR — 레이저 광선을 쏘아 되돌아오는 거리를 ray-cast로 계산해 점군(point cloud) 생성. 재질에 따라 반사가 약하면 drop-out도 재현.
• Radar — 전파를 쏘아 표적의 RCS(레이더 반사 단면적)에 따른 반사를 계산.
• Sonar(수중) — 빛 대신 음파. 광선 대신 음선(ray) 을 추적합니다.

빛이 아니라 소리를 추적하다 — 수중 음향

수중에서는 빛이 거의 안 가니 소나가 눈을 대신합니다. 음파는 수온·염도·깊이에 따라 속도가 달라져 휘어집니다. 이 음선의 휘어짐과 전달손실(transmission loss)을 추적하는 게 BELLHOP 같은 음향 모델입니다.

💡 소나 방정식 — 소나의 탐지 성능은 SNR = SL − 2·TL + TS − NL − DT(능동) 같은 음향 방정식으로 계산됩니다. 여기서 전달손실(TL)이 음선 추적의 핵심 결과물입니다. 빛의 렌더링 방정식이 EO 카메라를 만들 듯, 음향 방정식이 소나를 만듭니다.

⚠️ 모달리티를 섞어 쓰면 안 된다 — 능동 소나(왕복)와 통신(편도)은 음향 방정식이 다릅니다. 왕복용 식을 편도에 쓰면 신호가 비현실적으로 약해집니다. 같은 "음향"이라도 경로 구조에 맞는 식을 써야 합니다.

왜 물리 기반이어야 하나

센서를 "대충 그럴듯하게" 만들면, 그걸로 학습한 인지(perception) 모델이 현실에서 무너집니다. 환경 변수(날씨·조도·수온)와 정합되는 물리 기반 합성이어야, 그 데이터로 키운 모델이 실제 센서에서도 통합니다. 같은 사건에 대해 여러 센서가 일관된 응답을 내는 것 — 이게 멀티센서 시뮬의 목표입니다.

한 줄 정리

📌 EO/IR/LiDAR/Radar/Sonar는 각각 빛·열·레이저·전파·음파의 물리를 광선/음선 추적으로 진짜 계산해 합성된다. EO는 렌더링 방정식, 소나는 음향 방정식 — 물리 기반이어야 그 데이터로 학습한 인지가 현실에서 통한다.