행동 계획 입문: 유한 상태 머신(FSM), 행동 트리 및 계획 기반 의사결정 과정(POMDP)은 자율주행 차량이 다음에 무엇을 할지 어떻게 결정하는가

Contents — find the section you need

"빨간불에 정지하고, 앞차를 따라가며, 옆 차선 간격이 안전할 때 차선을 변경하라"는 간단한 프로그램처럼 들립니다. 하지만 실제 도로에서는 이 세 가지 상황 모두 불확실성을 내포하고 있습니다. 신호등이 부분적으로 가려져 있을 수도 있고, 앞차가 회전하거나 정차할 수도 있으며, 옆 차선 운전자가 양보하려는 듯 보이지만 아직 속도를 줄이지 않았을 수도 있습니다. 자율주행 차량은 불완전한 관찰을 바탕으로 안전한 행동 모드를 선택한 다음, 상황 변화에 따라 지속적으로 수정해야 합니다.

행동 계획은 인지/예측과 연속적인 동작 제어 사이의 의사 결정 계층입니다. 입력값에는 차량 상태, 도로 지형, 신호, 추적 대상, 예측된 미래 상황, 경로 의도, 그리고 운영 설계 영역(ODD)이 포함됩니다. 출력값은 차선 유지, 정지, 양보, 합류, 차선 변경, 최소 위험 상황 진입과 같은 개별적인 의도와 차선, 속도, 시간, 간격에 대한 제약 조건입니다. 행동 계획은 조향각을 직접 결정해서는 안 됩니다. 하위 경로, 궤적, 제어 계층에 무엇을 달성해야 하고 무엇을 절대 위반해서는 안 되는지 알려주는 역할을 합니다.

스테레오 카메라 EyeSight 운전자 보조 시스템이 장착된 스바루 WRX S4

운전자 보조 시스템이 장착된 양산 차량의 예시

이미지: 스바루 WRX S4 2.0GT-S EyeSight (Tokumeigakarinoaoshima, CC BY-SA 4.0), Wikimedia Commons. 이 외부 사진은 여기에 논의된 제품의 내부 상태 머신이나 구현을 보여주지 않습니다.

실질적인 결론

행동 계획은 정지, 차선 유지, 합류, 차선 변경 또는 후진과 같은 기동을 선택하고, 경로 및 궤적 계획은 이를 실현하는 연속적인 움직임을 결정합니다.
유한 상태 기계는 제한된 함수에 대해 추적 가능하고 효율적이지만, 예외가 발생하면 상태 전이 폭발이 일어날 수 있습니다. 행동 트리는 우선순위와 재사용 가능한 하위 트리를 표현하지만, 공유 상태와 동시 동작으로 인해 복잡성이 숨겨질 수 있습니다.
POMDP는 확률 분포를 사용하여 가림 현상과 잠재적 의도를 표현하지만, 신뢰도 업데이트와 미래 탐색에 많은 비용이 소요됩니다. 실제 운영 시스템에서는 하나의 보편적인 방법을 선택하기보다는 규칙, 상태 기계, 최적화 및 학습된 구성 요소를 결합하는 경우가 많습니다.
인지 클래스 레이블이 명령이 되어서는 안 됩니다. 행동 계획에는 타임스탬프, 공분산, 존재 확률, 추적 이력 및 여러 예측 가설이 필요합니다.
경로 계획은 기하학적 도달 가능성을 해결하고, MPC는 연속 제약 제어를 해결합니다. 행동 계획은 목표, 제약 조건, 우선순위, 중단 기준 및 마감일을 제공하고, 실행 불가능성을 보고할 때 대응해야 합니다.
안전 증거에는 누적된 사고 없는 주행 거리뿐만 아니라 추적 가능한 요구 사항, 시나리오 범위, 경계 탐색, 오류 주입, 반사실적 분석, 폐쇄 코스 재현 및 독립적인 안전 모니터가 필요합니다.

1. 행동 상태 머신은 의사결정을 검토 가능하게 만듭니다.

다음 유한 상태 머신(FSM)은 고속도로 주행 보조 기능을 단순화합니다. 시스템은 순항 주행을 하다가 속도가 느린 앞 차량을 따라가고, 경로 요구 사항과 안전 간격을 확인한 후 차선 변경을 준비하고 실행한 다음 다시 순항 모드로 돌아갑니다. 센서 오류, ODD(Over-the-Dark) 종료 또는 계획 실행 불가능 등의 상황이 발생하면 모든 활성 상태에서 성능 저하 또는 최소 위험 기동으로 이어질 수 있습니다.

그림 1 — Duskcoil 개념적 행동 상태 머신. 교육을 위해 전환 과정을 의도적으로 단순화했습니다.

이 다이어그램은 Subaru EyeSight 또는 기타 특정 제품의 구현이나 안전 사양을 나타내는 것이 아닙니다.

유한 상태 머신(FSM)은 상태 집합 $S$ , 이벤트 또는 입력 집합 $E$ , 그리고 전이 함수

s_{t+1}=\delta(s_t,e_t)

를 가집니다.

주요 장점은 추적성입니다. 로그에는 "후방 차간 거리 TTC가 감지되어 차선 변경 준비가 중단되었습니다."와 같이 기록될 수 있습니다. 전이 테이블은 요구사항 및 테스트에 자연스럽게 매핑됩니다. 따라서 FSM은 어댑티브 크루즈 컨트롤, 차선 유지 보조, 작동 모드, 성능 저하 모드와 같은 제한된 기능에 유용합니다.

단점은 조합 문제입니다. 좌우 차선 변경, 공사 구역, 긴급 차량, 톨게이트, 센서 성능 저하, 운전자 개입 등은 상태와 전이의 폭발적인 증가를 초래합니다. 계층적 FSM, 명시적인 상태 소유권, 우선순위가 지정된 전이, 부작용 없는 가드, 타임아웃 등을 통해 이러한 폭발적인 증가를 어느 정도 방지할 수 있습니다. 차선 변경 가드는 다음과 같을 수 있습니다.

g=ODD\land RouteNeed\land GapSafe\land PerceptionFresh\land TrajectoryFeasible

이 부울 값은 제어 흐름에 유용하지만, 엔지니어는 $GapSafe$ 에 숨겨진 상대 거리, 속도, 공분산, 예측 가중치 및 최신 정보를 유지해야 합니다. 그렇지 않으면 변경된 결정을 설명할 수 없습니다.

2. 행동 트리는 우선순위와 재사용성을 표현합니다

행동 트리(BT)는 제어 노드와 리프 노드로 이루어진 트리를 평가합니다. 시퀀스는 자식 노드들이 순서대로 성공한 후에만 성공합니다. 폴백/선택기는 자식 노드 중 하나가 성공하거나 계속 실행될 때까지 시도합니다. 조건과 액션 리프 노드는 간격을 확인하거나, 궤적을 요청하거나, 폴백을 명령합니다.

트리 구조는 "정상 주행보다 교차로 처리 전에 비상 대응"과 같은 상황을 시각화하고, 팀이 안전 정지, 보호된 회전 또는 주차를 위해 하위 트리를 재사용할 수 있도록 합니다. 또한 모든 노드 간의 전환 그래프보다 확장이 더 쉬운 경우가 많습니다.

하지만 트리가 자동으로 안전한 것은 아닙니다. 루트에서부터 시작되는 반응형 트리는 노이즈가 발생하는 조건이 임계값을 넘으면 동작을 변경할 수 있습니다. 히스테리시스, 최소 체류 시간, 그리고 명확한 완료 기준이 필요합니다. 공유되는 블랙보드는 숨겨진 전역 상태가 될 수 있습니다. 실행 중인 동작이 중단되면 트리는 하위 궤적을 취소하고 오래된 명령이 남아 있지 않도록 해야 합니다. 병렬 노드에는 정의된 리소스 정책도 필요합니다. 두 동작이 독립적으로 종방향 제어를 소유할 수 없습니다.

3. POMDP는 숨겨진 의도를 나타냅니다

차선 변경 중인 운전자의 의도(양보 또는 우선 진입)는 직접 관찰할 수 없습니다. 트럭 뒤에 가려진 보행자의 의도도 마찬가지입니다. 부분 관찰 가능 마르코프 결정 프로세스(POMDP)는 상태 $s$ , 동작 $a$ , 관찰 $o$ , 전이 모델 $T(s'|s,a)$ , 관찰 모델 $O(o|s')$ , 그리고 보상 $R(s,a)$ 을 사용합니다.

직접적으로 관찰할 수 없는 상태의 경우, 계획자는 신뢰 분포 $b_t(s)=P(s_t=s\mid o_{1:t},a_{1:t-1})$ 를 유지합니다. 행동 후 관찰 $o_{t+1}$ 가 도착하면 개념적 업데이트는 다음과 같습니다.

b_{t+1}(s')=\eta O(o_{t+1}|s')\sum_s T(s'|s,a_t)b_t(s)

여기서 $\eta$ 는 확률을 정규화합니다. 계획자는 다음과 같은 정책을 찾습니다.

\pi^*=\arg\max_\pi E\left[\sum_{k=0}^{H}\gamma^k R(s_{t+k},a_{t+k})\right]

이를 최대화하는 정책 $\pi$ 를 찾습니다. 충돌 시에는 매우 큰 벌점이 부과되며, 규칙 위반, 불편함, 지연 시에는 더 작은 벌점이 부과됩니다. 불확실성이 명시적으로 드러난다는 점이 매력적입니다. "장애물 주변을 보기 위해 앞으로 나아가는" 행동은 정보량을 증가시킬 수 있습니다. 비용은 계산 및 모델링입니다. 지속적인 교통 상태, 많은 참여자, 그리고 긴 예측 기간으로 인해 정확한 해를 구하는 것은 비현실적입니다. 보상이 너무 낮으면 공격적인 행동이나 움직이지 않는 차량이 발생할 수 있습니다. 실용적인 시스템은 규칙을 통해 후보를 제한하고 온라인 검색, 몬테카를로 트리 검색, 학습된 가치 함수 또는 간결한 의도 모델과 같은 근사치를 사용합니다.

4. 하이브리드 설계는 책임을 분담합니다

방법	장점	단점	적절한 역할
유한 상태 기계(FSM) / 계층적 유한 상태 기계(FSM)	결정론적이고 추적 가능함	전이 폭발	모드, ODD, 성능 저하, 제한된 ADAS
행동 트리	우선순위, 재사용, 복구	블랙보드 및 틱 의미론	작업 구성 및 예외 처리
규칙 / 규칙집	명시적인 법적 및 안전 우선순위	모든 경우를 열거할 수 없음	엄격한 제약 조건 및 후보 순위 지정
마르코프 결정 과정(MDP) / 확률론적 모델 기반 결정 과정(POMDP)	불확실성 하에서의 미래 상호 작용	모델 및 계산 비용	병합, 교집합, 협상
모방 / 강화 학습	복잡한 상호 작용 근사	분포 변화 및 보장	제한된 ODD에서의 예측 또는 후보 생성

타당한 하이브리드 모델은 시스템 및 고장 모드에 유한 상태 머신(FSM)을, 행동 우선순위에 행동 알고리즘(BT)을, 병합 옵션 점수 매기기에 확률적 모델 기반 동적 프로그래밍(POMDP) 또는 학습 모델을, 그리고 안전하지 않은 출력을 거부하는 검증 가능한 안전 영역을 사용합니다. 학습된 구성 요소가 제안을 제시하고, 별도로 검토된 제약 조건 계층이 승인합니다. 정확한 경계는 ODD(객체 위치 지정) 및 안전 사례에 따라 달라집니다.

5. 분포를 사용하여 인식과 예측 연결

"차량이 $x,y$ 위치에 있다"는 정보만으로는 충분한 인터페이스가 아닙니다. 행동 계획에는 측정 시간, 프레임, 트랙 ID, 크기, 속도, 가속도, 존재 확률, 클래스 확률, 공분산, 가림 현상, 센서 상태 등의 정보가 필요합니다. 특징 추적(Feature Tracking)이나 광류(Optical Flow)에서 얻은 모션 데이터가 자동으로 3D 객체의 속도를 나타내는 것은 아닙니다.

객체 $i$ 의 미래 궤적을 단일 추측에 의존하는 대신, 예측은 여러 가설 모드를 유지할 수 있습니다.

P(\tau_i|z_{1:t})=\sum_m w_m P(\tau_i|m,z_{1:t}),\quad \sum_m w_m=1

$m$ 모드의 경우, 직진, 회전, 차선 변경 또는 정지를 고려할 수 있습니다. 플래너는 가장 가능성이 높은 경로뿐만 아니라 발생 확률은 낮지만 심각도가 높은 충돌도 고려해야 합니다. 공분산이 증가하면 여유를 넓히고 데이터가 오래되면 속도를 늦춰야 합니다. 트랙 ID 교환 시 한 운전자의 추론된 의도가 다른 차량으로 전달되어서는 안 됩니다.

6. 행동, 경로, 궤적 및 MPC를 양방향으로 연결

"왼쪽 차선으로 변경"은 충돌 없는 동적으로 실행 가능한 궤적이 존재한다는 것을 증명하지 않습니다. 경로 계획은 기하학적 자유 공간을 탐색합니다. 궤적 생성은 시간, 속도 및 가속도를 추가합니다. 모델 예측 제어는 차량 및 액추에이터 제약 조건 하에서 연속 제어를 최적화합니다.

대표적인 MPC 목표 함수는 다음과 같습니다.

J=\sum_{k=0}^{N-1}\left(\|x_k-x_k^{ref}\|_Q^2+\|u_k\|_R^2+\|\Delta u_k\|_S^2\right)+\|x_N-x_N^{ref}\|_P^2

행동 계획은 목표 차선, 속도 범위, 정지선, 금지 구역, 쾌적성 목표 및 완료 마감 시간을 제공합니다. 이는 $x^{ref}$ 뿐만 아니라 더 많은 정보를 포함합니다. 궤적 최적화에서 실행 불가능하다고 보고되면 행동 계획은 명령을 강제로 실행하는 대신 다른 옵션을 선택해야 합니다. 전체 루프는 다음과 같습니다.

인지 및 예측을 통해 확률적 세계 모델을 업데이트합니다.
행동 계획은 기동 후보를 생성하고 우선순위를 지정합니다.
경로 및 궤적 계획은 기하학적 및 동적 실행 가능성을 테스트합니다.
MPC는 추적 한계를 반환하면서 조향, 추진 및 제동을 계산합니다.
독립적인 안전 감독은 마감 시간, 최신성, 여유 공간 및 편차를 확인합니다.

10Hz 동작 루프는 객체 추적 데이터가 이미 300ms 이상이라면 최신 상태가 아닙니다. 전체 파이프라인에 걸쳐 획득 타임스탬프와 만료 시간을 유지해야 합니다. 시간 불일치 변환, 이전 요청에 대한 응답, 취소되지 않은 이전 궤적은 일반적인 통합 오류입니다.

7. 현재 ADAS 및 자율 주행 사례에서 실제로 보여주는 것

스바루는 EyeSight를 스테레오 카메라 인식을 중심으로 하는 운전자 보조 기술로, 충돌 방지 보조 및 차간 거리 유지와 같은 기능을 지원한다고 설명합니다. 공개된 기능 설명에는 내부 구현에서 유한 상태 머신(FSM), 블루투스(BT) 또는 학습된 의사 결정 구성 요소를 사용하는지 여부가 명시되어 있지 않습니다. 제품 별칭이 아닌 사용 설명서에 날씨, 시야, 속도, 도로 및 운전자의 의무 사항이 정의되어 있습니다.

SAE 레벨 2 고속도로 주행 보조 시스템은 운전자가 도로 상황을 지속적으로 모니터링하는 동안 조향과 속도를 동시에 제어할 수 있습니다. 미국 도로교통안전국(NHTSA)은 운전자의 조작을 보조하는 레벨 2 ADAS와 레벨 3~5 ADS를 명확하게 구분합니다. 메르세데스-벤츠 드라이브 파일럿(DRIVE PILOT)과 같은 제한적인 레벨 3 기능은 운전자가 조작하는 동안 시스템이 운전을 수행하며, 한계점에서 제어권 인계를 요청할 수 있습니다. 메르세데스-벤츠는 2025년 업데이트 버전에 대해 특정 조건 하에서 최대 95km/h까지 독일 내 승인을 받았다고 발표했지만, 이 주장은 도로, 날씨, 차량 또는 관할 구역에 일반화될 수 없습니다.

웨이모(Waymo)와 같은 지리적으로 제한된 자율주행 서비스는 행동 계획, 중복 센싱, 지도, 차량 관리, 원격 지원, ODD(Over-the-Driven) 관리 및 안전성 평가를 결합합니다. 웨이모는 충돌률 비교 자료와 다운로드 가능한 데이터를 공개하지만, 이러한 결과가 보편적인 성능을 보장하는 것은 아닙니다. 독자는 서비스 제공 도시, 도로 환경, 보고 기준, 벤치마크 구성, 주행 거리 및 신뢰 구간을 검토해야 합니다.

8. 안전은 지능을 제한하는 것을 의미합니다.

유용성이 높은 후보 행동 $a$ 이라 할지라도 안전 제약 조건 $C_j$ 을 위반하는 경우 거부되어야 합니다.

a^*=\arg\max_{a\in A_{safe}} U(a),\qquad A_{safe}=\{a\in A\mid C_j(a)\le0,\ \forall j\}

$A_{safe}$ 이 비어 있는 경우, 시스템은 계획 실패를 알리고 최소 위험 전략으로 전환해야 합니다. 제약 조건에는 충돌 여유, 보장된 정지 공간, 차선 이탈, 차량 안정성, 신호, 우선 통행권, 액추에이터 한계 등이 포함될 수 있습니다. 규칙서는 진행, 예의, 법규 준수 및 안전을 단일하고 불투명한 척도로 최적화할 수 없을 때 우선순위를 정의하는 데 도움이 됩니다.

ISO 26262는 E/E 오작동으로 인한 위험을 다룹니다. ISO 21448, SOTIF는 구성 요소 결함이 없더라도 기능 또는 사양 불충분으로 인한 불합리한 위험을 다룹니다. 예를 들어 안개 속에서의 인지 제한이나 건설 작업자의 오해된 제스처 등이 있습니다. 사이버 보안은 또 다른 차원의 문제입니다. 위조된 지도나 잘못된 V2X 입력은 오류 없는 경로 계획 시스템조차 위험으로 몰아넣을 수 있습니다. V2X 입문서에서 설명하듯이, 유효한 서명은 메시지의 물리적 진실성이 아니라 출처와 무결성을 인증하는 것입니다.

독립적인 안전 관리자는 모든 가정과 실패 가능성을 주 경로 계획 시스템과 공유해서는 안 됩니다. 충돌 시간, 주행 가능 공간, 속도, 추적 오차, 계산 마감 시간, 센서 상태 등을 모니터링하고 필요에 따라 정상적인 경로를 재정의할 수 있습니다. 주 경로 계획 시스템이 변경될 때마다 대체 경로 및 비상 경로에 대한 재검증이 필요합니다.

9. 평가는 성공률 그 이상을 요구합니다

안전: 충돌, 최소 충돌 시간, 반응 시간, 정지 여유, 심각한 회피 기동
규칙 및 사회적 상호작용: 신호, 정지선, 우선권, 양보, 공격성, 과도한 주의
편안함: 가속도, 횡가속도, 요율, 저크( $j=da/dt$ )
진행 상황: 도착률, 이동 시간, 교착 상태, 불필요한 정지, 재계획 횟수
견고성: 강우, 눈부심, 가림 현상, 지도 변경, 지연 시간, 센서 손실 시 성능 저하
추적 가능성: 재현 가능한 선택된 동작, 거부된 대안, 입력 데이터 생성 시점, 규칙/모델 버전, 안전 여유

드문 사건을 평균값에 묻어버리지 마십시오. 실패 확률( $p$ )을 독립적인 베르누이 시행으로 처리하는 간단한 상한 추정치조차도 관찰된 실패가 0건이라고 결론짓게 하지는 않습니다. 필요한 신뢰 수준과 노출도를 사전에 설정하고 시나리오 난이도를 실제 주행 분포에 맞추십시오. 공공 도로 주행 거리는 현실적인 노출을 제공하지만 드문 위험 조합을 비효율적으로 샘플링하므로 시뮬레이션, 폐쇄 코스, 로그 재생과 함께 사용하십시오.

10. 실험적 워크플로

ODD 및 책임 정의 도로 등급, 속도, 날씨, 조명, 지도, 연결성, 운전자 역할 및 레벨 0~5 책임 경계를 기록합니다. SAE 자동화 레벨 입문서를 사용하여 DDT, 객체 및 이벤트 감지 및 응답, 그리고 대체 기능을 할당합니다.
동작 어휘 정의 정지, 차선 유지, 양보, 합류, 차선 변경, 갓길 정차에 대한 명확한 진입, 완료, 중단 및 시간 초과 조건을 지정합니다.
인터페이스 확정 프레임, 타임스탬프, 공분산, 예측 모드, 궤적 ID, 취소 확인 및 계산 마감 시간을 버전 관리합니다.
결정 구조 검사 도달할 수 없는 상태, 반복, 우선순위 반전, 동시에 참인 가드, 그리고 최소 위험 조건에 도달할 수 없는 경로를 찾습니다.
불변 조건 테스트. "도달 가능한 적색 정지선을 넘지 마십시오" 및 "인지가 만료된 후 가속하지 마십시오"와 같은 속성 조건을 테스트합니다.
로그 재생. 인지 출력을 일정하게 유지하고 플래너 버전을 비교합니다. 사람의 운전 기록은 유용한 증거이지만 유일한 정답은 아닙니다.
시나리오 경계 탐색. 전환 임계값의 양쪽에서 상대 속도, 가림, 마찰, 조명 및 지연 시간을 변경하고, 변형 테스트를 사용하여 비합리적인 전환을 찾아냅니다.
결함 주입. 카메라 제거, 트랙 ID 변경, GNSS 변경, 지도 오프셋, V2X 데이터 위조, MPC 시간 초과 및 액추에이터 제한 등을 수행하고 성능 저하를 검증합니다.
단계별 배포. 시뮬레이션에서 하드웨어 인 더 루프, 폐쇄 코스, 안전 운전자 작동 및 명확한 정지 기준이 있는 제한된 서비스로 이동합니다.
가상 시나리오와 실제 상황 비교. 시뮬레이션이 개입 없이 발생할 상황을 예측할 때, 모델 오류를 파악하고 폐쇄된 코스에서 대표적인 사례를 재현합니다.
변경 사항 추적. 인지 모델 업데이트는 행동 분포를 변경합니다. 요구사항, 설계, 코드, 테스트 및 안전성 주장을 연결한 다음, 실제 종속성 그래프에서 회귀 분석 범위를 선택합니다.

최종 로그에는 "차선 변경 선택됨" 이상의 내용이 포함되어야 합니다. 타임스탬프가 찍힌 객체, 믿음 또는 예측 모드, 후보 행동, 비용, 안전 여유, 거부 사유, 선택된 행동, 후속 실행 가능성, 실제 명령 및 추적 오류를 하나의 추적 ID로 연결합니다. 그렇지 않으면 일회성 현장 결정을 재구성할 수 없습니다.

유용한 역설: 안전 운전은 때때로 진척을 보여야 합니다.

순진한 계획자는 교차로에서 영원히 기다림으로써 스크린샷에서는 충돌을 피할 수 있습니다. 하지만 실제 교통 상황에서는 지나친 망설임은 다른 차량의 통행을 방해하고, 운전자의 예상을 어기며, 위험한 추월을 유발할 수 있습니다. 반대로 다른 차량의 약간의 감속을 양보해야 한다는 구속력 있는 약속으로 받아들이는 것도 오류입니다.

다른 도로 이용자들이 자율주행 차량을 예측하고 반응하기 때문에 행동 계획 수립은 어렵습니다. 차량이 앞으로 조금씩 나아가면 다른 이용자들의 예측이 바뀌고, 그들의 반응은 자율주행 차량의 믿음을 변화시킵니다. 이러한 피드백은 조건문(if-statement)에서 출발하여 확률적 모델 기반 의사결정 과정(POMDP), 게임 이론, 그리고 학습된 정책으로 발전해 온 연구 과정을 설명해 줍니다. 하지만 실제 운영 시스템은 이러한 복잡한 과정을 검증 가능한 명제로 변환해야 합니다. 즉, 왜 주행했는지, 어떤 상황에서 멈춰야 하는지, 그리고 남은 여유는 얼마인지 등을 파악해야 합니다.

주요 및 관련 자료

이해도 확인

추월 결정이 실행되어야 할까요?

즉시 실행하시겠습니까?

예측 및 궤적 실행 가능성을 확인합니다. 동작 계층은 실행 실패를 처리하고 필요한 경우 대기 상태로 돌아가야 합니다.