CARLA Environment Evaluation

Kynkäänniemi 2019의 정의를 그대로 따른 형태

표기. 실참조 점집합 $R={r_1,\dots,r_m}$, arm 점집합 $A={a_1,\dots,a_n}$, 이웃 수 $k$. 거리 $d$는 실참조 특성별 표준편차 $\sigma_j$로 정규화한 유클리드:

$d(x,y)=\sqrt{\sum_{j}\frac{(x_j-y_j)^2}{\sigma_j^{2}}}$

$\mathrm{NN}_k(x,S)$는 $S\setminus{x}$에서 $x$의 $k$번째 최근접 이웃, $|\cdot|$은 원소 수.

1. 점별 반경 — 자기 집합 안 $k$번째 이웃까지의 거리:

$\rho_k(s,S)=d\big(s,\ \mathrm{NN}_k(s,S)\big)$

2. 다양체와 소속 — 각 점을 중심으로 한 구의 합집합, 그리고 그 안에 드는지의 판정:

$\mathcal{M}(S)=\bigcup_{s\in S}\overline{B}\big(s,\rho_k(s,S)\big),\qquad y\in\mathcal{M}(S)\iff \exists, s\in S:\ d(y,s)\le \rho_k(s,S)$

3. precision / recall — 상대 다양체 안에 든 점의 비율:

$\ \text{precision}=\frac{1}{|A|}\sum_{a\in A}\mathbb{1}\big[a\in\mathcal{M}(R)\big],\qquad \text{recall}=\frac{1}{|R|}\sum_{r\in R}\mathbb{1}\big[r\in\mathcal{M}(A)\big]$

소속 조건을 펼쳐 한 줄로 쓰면 아래와 같다.

$\text{precision}=\frac{1}{|A|}\sum_{a\in A}\mathbb{1}\Big[\exists, r\in R:\ d(a,r)\le \rho_k(r,R)\Big]$

$\text{recall}=\frac{1}{|R|}\sum_{r\in R}\mathbb{1}\Big[\exists, a\in A:\ d(r,a)\le \rho_k(a,A)\Big]$

precision은 $R$의 반경 $\rho_k(r,R)$으로 $A$의 점을 검사하고, recall은 $A$의 반경 $\rho_k(a,A)$으로 $R$의 점을 검사한다. 지표는 T/F 지시함수를 전 표본에 대해 평균낸 것이 전부이고, 유일한 자유모수는 $k$다.

실제 파이프라인은 이 전체를 속도 레짐 $g\in{\text{stopped, low, cruise}}$별로 따로 돌리므로, 정확히는 각 레짐의 부분집합 $R^{(g)},A^{(g)}$에 대해

$\text{precision}^{(g)}=\frac{1}{|A^{(g)}|}\sum_{a\in A^{(g)}}\mathbb{1}\big[a\in\mathcal{M}(R^{(g)})\big]$

처럼 레짐마다 $(\text{precision}^{(g)},\text{recall}^{(g)})$ 한 쌍씩을 냅니다. 앞서 본 표의 stopped/low/cruise 행이 각각 이 식의 결과이다.