transpose와 dot product에 대하여

해당 게시물은 "혁펜하임의 AI DEEP DIVE"를 수강하고 작성되었습니다.

---

행렬의 전치(Transpose)란, $\begin{bmatrix}
a_{11} & a_{12} \\
a_{21} & a_{22} \\
\end{bmatrix}$ 와 같은 행렬이 주어졌을 때, 행과 열을 바꾸는 것 즉,  $\begin{bmatrix}
a_{11} & a_{21} \\
a_{12} & a_{22} \\
\end{bmatrix}$ 로 바꾸는 것이다.

 

기호로는 $ {\begin{bmatrix}
a_{11} & a_{12} \\
a_{21} & a_{22} \\
\end{bmatrix}}^T$와 같이 나타낸다.

 

행렬 전치의 중요한 성질 중 하나는 ${(ax)^T}=x^Ta^T$와 같이 다항식에 전치를 취하면 순서가 바뀐다.

 

딥러닝에서는 행렬곱 시 곱셈 가능한 행렬의 크기를 맞춰주기 위해 행렬 전치를 주로 사용한다.

$d^{2x1}$의 차원을 가지는 행렬과  $d^{2x1}$의 차원을 가지는 행렬은 행렬곱이 불가능 하기 때문에

행렬 전치를 통해 한쪽 행렬의 차원을 $d^{1x2}$로 바꾼다면 행렬곱이 가능해진다.

 

---

 

행렬의 내적(Dot Product)는 아래와 같이 계산할 수 있다.

$\begin{bmatrix}
x_1 \\ x_2
\end{bmatrix} \cdot \begin{bmatrix}
y_1 \\ y_2
\end{bmatrix} = x_1y_1+x_2y_2$

그리고 이는 간단하게 $x^Ty$ 로 나타낼 수 있다.

 

내적의 의미는 "닮은 정도" 이다.

$\begin{bmatrix}
x_1 \\ x_2
\end{bmatrix} \cdot \begin{bmatrix}
y_1 \\ y_2
\end{bmatrix} = x_1y_1+x_2y_2$ 는 $\left\|x \right\|\left\|y \right\|cos\theta$ 로 나타낼 수 있는데, $\theta$는 벡터$x$와 벡터$y$가 이루는 사잇각이다. 

 

$\theta$가0에 수렴할 수록 $cos\theta$는 1이 된다. 이는, 같은 방향일 때 (가장 닮았을 때) 내적값이 가장 크다는 것을 의미한다.