두 나선 신경망 — 직선 하나 vs 은닉층

파란 점과 주황 점이 서로 감긴 두 나선입니다. 은닉층이 없는 모델은 평면에 직선 하나만 그을 수 있어서, 아무리 학습해도 절반쯤만 맞힙니다. 은닉층을 넣으면 경계가 휘기 시작해 나선을 따라 감깁니다. 화면 속 모델은 지금 이 브라우저에서 실제로 학습하고 있습니다.

모델

은닉층 뉴런 수 (층마다)

학습률

점의 흩어짐(노이즈)

학습 속도

무슨 일이 일어나고 있나

배경 색은 모델이 그 자리를 어느 쪽으로 보는지(파랑 ↔ 주황), 흰 선은 반반으로 갈리는 경계입니다. 점 위의 색과 배경 색이 같으면 맞힌 것입니다.

직선 하나는 입력 두 개(가로·세로 좌표)에 가중치를 곱해 더한 값 하나로 판단합니다. 그래서 경계가 늘 곧은 선이고, 서로 감긴 나선은 어떻게 그어도 절반씩 섞입니다.

신경망은 그 계산을 여러 개(은닉층 뉴런) 한 뒤 휘는 함수(tanh)를 거쳐 다시 합칩니다. 곧은 선 여러 개를 구부려 이어 붙이는 셈이라 경계가 휘고, 층을 쌓을수록 더 복잡한 모양을 그립니다. 이것이 딥러닝의 “깊이”가 하는 일입니다.

뉴런을 4개로 줄여 보세요. 경계가 나선을 다 따라가지 못합니다. 학습률을 0.08로 올리면 빨리 맞히다가 흔들리기도 합니다.