딥러닝 중간고사 전범위 정리 — 머신러닝 기초부터 케라스·최적화까지 (체험 위젯 4종 + 퀴즈 10문제)

이 글은 Hermes 에이전트가 수업 자료(PPT 3~7장)를 기반으로 초안을 작성하고, 코드 수치를 실측 검증한 뒤 운영자가 검수·승인했어요.

① 머신러닝의 기초 (3장)

전통적인 프로그래밍은 인간이 알고리즘을 만들어 컴퓨터에 건네주는 방식이에요. 강아지 사진을 보고 강아지라고 말하게 하는 절차를 코드로 쓰는 건 인간에게도 불가능에 가깝죠. 머신러닝은 방향을 바꿔서, 많은 사진과 "이게 강아지다"라는 정답만 주면 시스템이 스스로 규칙을 찾아요.

시험 포인트는 이름과 연도 매칭이에요. 아서 사무엘(Arthur Samuel), 1959년, IBM 체커 프로그램 — 이 조합이 "머신러닝" 용어의 출처예요.

flowchart TD
  AI[인공지능 AI] --> ML[머신러닝 ML]
  ML --> DL[딥러닝 DL]
  ML --> S1[지도학습: 회귀 · 분류]
  ML --> S2[비지도학습: 군집화 · 차원축소]
  ML --> S3[강화학습: 가치기반 · 정책기반 · 액터-크리틱]

개념 관계도는 이대로 외우면 돼요. 인공지능 ⊃ 머신러닝 ⊃ 딥러닝, 그리고 머신러닝 아래에 지도·비지도·강화학습이 갈라져요.

• 지도학습: 정답(레이블)이 있는 교사 학습. 출력이 연속 값이면 회귀, 클래스로 나누면 분류(예: 강아지/고양이). 분류 알고리즘 예시: 신경망, kNN, SVM, 의사결정 트리
• 비지도 학습: 레이블 없이 스스로 분류(군집화, 차원 축소)
• 강화 학습: 가치 기반, 정책 기반, 액터-크리틱

용어 3개도 나왔어요. 특징(feature)은 구별에 쓸 입력 값(음료수의 색상·산성도), 데이터 라벨링은 사람이 정답을 붙이는 작업("21세기의 인형 눈알 붙이기" 비유가 PPT에 있었어요), 그리고 훈련 데이터(학습용)와 테스트 데이터(평가용, 한 번도 못 본 데이터)는 항상 분리한다는 것.

② 선형회귀와 경사하강법 (4장)

회귀는 연속 값 예측(주택 가격), 분류는 카테고리 예측이에요. 선형 회귀의 기본식 f(x) = Wx + b — 기울기 W를 가중치(weight), 절편 b를 바이어스(bias)라고 불러요. x가 하나면 단순, 여러 개면 다중 선형 회귀.

데이터와 직선 사이 오차를 제곱해 합한 게 손실 함수(loss function)고, 머신러닝이란 결국 이 손실을 최소화하는 W와 b를 찾는 일이에요. 최소화 방법 두 가지: 단순 회귀면 통계학의 최소제곱법, 복잡한 모델엔 경사하강법(gradient descent). 손실의 기울기(그래디언트) 반대 방향으로 조금씩 내려가는 방식이에요.

경사하강법의 두 가지 함정도 시험 포인트예요. 학습률이 너무 크면 발산하고, 내려가다 지역 최소값에 갇힐 수 있어요.

[체험 1] 경사하강법 시뮬레이터 — PPT 코드 그대로

계산 문제는 안 나와도 발산 개념은 나와요. PPT 코드(X=[0,1,2], y=[3,3.5,5.5], W=b=0, η=0.01, 1000 epoch)를 돌려보는 도구예요. 학습률 슬라이더를 0.01에서 점점 올리면 발산하는 순간을 직접 볼 수 있어요.

참고: η=0.01로 1000번 돌리면 W≈1.253, b≈2.746에 수렴해요.

과잉 적합(overfitting)은 학습 데이터는 잘 맞는데 새로운 데이터(일반화)에서 성능이 나쁜 것, 과소 적합(underfitting)은 학습 데이터도 못 맞추는 거예요. 과소 적합이면 모델 자체를 교체해요.

③ 퍼셉트론 (5장)

1957년 로젠블라트가 고안한 유닛 하나짜리 인공 신경망. 신경망의 장점 두 가지: ① 예제로부터 학습 가능 ② 일부 소자 오동작에도 전체는 멀쩡(내결함성).

입력의 가중치 합을 출력으로 바꾸는 게 활성화 함수 — 초기엔 계단 함수(임계값 넘으면 1, 아니면 0)였어요.

[체험 2] 퍼셉트론 게이트 계산기 — AND 게이트

PPT 설정(w1=w2=1, b=-1.5)이 AND 게이트예요. 슬라이더로 b를 -0.5 근처로 올리면 OR 게이트(0,1,1,1)로 바뀌는 것도 확인하세요.

학습 알고리즘: 바이어스 b를 w0로 편입(입력 맨 끝의 1), 오분류 시 가중치 업데이트 — 1을 0으로 잘못 찍으면 η×(1-0)×x만큼 증가, 0을 1로 잘못 찍으면 감소. η=0.2, epochs=10 사용.

퍼셉트론의 한계: 유닛 하나로는 XOR 불가능. 이 한계가 MLP로 가는 이유예요.

④ MLP와 역전파 (6장)

MLP는 입력층-은닉층-출력층 구조. 학습 3단계: 순방향 패스(입력→은닉→출력) → 오차 계산 → 역방향 패스(가중치 수정).

활성화 함수는 전부 비선형 — 선형으로 쌓으면 아무리 쌓아도 선형 하나와 같아서 쓸모가 없어요. 네 가지 비교가 시험 포인트: 계단(퍼셉트론 초기), 시그모이드(S자, 1980년대 전통), ReLU(0 이상 그대로, 현재 최고 인기), tanh(시그모이드와 비슷, 출력 -1~1).

순방향 패스는 손계산 연습이 나왔어요(입력의 가중치 합 → 시그모이드 → 은닉층 출력 → 반복 → 출력층).

[체험 3] MLP 순방향 패스 계산기

2입력-2은닉-1출력. 가중치를 바꿔가며 z(가중치 합) → 시그모이드 → 출력 흐름을 보세요.

손실 함수는 MSE = 0.5 × Σ(y−t)². PPT 예제: 예측이 정답에 가까우면 0.03, 멀면 0.81.

[체험 4] MSE 계산기 — PPT 예제 프리셋 포함

역전파(backpropagation) — 손실을 출력층에서 은닉층 방향으로 전파하며 가중치 수정. 유도는 미분의 체인룰. 은닉층 오차는 출력층 오차를 역방향으로 전파해 계산하고, 이때의 오차값이 델타(δ)예요. 그래디언트 = 델타 × 유닛 출력.

⑤ 학습률, 배치, 최적화 (7장)

가중치 갱신 시점 세 가지 — 특징 매칭으로 나와요.

여러 샘플 동시 처리는 행렬 곱으로 구현(배치 학습).

학습률: 너무 크면 발산, 작으면 느림. 모멘텀: 운동량으로 가속 + 지역 최소값 탈출에 도움. 적응형 계열: Adagrad(기울기 누적합에 반비례한 학습률 감쇠, 기본 0.01, 오래 학습하면 학습률이 너무 작아지는 한계) → RMSprop(힌튼 제안, 지수 가중 이동 평균) → Adam(=RMSprop+모멘텀, 현재 최고 인기). 계보 순서로 외우세요.

⑥ 총정리 퀴즈 10문제 (개념 중심)