치와와 vs 머핀 — 저수준 특징은 속고, 고수준 특징이 가른다

둥근 갈색 덩어리에 검은 점 세 개. 치와와와 머핀은 픽셀 하나, 평균 색, 픽셀 거리 어느 잣대로 재도 서로 가장 닮았다. 어두운 점을 찾는 저수준 특징이 두 사진에서 똑같이 반응하는 것을 보고, 해상도를 낮추면 무엇부터 사라지는지, 픽셀 규칙이 왜 엉뚱한 배경 칸을 고르는지 확인한다. 마지막으로 모델이 틀리는 세 가지 방식과 시리즈 전체를 정리한다.

글 · 안상선 ((주)M-Robo 대표) · 저자 소개

61.4치와와 ↔ 머핀 픽셀 거리 (강아지 71.0보다 가까움)

3개두 사진에서 똑같이 잡히는 어두운 점

5.81 · 5.83%직접 만든 그림의 어두운 곳 넓이 (코드 1)

61.3%픽셀 규칙의 새 그림 정확도 (코드 1)

96 → 53%해상도 8×8 → 2×2 정확도 (코드 2)

2개Colab에서 바로 돌리는 코드

1문제

치와와 vs 머핀 — 사람도 잠깐 헷갈리는 쌍

둥근 갈색 덩어리에 검은 점 세 개. 눈 두 개와 코, 블루베리 세 알이 거의 같은 자리에 있다. 숫자로도 이 둘은 닮았을까?

치와와 얼굴 사진과 블루베리 머핀 사진이 세 줄 네 칸으로 번갈아 놓인 모음 — 저자가 직접 만든 이미지. 널리 알려진 "치와와냐 머핀이냐" 인터넷 밈의 아이디어를 바탕으로 했다.

이 쌍은 이미지 분류의 어려움을 보여 주는 대표적인 예입니다. 사람도 작은 썸네일로 빠르게 보면 잠깐 헷갈립니다. 공통점은 저수준 특징(둥근 덩어리, 베이지·갈색, 어두운 점 세 개의 삼각형 배치)이고, 차이는 고수준 특징(눈동자의 반사점, 촉촉한 코의 광택, 털 결 대 빵 결, 귀 대 종이 컵 주름)입니다.

이 편은 4-1~4-3의 도구를 모두 꺼내 이 쌍을 해부합니다. 숫자로 얼마나 닮았나(섹션 2), 저수준 특징은 왜 속나(섹션 3), 해상도를 낮추면(섹션 4), 픽셀 규칙 대 패턴(섹션 5), 그리고 모델이 틀리는 방식과 한계(섹션 6)를 보고, 시리즈 전체를 한 장으로 정리합니다(섹션 7).

초보자를 위한 풀이

"치와와냐 머핀이냐"는 2016년 무렵 인터넷에서 널리 퍼진 사진 모음에서 나온 말로, 이후 이미지 인식의 어려움을 설명하는 예로 자주 쓰입니다. 이 페이지의 이미지는 같은 아이디어로 저자가 새로 만든 것입니다.

2숫자로는

숫자로는 거의 같다 — 픽셀·평균 색·거리

눈동자 칸과 블루베리 칸, 두 사진의 평균 색, 흑백 픽셀 거리를 잰다. 숫자의 잣대로는 치와와의 가장 가까운 친구가 머핀이다.

1숫자로 보면 · 눈 칸과 블루베리 칸

	치와와	머핀	차이
어두운 칸 하나 (R, G, B) · 14 × 14로 줄였을 때	눈 (39, 37, 43)	블루베리 (37, 31, 37)	거의 같음
사진 전체의 평균 색 (R, G, B)	(189, 162, 138)	(189, 164, 136)	거의 같음
흑백 픽셀 거리 (56 × 56)	치와와 ↔ 머핀 61.4 · 치와와 ↔ 강아지 71.0 · 치와와 ↔ 고양이 87.8		머핀이 가장 가까움

픽셀 하나, 평균 색, 픽셀 거리 어느 잣대로 재도 치와와는 머핀과 가장 닮았습니다. 4-2에서 본 대로 이 잣대들은 "무엇이 찍혔나"를 모르기 때문입니다. 아래 표에서 다섯 장의 거리를 모두 확인할 수 있습니다.

2픽셀 거리 표: 치와와는 누구와 가까운가 이 페이지 사진 기준

이 페이지의 다섯 사진끼리 픽셀 거리를 모두 쟀습니다. 숫자가 작을수록 "닮았다"고 계산된 것입니다. 가장 작은 값에는 색을 칠했습니다.

이 표의 값은 이 페이지의 다섯 장(얼굴 부분만 잘라 56 × 56으로 줄인 것)으로 잰 것입니다. 다른 사진을 쓰면 배경·조명·구도에 따라 값이 크게 달라지지만, "픽셀 거리가 뜻의 거리와 다르다"는 결론은 실제 사진에서도 널리 알려진 성질입니다.

초보자를 위한 풀이

이 결과는 "모델이 바보라서" 생기는 것이 아닙니다. 숫자를 비교하는 가장 단순한 방법들이 뜻이 아니라 겉모습을 재기 때문입니다. 겉모습이 닮도록 만든 이 모음에서 그 한계가 가장 크게 드러납니다. 실제 사진에서는 배경·구도가 제각각이라 숫자가 덜 닮을 수 있지만, 같은 원리의 함정은 그대로 있습니다.

3저수준 특징

저수준 특징은 속는다 — 어두운 점 세 개

"주변보다 어두운 둥근 점"을 찾는 필터를 두 사진에 똑같이 적용한다. 두 사진 모두 점 세 개가 거의 같은 삼각형으로 잡힌다.

③치와와 vs 머핀 어려움

"어두운 점" 보기에서 두 사진 모두 검은 점 세 개가 거의 같은 삼각형 배치로 잡힙니다. 치와와는 두 눈과 코, 머핀은 블루베리 세 알입니다. 평균 색도 둘 다 베이지·갈색입니다. 앞쪽 층의 특징만 쓰는 모델에게 이 둘은 같은 사진입니다.

주의 이 모음은 "헷갈리는 쌍"을 보여 주려고 비슷한 구도(정면, 흰 배경)로 만든 이미지입니다. 그래서 닮음이 아무렇게나 찍은 사진보다 더 두드러질 수 있습니다. 실제 치와와·머핀 사진에서도 같은 현상이 널리 알려져 있지만, 정도는 사진마다 다릅니다.

해상도를 7 × 7로 낮춰 보면 사람 눈에도 구분이 어려워집니다. 모델이 작은 사진만 보고 학습했다면 같은 일이 모델에게도 일어납니다.

둘을 가르는 단서는 더 미묘합니다. 눈동자에 비친 작은 흰 반사점, 코의 촉촉한 광택, 가는 털 결 대 부슬부슬한 빵 결, 머리 위 귀와 종이 컵의 주름, 그리고 세 점이 늘 좌우 대칭인지(블루베리는 제멋대로)가 그것입니다. 이것을 보려면 뒤쪽 층의 특징과 다양한 사진이 필요합니다.

초보자를 위한 풀이

"어두운 점" 보기는 흐림 정도가 다른 두 사진의 차이(DoG)로 둥근 어두운 덩어리를 찾습니다. CNN의 앞쪽 층이 찾는 저수준 특징과 같은 종류입니다. 이 층까지만 보는 모델에게 치와와와 머핀은 같은 사진입니다. 코드 1에서도 직접 만든 치와와형·머핀형 그림의 "어두운 곳 넓이"가 5.81%와 5.83%로 같았습니다.

4해상도

해상도를 낮추면 — 작은 단서부터 사라진다

같은 사진을 7 × 7, 14 × 14, 28 × 28로 줄여 본다. 해상도는 모델에게 주는 정보의 양이다.

1해상도 실험 · 7 × 7부터 올려 보기

처음에는 7 × 7입니다. 사람 눈에도 둘은 거의 구분이 안 됩니다. 14, 28, 56으로 올리며 무엇이 먼저 보이기 시작하는지 적어 보세요. 대개 치와와의 귀 윤곽과 머핀 컵의 세로 주름이 먼저, 눈의 반사점과 털 결은 가장 나중에 보입니다.

해상도를 낮추면 숫자 개수(특징 수)가 줄고, 작은 단서부터 사라집니다. 저수준 특징(점 세 개)은 낮은 해상도에서도 살아남지만, 둘을 가르는 고수준 특징은 높은 해상도가 있어야 보입니다.

2Colab 코드 2의 결과 · 해상도를 낮추면 무엇부터 헷갈리나

해상도	특징 수	시험 정확도	가장 많이 헷갈린 쌍 (정답→예측: 횟수)
8 × 8	64	96.2%	8→1: 4, 4→1: 2, 3→9: 2
4 × 4	16	89.8%	8→1: 14, 1→8: 6, 1→9: 3
2 × 2	4	53.4%	0→8: 20, 2→4: 17, 1→9: 16

손글씨 숫자를 칸 평균으로 줄이고 같은 분류기(로지스틱 회귀)로 시험했습니다. 해상도가 낮아질수록 모양이 닮은 쌍(8과 1, 0과 8)부터 헷갈립니다. 치와와와 머핀도 같습니다. 작은 사진만으로 학습하면 모델은 둘을 가를 단서를 아예 받지 못합니다.

초보자를 위한 풀이

해상도는 표의 칸 수입니다. 칸이 적으면 계산은 싸지만 작은 단서가 사라집니다. 실제 모델도 입력 크기(예: 224 × 224)를 정해 두고 사진을 줄여 넣기 때문에, 작은 차이가 중요한 문제(작은 불량, 먼 거리의 표지판)에서는 해상도 선택이 성능을 크게 좌우합니다.

5규칙 대 패턴

픽셀 규칙은 엉뚱한 칸을 고른다 — 칸이 아니라 배치에 뜻이 있다

4-1의 "변수 하나 > 기준값" 규칙을 사진에 쓰면, 컴퓨터는 784칸 중 우연히 잘 맞은 배경 칸을 고른다. 특징 맵에서 패턴을 뽑으면 새 사진에서도 맞힌다.

1픽셀 규칙 대 특징 패턴 · 같은 사진에서

4-1에서 물고기는 "변수 하나 > 기준값" 규칙 한 줄로 끝났습니다. 같은 방법을 사진의 784칸에 적용하면 어떻게 될까요? 규칙과 패턴은 "학습용" 80장에서 찾고, 학습에 쓰지 않은 "새 사진" 80장으로 확인합니다.

사진 · 픽셀 → 패턴

① 같은 방식으로 "픽셀 하나 > 기준값" 규칙을 784칸 전부에서 찾아봅니다.

버튼을 누르면 가장 잘 맞히는 픽셀 규칙을 찾습니다.

② 필터로 특징 맵을 만들고, 맵 전체에서 패턴을 요약합니다.

예시

사진

어두운 곳 맵

윗부분 경계 맵

"새 사진"은 같은 12장을 학습용과 다르게 밀고 밝기를 바꿔 만든 것이라, 완전히 다른 사진으로 하는 시험보다 쉽습니다. ②의 두 필터는 사람이 고른 것이고, CNN은 이런 필터 수십~수백 개를 데이터로 배웁니다.

2Colab 코드 1의 결과 · 직접 만든 그림으로 재현

코드 1은 실제 사진 대신 코드로 "치와와형"과 "머핀형" 28 × 28 그림을 만듭니다. 둘 다 베이지 원과 검은 점 3개를 갖고, 차이는 귀(위쪽)와 종이 컵 주름(아래쪽)뿐입니다.

결과: 픽셀 규칙은 학습용 73.8% → 새 그림 61.3%로 떨어졌고, 고른 칸은 그림 아래쪽 가장자리였습니다. 저수준 특징인 어두운 곳 넓이는 두 종류가 같았고(5.81% 대 5.83%), 부분 패턴(아래쪽 세로 주름 세기, 위쪽 경계 세기)으로는 새 그림에서도 96.3%를 맞혔습니다. 실제 사진 실습과 같은 결론이 나옵니다.

초보자를 위한 풀이

픽셀 규칙이 배경 칸을 고르는 것은 지름길 학습의 작은 예입니다. 학습 사진에서 정답과 우연히 함께 나타나는 쉬운 단서를 잡은 것입니다. 사람에게는 "치와와와 상관없는 칸"이 뻔히 보이지만, 모델은 그 칸이 정답을 잘 맞힌다는 사실만 압니다.

6고수준 특징과 한계

고수준 특징이 가르는 것 — 그리고 모델이 틀리는 방식

둘을 가르는 단서는 반사점, 털 결, 귀, 컵 주름처럼 뒤쪽 층에서야 보인다. 그 단서를 배우지 못한 모델은 어떻게 틀릴까?

1층이 깊어질수록 찾는 것이 커진다

풀링으로 사진을 줄여 가며 층을 쌓으면, 뒤쪽 층의 한 칸은 원래 사진의 더 넓은 영역을 봅니다. 그래서 앞쪽 층은 작은 선을, 뒤쪽 층은 선의 조합인 눈과 귀를, 더 뒤쪽 층은 얼굴 전체를 찾게 됩니다. 이 그림은 Zeiler와 Fergus(2014)가 학습된 CNN의 층별 반응을 시각화해 보인 경향을 단순하게 옮긴 것입니다.

2모델은 어떻게 틀리나 · 지름길, 낯선 사진, 지나친 확신

지름길 학습. 모델은 정답을 맞히는 가장 쉬운 단서를 잡습니다. 학습 사진의 머핀이 늘 흰 접시 위에 있었다면 "흰 배경"을, 치와와가 늘 실내에 있었다면 "실내 조명"을 배울 수 있습니다. 학습 데이터에서는 잘 맞지만 조건이 바뀌면 무너집니다 [R5]. 섹션 5의 픽셀 규칙이 그 작은 예입니다.

낯선 사진(분포 변화). 학습 때 보지 못한 조건, 예를 들어 옆모습의 치와와, 초콜릿 칩 머핀, 어두운 조명에서는 정확도가 크게 떨어질 수 있습니다. 시험 점수는 "학습 사진과 비슷한 사진"에서의 점수일 뿐입니다 [R6].

지나친 확신. 소프트맥스 확률 0.99는 "99% 맞는다"는 뜻이 아닙니다. 모델은 틀릴 때도 높은 확률을 낼 수 있어서, 중요한 결정에는 확률이 실제 정답률과 맞는지 따로 확인(보정)해야 합니다 [R7].

그래서 필요한 것. 헷갈리는 쌍이 충분히 들어간 데이터, 다양한 조건(배경·각도·조명)의 사진, 충분한 해상도, 데이터 증강(4-3), 그리고 모델이 무엇을 보고 판단했는지 확인하는 습관입니다.

⚖같은 기준으로 비교

대결	난이도	겉보기 공통점	결정적 차이(특징)	주로 가르는 층
고양이 vs 사람	쉬움	얼굴, 눈 두 개	얼굴 가운데 털 결, 뾰족한 귀, 줄무늬, 코 모양	1~2층부터 갈림
고양이 vs 강아지	보통	털, 눈 두 개, 세운 귀	주둥이 길이, 코 크기, 얼굴 윤곽	3층 이후(부분의 모양)
치와와 vs 머핀	어려움	갈색 둥근 덩어리, 검은 점 세 개	눈의 반사점, 털 결 vs 빵 결, 귀 vs 종이 컵, 대칭성	뒤쪽 층(미세한 질감 + 전체 배치)

어려운 쌍일수록 필요한 것: 더 많은 사진(특히 헷갈리는 사진), 충분한 해상도, 더 뒤쪽 층, 그리고 CutMix 같은 데이터 증강.

✓확인 문제

Q1. 고양이 vs 사람이 쉬운 대결인 이유로 가장 알맞은 것은?

Q2. Attentive CutMix에서 고양이 조각 10칸을 강아지 그림에 붙였다면, 섞은 그림의 정답은?

Q3. 치와와 vs 머핀이 어려운 이유를 이 페이지의 말로 가장 잘 설명한 것은?

초보자를 위한 풀이

층별 그림의 오른쪽 끝, "배치 전체로 판단"하는 단계까지 가야 이 쌍이 갈립니다. 그만큼 많은 데이터와 깊은 모델이 필요하고, 그만큼 모델이 엉뚱한 단서에 기댈 여지도 커집니다. 성능 숫자와 함께 틀린 사진을 직접 들여다보는 것이 이미지 분류에서 가장 중요한 습관입니다.

7시리즈 정리

한 장으로 잇기 — 사진 한 장이 답이 되고, 답이 모델을 고치기까지

네 편의 내용을 한 흐름으로 잇는다. 칸을 누르면 해당 편의 설명으로 이동한다.

사진
고양이? 강아지?

앞으로 가기 · 예측 만들기

픽셀 행렬X: 56×56×3한 줄로
펼치기특징 벡터 + 타겟x ∈ ℝ⁹⁴⁰⁸, y좌표
바꾸기합성곱 + ReLUF = max(0, X∗K)특징
지도풀링 · 반복7×7×64펼치기완전연결 + 소프트맥스p = softmax(Wh+b)

뒤로 가기 · 고치기

손실L = −log p_정답기울기
역전파W 수정W ← W − η∂L/∂W더 앞
층으로필터 K 수정K ← K − η∂L/∂K

반복
손실이 충분히 작아질 때까지

같은 기준으로 비교

개념	한 줄 정의	대표 수식	없으면 생기는 일
픽셀 행렬	사진을 칸마다 0~255 숫자로 적은 표	X ∈ {0…255}^H×W×3	컴퓨터가 사진을 계산할 방법이 없음
특징 · 타겟	표의 한 줄 = 샘플, 칸 = 특징, 정답 칸 = 타겟	(x, y), x ∈ ℝᵈ	무엇을 보고 무엇을 맞힐지 정할 수 없음
선형 분류기 (퍼셉트론·선형 SVM)	특징 공간에 평면 하나를 그음	w · x + b > 0	경계를 정할 수 없음. 단, 이것만으로는 픽셀 사진이 잘 안 나뉨
합성곱 필터	작은 숫자 표로 무늬를 찾는 도장	Σ K·X + b	픽셀을 하나씩 따로 봐서 뜻을 못 찾음
특징 맵	무늬가 어디 얼마나 있는지 적은 새 행렬	F = ReLU(X∗K)	다음 층이 조합할 재료가 없음
풀링	가장 강한 반응만 남기고 크기를 줄임	max(2×2)	계산이 많고, 한 칸 이동에도 흔들림
완전연결 + 소프트맥스	특징을 모아 점수를 내고 확률로 바꿈	e^z_k/Σe^z_j	특징은 찾았는데 답을 고르지 못함
데이터 증강	사진을 바꾸거나 섞어 학습 예시를 늘림	CutMix, 뒤집기, 자르기	외운 사진만 맞히고 새 사진에서 틀림

시리즈 핵심 네 줄

1. 컴퓨터가 사진에서 읽는 가장 작은 정보는 픽셀 한 칸의 채널 값 하나(0~255)이며, 사진 전체는 세로 × 가로 × 3개의 숫자로 된 행렬입니다.
2. 사진을 한 줄로 펼치면 물고기 표와 같은 분류 데이터가 되지만, 픽셀 칸 하나에는 뜻이 없어 평면 하나(퍼셉트론·선형 SVM)로는 잘 나뉘지 않습니다. 그래서 CNN은 3 × 3 필터로 경계 → 모양 → 부분 → 전체 순서의 특징을 학습해 좌표를 바꿉니다.
3. 마지막 특징을 퍼셉트론 층과 소프트맥스로 확률로 바꾸고, 틀린 만큼 필터와 가중치를 고칩니다. 치와와와 머핀처럼 저수준 특징이 같은 쌍은 뒤쪽 층과 많은 데이터가 있어야 갈립니다.
4. 저수준 특징이 같은 쌍(치와와와 머핀)은 고수준 특징이 있어야 갈리고, 모델은 지름길 단서·낯선 사진·지나친 확신으로 틀릴 수 있습니다. 성능 숫자와 함께 틀린 사진을 들여다봅니다.

초보자를 위한 풀이

4-1은 뜻 있는 변수로 규칙과 경계를, 4-2는 사진이 숫자 행렬이고 필터가 무늬를 찾는다는 것을, 4-3은 층을 쌓아 좌표를 바꾸고 데이터를 섞어 배우는 법을, 4-4는 그래도 남는 어려움과 한계를 다뤘습니다. 다른 분류 문제를 만나면 "이 데이터의 칸에는 뜻이 있나? 없다면 어떤 패턴이 뜻을 만드나?"부터 물어보세요.

Colab 코드 — 이 페이지를 직접 실행해 보기

두 코드 모두 Colab에 기본으로 설치된 라이브러리와 내장 데이터만 쓴다. "노트북(.ipynb) 내려받기" 후 Colab에서 파일 → 노트북 업로드로 열거나, 복사해서 새 노트북 칸에 붙여 넣는다.

코드 1 · 픽셀 규칙은 왜 엉뚱한 칸을 고르나 — 합성 그림으로 재현섹션 3·5와 연결 · numpy, scipy, matplotlib · CPU 수 초

코드로 치와와형·머핀형 28 × 28 그림을 만들어, 픽셀 하나짜리 규칙, 어두운 점 필터, 부분 패턴 두 개를 비교한다. 내 데이터로 바꾸려면 draw()를 내 사진 불러오기로 바꾸고, pattern()의 영역을 내 사진에 맞춘다.

실행 결과 (2026-10-04 실행, numpy 2.4 · scipy 1.17 · CPU). 난수 시드를 고정해 언제 실행해도 같다.

코드 2 · 해상도를 낮추면 무엇부터 헷갈리나섹션 4와 연결 · numpy, scikit-learn (데이터 내장) · CPU 수 초

손글씨 숫자 8 × 8을 4 × 4, 2 × 2로 줄여 같은 분류기의 정확도와, 가장 많이 헷갈린 숫자 쌍을 해상도별로 본다.

실행 결과 (2026-10-04 실행, scikit-learn 1.8 · CPU). 데이터 나누기의 random_state를 바꾸면 숫자가 조금 달라진다.

AI 응용 프롬프트 — 이 코드를 출발점으로 삼기

ChatGPT, Qwen, Claude 같은 AI 도우미에 붙여 넣는 프롬프트다. "복사"를 누르면 프롬프트 뒤에 고른 코드가 함께 붙는다. 〔〕 안을 내 상황으로 바꿔 쓰면 된다.

함께 붙일 코드

AI의 답은 출발점일 뿐이다. 제안된 논문·수치·라이브러리 함수는 반드시 원문과 공식 문서로 확인한다. 공모전·논문에 AI 도움을 받았다면 주최 측과 학술지의 규정에 따라 사용 사실과 범위를 밝힌다.

용어 정리

본문의 노란 점선 밑줄과 같은 사전이다. 시리즈 전체에서 같은 표기를 쓴다. 섹션 이름을 누르면 처음 나온 곳으로 간다.

비유 모음 — 그리고 비유가 틀리는 지점

비유는 이해의 첫걸음이지만 오해의 씨앗도 된다. 사람의 눈·뇌 비유에는 강도를 표시했다. 직접 실제로 같은 일을 한다는 근거가 있음 · 부분 일부 성질만 닮음 · 없음 대응하는 것이 알려지지 않음

개념	일상 비유	사람의 눈·뇌 비유	비유가 틀리는 지점
저수준 특징	멀리서 본 실루엣	부분 사람도 짧게 흘끗 보면 윤곽과 덩어리로 먼저 판단한다	사람은 곧바로 맥락(접시, 목줄)과 기억을 끌어온다. 앞쪽 층만 보는 모델에는 그런 보완이 없다
고수준 특징	가까이 다가가 알아본 얼굴	부분 고차 시각 영역에는 얼굴처럼 복잡한 모양에 반응하는 부분이 있다	모델의 고수준 특징이 꼭 사람이 이름 붙일 수 있는 "눈", "귀"인 것은 아니다
해상도	모눈종이의 칸 수	부분 눈도 시야의 가운데만 자세히 본다	눈은 필요한 곳으로 시선을 옮겨 자세히 보지만, 모델은 정해진 크기로 줄인 사진 한 장만 본다
지름길 학습	시험지 모서리 얼룩으로 답을 외운 학생	없음	학생은 외웠다는 것을 알지만, 모델은 자신이 어떤 단서를 쓰는지 모른다
지나친 확신	"99% 확실해!"라고 말하는 초보 운전자	없음	모델의 확률은 감정이 아니라 계산값이다. 보정하면 실제 정답률에 맞출 수 있다

저자 소개와 레퍼런스

E-1 저자 소개 · E-2 학술 레퍼런스 · E-3 그림·데이터 참고 자료

E-1 저자 소개

안상선 ((주)M-Robo 대표)

한국전기안전공사, 매일경제신문을 거쳐 현재 매일경제 사외벤처 (주)M-Robo를 창업해 대표로 재직하고 있다. (주)M-Robo는 언론사 사내 벤처로 시작한 미디어 벤처로, 국민일보에 로봇기자(스톡봇)을 서비스 했으며, 한국인터넷진흥원, 한국언론진흥재단, 한국방송통신전파진흥원 등에서 다수의 프로젝트를 진행했다. 이후 자체 A.I 뉴스 신문인 Money-Robo를 서비스 중이다. 대표 재직 중 아시아오픈 데이터 해커톤 우승, 데이터창업 분야 공로로 행정안전부 장관상을 2회 수상했으며, 인공지능 및 블록체인 분야에 대한 5개 특허 발명 및 등록자이다. 저서로는 “AI범죄와 자기방어”가 있으며, 핀테크분야, 통계학, 인공지능 분야에 대해서 한국기술교육대학교 온라인평생교육원 이러닝 콘텐츠 개발을 진행했다. 최종학위는 경제학 박사(동국대, 미시수리경제학)이다. 국민대학교, 호서대학교 등 여러 대학교에서 데이터 및 인공지능과 관련한 과목을 강의하고 있다. 자세한 프로필

강의

안상선 (2025). 「비즈니스를 위한 데이터 과학」 강의안. 한국열린사이버대학교 인공지능융합학과.
안상선 (2025). [K-디지털] 인공지능 자연어 처리. STEP(스마트직업훈련플랫폼), 한국기술교육대학교 온라인평생교육원.
안상선 (2024). [K-디지털] 핀테크 데이터 분석 기초. STEP(스마트직업훈련플랫폼), 한국기술교육대학교 온라인평생교육원.

STEP 강의 바로가기: link.step.or.kr/1qyVoJ · link.step.or.kr/M9na9N · link.step.or.kr/brqEyc
사이트 개편으로 접속이 원활하지 않을 경우에는 www.step.or.kr로 접속 바랍니다.

논문과 발표

안상선 (2025). 국민노후보장패널데이터를 활용한 가구지출 예측 모델 연구: 인공지능 모델 기반 접근. 「미래사회」, 16(2). 원문
안상선 (2025). 국민노후보장패널데이터를 활용한 가구지출 예측 모델 연구: 인공지능 접근. 국민노후보장패널 학술대회 발표자료(2025.05.13), 국민연금공단 국민연금연구원. 발표자료
안상선 (2025). SNS 텍스트 기반 마약 의심 거래 탐지 알고리즘에 대한 연구: 패턴 및 맥락 분석을 중심으로. 「미래사회」, 16(1). 원문
안상선 (2024). 금융분야의 이상탐지 모델 보안을 위한 통계 기반의 적대적 데이터 대응 방안: 실증적 분석과 시뮬레이션 결과. 「미래사회」, 15(3). 원문
안상선 (2024). 인공지능을 활용한 가상 캐릭터 특성 기반 SNS 포스팅 탐지 솔루션. 2024 Summer Newmedia Party 포스터 발표(2024.06.19), 서울미디어대학원대학교.
안상선 (2024). 산업재해 패널 데이터를 활용한 머신러닝 모델. 제10회 산재보험패널 학술대회 포스터 발표(2024.05.17), 근로복지공단 근로복지연구원.
안상선 (2024). 가상 자산 시계열 데이터의 분석과 예측: 시계열 모델 및 인공지능 모델의 비교, 개선점 제시. 「미래사회」, 15(1). 원문

E-2 학술 레퍼런스

[R1] Zeiler, M. D., & Fergus, R. (2014). Visualizing and understanding convolutional networks. ECCV 2014. — 섹션 6
[R2] Lowe, D. G. (2004). Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision, 60(2), 91–110. — 섹션 3 (흐림의 차이로 점을 찾는 방법)
[R3] Alpaydin, E., & Kaynak, C. (1998). Optical recognition of handwritten digits [Dataset]. UCI Machine Learning Repository. — 코드 2
[R4] LeCun, Y., Bottou, L., Bengio, Y., & Haffner, P. (1998). Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11), 2278–2324. — 섹션 4
[R5] Geirhos, R., Jacobsen, J.-H., Michaelis, C., Zemel, R., Brendel, W., Bethge, M., & Wichmann, F. A. (2020). Shortcut learning in deep neural networks. Nature Machine Intelligence, 2, 665–673. — 섹션 5·6
[R6] Hendrycks, D., & Dietterich, T. (2019). Benchmarking neural network robustness to common corruptions and perturbations. ICLR 2019. — 섹션 6
[R7] Guo, C., Pleiss, G., Sun, Y., & Weinberger, K. Q. (2017). On calibration of modern neural networks. ICML 2017. — 섹션 6
[R8] Walawalkar, D., Shen, Z., Liu, Z., & Savvides, M. (2020). Attentive CutMix. ICASSP 2020. — 섹션 6의 비교표

E-3 그림·데이터 참고 자료

섹션 1의 이미지는 저자가 직접 만든 것이다. "치와와냐 머핀이냐"는 널리 알려진 인터넷 밈의 아이디어다
섹션 2~4의 치와와·머핀 사진은 이 이미지에서 얼굴 부분을 잘라 줄인 것이다
섹션 5의 사진 80장은 이미지 12장을 위치·밝기만 바꿔 늘린 것이고, ②의 두 필터는 사람이 고른 것이다
섹션 6의 층별 그림은 [R1]이 보인 경향을 단순하게 옮긴 개념 도식이다

교육자를 위한 TIP

강사, 실무 OJT 담당자, 튜터를 위한 운영 안내다. 시간은 예상치이므로 실제 수업에 맞춰 조정한다.

대상	4-1~4-3을 마친 대학생·직장인. 이미지 AI를 업무에 들이기 전에 "어디서 틀리는지" 알고 싶은 실무자
선수 지식	4-2의 픽셀 거리·필터, 4-3의 CNN·데이터 증강
학습 목표	① 저수준 특징과 고수준 특징의 차이를 예로 설명한다 ② 해상도와 픽셀 규칙이 분류에 주는 영향을 실험 결과로 설명한다 ③ 지름길 학습·분포 변화·지나친 확신을 구별하고 대응을 말한다
예상 시간	읽기 40~50분 · 실습 시연 25분 · Colab 실습 25분 (코드 1 15분, 코드 2 10분)

운영안 세 가지

강의형 50분

개념 중심

도입 5분(섹션 1) → 섹션 2·3 숫자와 저수준 특징 15분 → 섹션 4 해상도 10분 → 섹션 6 한계 15분 → 확인 문제 5분.

실무 OJT 90분

업무 적용 중심

섹션 1을 우리 업무의 "헷갈리는 쌍"으로 바꿔 찾기 15분 → 섹션 5 픽셀 규칙이 배경을 고르는 이유 토론 15분 → 섹션 6 세 가지 실패를 우리 데이터에 대입 25분 → 코드 1을 우리 사진 구도로 바꿔 실행 35분.

1:1 튜터링

수준별 진도

입문자는 섹션 1·2·3·6만. 중급자는 코드 1의 pattern()을 바꿔 귀 패턴만으로 얼마나 가르는지 실험하고, 섹션 6의 보정(calibration)을 조사해 요약하게 한다.

섹션별 운영 포인트

섹션	멈춰서 물어볼 질문	조작 팁
1 문제	"사람은 어떤 단서로 가를까?"	이미지를 크게 띄워 반사점·귀·컵을 짚는다
2 숫자로는	"치와와의 가장 가까운 친구는 누구일까?"	거리 표에서 행마다 가장 작은 값을 본다
3 저수준 특징	"점 세 개가 같으면 모델은 무엇으로 가를까?"	"어두운 점" 보기에서 번호 위치를 비교한다
4 해상도	"무엇이 먼저 보이기 시작하나?"	7 → 14 → 28 → 56 순서로 누른다
5 규칙 대 패턴	"규칙이 고른 칸은 치와와와 상관있나?"	"픽셀 규칙 자동 찾기" 후 표시된 칸을 본다
6 한계	"시험 점수 95%면 현장에서도 95%일까?"	세 가지 실패 중 우리 업무에 가장 위험한 것을 고른다
7 시리즈 정리	"이 데이터의 칸에는 뜻이 있나?"	흐름도의 칸을 눌러 네 편을 오간다

흔한 오해 Top 5

오해	바른 설명	보여 줄 장면
헷갈리는 건 모델이 멍청해서다	숫자 잣대로는 실제로 닮았다. 고수준 특징을 배울 데이터와 구조가 필요하다	섹션 2의 표
해상도는 높을수록 무조건 좋다	계산·메모리가 늘고 데이터가 더 필요하다. 문제에 필요한 단서의 크기에 맞춘다	섹션 4와 코드 2
정확도가 높으면 올바른 단서를 봤다	배경 같은 지름길 단서로도 높은 점수가 나온다	섹션 5의 픽셀 규칙
확률 0.99면 거의 확실하다	모델은 틀릴 때도 높은 확률을 낼 수 있다. 보정이 필요하다	섹션 6의 지나친 확신
데이터를 더 모으면 다 해결된다	같은 조건의 데이터만 늘리면 낯선 사진 문제는 남는다. 다양성이 중요하다	섹션 6의 분포 변화

확인 문제 (해설은 눌러서 펼치기)

Q1. 치와와 눈 칸 (39, 37, 43)과 블루베리 칸 (37, 31, 37)의 흑백 밝기는?

치와와 0.299×39 + 0.587×37 + 0.114×43 ≈ 38.3, 블루베리 0.299×37 + 0.587×31 + 0.114×37 ≈ 33.5. 거의 같다.

Q2. 저수준 특징만 보는 모델이 치와와와 머핀을 못 가르는 이유는?

두 사진 모두 둥근 덩어리와 어두운 점 세 개의 삼각형 배치를 가져, 앞쪽 층의 반응이 거의 같기 때문이다.

Q3. 코드 2에서 해상도 4 × 4일 때 가장 많이 헷갈린 쌍과 그 이유는?

8→1(14번). 칸이 16개로 줄면 8의 두 고리와 1의 세로획이 비슷한 밝기 분포가 된다.

Q4. 픽셀 규칙이 사진 가장자리 배경 칸을 고른 것은 어떤 현상의 예인가?

지름길 학습. 정답과 우연히 함께 나타나는 쉬운 단서를 잡은 것이다.

Q5. 시험 정확도 95%인 모델을 현장에 쓰기 전에 확인할 것 두 가지는?

현장 사진이 학습·시험 사진과 같은 조건인지(분포 변화)와, 모델의 확률이 실제 정답률과 맞는지(보정). 틀린 사진을 직접 보는 것도 필요하다.

Colab 과제

기본

코드 1에서 머핀형의 컵 주름을 지우고(cup 부분 삭제) 다시 실행해, 부분 패턴의 새 그림 정확도가 어떻게 변하는지 보고 섹션 6의 지름길 학습과 연결해 설명한다.

도전

코드 2에 해상도 8 × 8에서 흐림(가우시안)을 넣은 경우를 추가해, "칸 수를 줄이기"와 "흐리게 하기" 중 어느 쪽이 정확도를 더 떨어뜨리는지 비교한다.

난이도 조절과 더 배우기

입문자	섹션 4의 코드 결과 표와 섹션 5의 ②는 건너뛰어도 된다. 섹션 2·3·6을 확실히 이해한다
심화	지름길 학습 사례를 조사해(의료 영상, 자율 주행 등) 발표하게 한다. 조사한 논문은 원문으로 확인한다
더 배우기	4-1~4-3 · 3-3 이미지와 CNN · 안상선, 「비즈니스를 위한 데이터 과학」 강의안
강사용 자료	확인 문제의 채점 기준과 과제 예시 답안은 교육자용 정답 페이지 (4-4)에서 볼 수 있다

수고하셨습니다!

「4-4 치와와 vs 머핀」 편을 끝까지 읽었어요. 연구실 식구들이 한마디씩 정리해 드립니다.

연구실 불을 끄며 문 앞에서 작별 인사를 하는 연구실 식구 넷의 픽셀 아트

박사「AI는 이미지를 어떻게 구분할까?」 시리즈를 마쳤어요.

칸에 뜻이 있으면 규칙, 없으면 패턴
저수준 특징은 속고 고수준 특징이 가른다
점수와 함께 틀린 사진을 들여다본다

조수픽셀 규칙이 배경 칸을 골랐을 때 깜짝 놀랐어요!

초파리 연구원완주 축하! 이제 우리 데이터의 "치와와와 머핀"을 찾아봐.