MISSION 5-1인식★☆☆☆☆
CCTV 쓰레기 투기
사람을 막대 인형으로 바꿔 잡는다
지령 새벽 두 시, 골목에 캔을 던지고 사라진 사람이 있다. 화면의 숫자 6백만 개에서 "버리는 동작"을 먼저 알아채라.
장비 객체 검출 · 포즈 추정 · 동작 특징 4개 · 규칙 대 학습 · 라이브 관제실
LOG 02:16 연구실 상황
경보가 울리고 3분 뒤의 기록입니다.
[SYSTEM] CAM-07 골목에서 무단 투기 의심 신고가 들어왔습니다. 첨부: CCTV 영상 3초, 막대 인형 자료 한 묶음, 그리고 질문 두 개.
박사일어나! 골목 CCTV야! 첫 번째 질문은 "버리는 동작을 AI가 어떻게 알아보나". 두 번째 질문은 더 재밌어. "알아본 동작을 거꾸로 만들어 낼 수 있나!" 다섯 번에 나눠서 답한다!
조수후아암… 막대 인형으로 범인을 잡는다고요? …잠깐, 마지막 미션 이름이 "춤 영상"인데 춤추는 사람이 저예요? 그건 나중에 생각할게요.
초파리 연구원순서부터 정하자. 잡고, 뒤집고, 접었다 펴고, 말과 짝짓고, 마지막에 춤! 막대 인형 하나가 처음부터 끝까지 같이 간다.
연구실 로봇커피 다섯 잔과 막대 인형 장면 900개를 준비했습니다. 미션마다 실습과 Colab 코드 두 개씩 탑재합니다.
ORDER 본부 지령서
■ 1급 긴급 · 연구실 전원
- 질문
- AI는 동작을 어떻게 알아보고, 어떻게 만들어 내는가?
- 임무
- CCTV 화면에서 사람을 막대 인형으로 바꿔 투기 동작을 잡는다(인식). 같은 막대 인형의 특징을 거꾸로 써서 동작을 만들고(생성), 인코더·디코더로 동작을 접었다 펼쳐 성능을 높이고, 단어와 동작을 짝짓는다. 마지막으로 "춤춰"라는 프롬프트가 춤추는 영상이 되기까지를 밝힌다.
- 보고 형식
- 미션마다 직접 만져 보는 실습, 초보자를 위한 풀이, 확인 문제, 실제로 돌려 본 Colab 코드 두 개
- 권장 순서
- 5-1 → 5-2 → 5-3 → 5-4 → 5-5. 앞 미션의 막대 인형을 다음 미션이 이어 쓴다
CCTV 화면→막대 인형→동작 특징→잠재 공간→단어와 짝→춤추는 영상
MISSIONS 미션 다섯 개
"미션 시작"을 누르면 해당 편으로 갑니다. 끝낸 미션에 "완료"를 표시해 두면 이 기기에 기억됩니다.
MISSION 5-2생성★★☆☆☆
알아보기에서 만들기로
특징 표의 화살표를 뒤집는다
지령 투기를 알아보던 특징으로, 이번에는 "던지기" 동작을 만들어 내라. 동작 두 개를 평균 내면 왜 팔이 늘어나는지 밝혀라.
장비 판별 대 생성 · 동작 데이터셋 · 평균 동작의 함정 · 감독관의 채점
MISSION 5-3압축★★★☆☆
인코더·디코더
동작을 접었다 펼친다
지령 숫자 1,196개를 몇 개로 접었다 펼쳐도 동작이 남을까? 잠재 공간 지도에서 걷기와 던지기 사이를 걸어 보라.
장비 오토인코더 · 병목 크기 · 잠재 공간 보간 · 복원 오차로 이상 동작 찾기
MISSION 5-4텍스트★★★★☆
단어에서 동작으로
말과 몸짓을 같은 지도에 놓는다
지령 "손 흔들기"라는 말과 손 흔드는 동작을 짝지어라. 엉켜 있던 선들이 학습하며 제 짝을 찾아가는 과정을 지켜보라.
장비 텍스트 인코더 · 대조 학습 · 단어–동작 검색 · 텍스트 조건 생성
MISSION 5-5최종 미션★★★★★
"춤춰"에서 춤 영상으로
프롬프트가 조수의 춤이 되기까지
지령 "춤춰" 한 마디가 막대 인형의 춤이 되고, 다시 조수의 춤 영상이 된다. 화면에 뜬 동작 일치율 76.5%의 정체를 밝혀라.
장비 프롬프트 → 동작 · 포즈 기반 영상 생성 · 동작 일치율 · 영상 재생기
진행0 / 5 CLEAR
KIT 미션마다 들어 있는 장비
▣ 손으로 만지는 실습
CCTV 화면을 숫자로 바꿔 보기, 검출 상자와 관절 켜고 끄기, 막대 인형 장면 재생, 기준값을 움직이는 규칙 실험, 실시간 관제실까지. 숫자가 실제로 어떻게 바뀌는지 직접 확인합니다.
▣ Colab 코드 두 개
미션마다 복사·내려받기·노트북으로 바로 여는 코드가 있습니다. Colab 기본 라이브러리만 쓰고, 실제 실행 결과를 함께 실었습니다.
▣ 풀이와 확인 문제
섹션마다 초보자를 위한 풀이, 점선 밑줄 용어 말풍선, 해설이 붙은 확인 문제가 있습니다.
▣ AI 응용 프롬프트
해커톤 계획, 공모전 기획서, 논문 실험 설계에 코드를 출발점으로 쓰는 프롬프트를 담았습니다.
▣ 비유 모음
"철사 인형 겹쳐 놓기", "심판의 비디오 판독" 같은 비유와 함께, 그 비유가 틀리는 지점도 적어 두었습니다.
▣ 교육자를 위한 TIP
강의형·실무 OJT·1:1 튜터링 운영안, 섹션별 질문, 흔한 오해 다섯 가지를 정리했습니다.
SIDE 보조 미션
◆ 사진이 숫자가 되는 과정 — 5-1의 "화면은 숫자"는 4-2 고양이 vs 사람에서 더 자세히 다룹니다.
◆ 인코더·디코더와 어텐션 — 5-3·5-4의 바탕이 되는 오토인코더와 인코더–디코더는 3-7 순서 모델, 텍스트 인코더의 뼈대는 3-8 어텐션·트랜스포머에서 미리 볼 수 있습니다.