Глубокое обучение от A до Z · 3-4

Речь — как дрожание воздуха становится матрицей чисел

Звук — это колебания воздуха. Если измерять эти колебания через равные промежутки (дискретизация), записывать их по заранее заданным делениям (квантование), нарезать короткими кусками (окно), разложить, колебания какой высоты в них смешаны (преобразование Фурье), и снова сгруппировать по шкале, которая, как человеческое ухо, различает низкие звуки подробнее (мел), получится матрица чисел, которую читает нейросеть. Все звуки на этой странице синтезируются прямо в ней.

Автор: Сансон Ан (генеральный директор M-Robo) · Об авторе

1949Статья Шеннона, сформулировавшая теорему отсчётов [R1]
8,000 → 1,960Столько чисел остаётся от 1 секунды звука (8 kHz) в мел-матрице
6.02 dBНасколько улучшается отношение сигнал/шум при добавлении одного бита квантования
25 ms · 10 msДлина окна и шаг окна на этой странице
20 полосЧисло мел-фильтров (на этой странице)
2 примеракода, которые сразу запускаются в Colab
1Колебания

Звук — это колебания воздуха

Когда диффузор динамика колеблется вперёд-назад, воздух то сгущается, то разрежается, и эти волны расходятся. Сколько раз в секунду идёт колебание — это высота звука (частота), а насколько сильно — громкость (амплитуда).

Звук
Громкость
2Дискретизация

Дискретизация — сколько раз в секунду измерять

Число измерений ≥ 2 × самая высокая частотаShannon, 1949

Измерений в секунду

Пояснение для начинающих

Чтобы правильно передать колебание, за одно колебание нужно сделать хотя бы два измерения. Если измерять fs раз в секунду, можно передать частоты только до fs/2 Hz (предел Найквиста), а более быстрые колебания выглядят как совсем другие, медленные колебания (алиасинг) [R1]. Человеческое ухо слышит примерно до 20 000 Hz, поэтому музыкальный CD измеряет звук 44 100 раз в секунду. Телефону достаточно передать речь, поэтому он использует 8 000 раз. Мел-спектрограмма на этой странице тоже использует 8 000 раз (8 kHz). Поэтому звуки выше 4 000 Hz она передать не может. Настоящая звукозаписывающая аппаратура перед дискретизацией отфильтровывает звуки выше предела.

3Квантование

Квантование — на линейке со сколькими делениями записывать измеренное

Измеренное значение — вещественное число с бесконечными знаками после запятой. Чтобы его сохранить, нужно округлить его до ближайшего из заданных делений. При b битах делений 2b. Разница, возникающая при округлении, — это шум квантования.

Число битов
4Нарезка и окно

Нарезка и окно — режем коротко, края сглаживаем

Речь меняется каждое мгновение. Поэтому её нарезают кусками по 25 ms, анализируют каждый кусок отдельно и повторяют, сдвигаясь на 10 ms. Умножение, которое плавно уменьшает оба конца вырезанного куска, называется «окном».

Форма окна

Зачем уменьшать края

Если просто вырезать кусок, на его концах значения резко обрываются. Преобразование Фурье считает так, будто этот кусок бесконечно повторяется. Поэтому резкий скачок в месте обрыва «утекает» в частоты, которых изначально не было (утечка). Окно Ханна умножает кусок на кривую, которая плавно поднимается от 0 до 1 и опускается обратно (0.5 − 0.5·cos), и делает оба конца равными 0. Плата за это — пик становится немного шире. 25 ms·10 ms — значения, часто используемые в анализе речи; в зависимости от задачи их меняют.

5Преобразование Фурье

Преобразование Фурье — раскладываем смешанные колебания по высоте

Любой звук можно представить как сумму синусоид разной высоты. Преобразование Фурье принимает форму волны и возвращает ответ на вопрос «сколько в ней составляющей с частотой столько-то Hz». Это похоже на то, как призма раскладывает белый свет в радугу.

Звук
6Мел-спектрограмма

Мел-спектрограмма — матрица чисел, сгруппированная по шкале человеческого уха

мел = 2595 · log10(1 + Hz / 700)«до-ре-ми-фа» 1 секунда → 98 кадров × 20 полос

Кадр

Пояснение для начинающих

Человеческое ухо хорошо различает небольшую разницу между низкими звуками (100 Hz и 200 Hz), но ту же разницу между высокими звуками (3 000 Hz и 3 100 Hz) различает плохо. Мел-шкала делит низкие частоты густо, а высокие — редко. Если сгруппировать результат преобразования Фурье (129 полос) 20 треугольными фильтрами этой шкалы и взять логарифм (децибелы), получится мел-спектрограмма. Формула выше — одно из широко используемых определений. Признаки на основе мел-шкалы (MFCC) показали в распознавании речи лучшие результаты, чем другие признаки, и долго использовались как стандарт [R2].

7Как читает модель

Как читает модель — как картинку или по порядку

Мел-спектрограмма — это матрица чисел «частота × время». Нейросеть читает её двумя способами. Подробное устройство разобрано в предыдущих частях.

Способ чтения

Код для Colab — запустите эту страницу сами

Оба примера используют только библиотеки, предустановленные в Colab. Нажмите «Скачать блокнот (.ipynb)» и откройте его в Colab через Файл → Загрузить блокнот или скопируйте код и вставьте в ячейку нового блокнота.

Код 1 · Как звук становится матрицей чисел — шаг за шагом на NumPyСвязан с разделами 2–6 · numpy, matplotlib · CPU 1 с

Вычисляем дискретизацию, квантование, окно, преобразование Фурье и мел-спектрограмму без библиотек. Получаются те же числа, что на странице (алиасинг 3 Hz, утечка 7.95% → 0.05%, значения мел-полос). Чтобы подставить свои данные, измените SIGNAL и FS.

Результат запуска (запуск 2026-10-03, numpy 2.4 · matplotlib 3.10 · CPU). В расчёте нет случайности, поэтому результат всегда одинаков.
Код 2 · Та же мел-спектрограмма с помощью librosaСвязан с разделом 6 · numpy, librosa, matplotlib · CPU несколько секунд

С помощью librosa, которую используют на практике, превращаем тот же звук в мел-спектрограмму и сравниваем с результатом, сделанным вручную. Чтобы использовать файл записи, следуйте строке [Чтобы подставить свои данные] в коде (файл готовит каждый сам).

Результат выполнения (запуск 2026-10-03, librosa 1.0 · numpy 2.4 · CPU). librosa нарезает кадры по длине FFT (256), поэтому кадров на один меньше (97). Остальные числа почти совпадают (корреляция 0.998).

Промпты для ИИ — этот код как отправная точка

Это промпты, которые можно вставить в ИИ-помощника вроде ChatGPT, Qwen или Claude. Если нажать «Копировать», после промпта будет добавлен выбранный код. Замените текст в 〔 〕 на свою ситуацию.

Код, который добавить

Ответ ИИ — лишь отправная точка. Предложенные статьи, числа и функции библиотек обязательно проверяйте по первоисточникам и официальной документации. Если для конкурса или статьи вы пользовались помощью ИИ, укажите факт и объём использования согласно правилам организаторов и журнала.

Глоссарий

Это тот же словарь, что и жёлтое пунктирное подчёркивание в тексте. Во всей серии используются одни и те же обозначения. Нажмите на название раздела, чтобы перейти к месту первого упоминания.

Собрание аналогий — и где аналогии ошибаются

Аналогия — первый шаг к пониманию, но и семя заблуждения. Для аналогий с дрозофилой и мозгом указана сила. Прямая есть данные, что это действительно делает то же самое · Частичная похожи лишь некоторые свойства · Нет соответствие неизвестно

ПонятиеБытовая аналогияАналогия с дрозофилой и мозгомГде аналогия ошибается
ДискретизацияФотографировать бегущего человека раз в секундуЧастично Фасеточный глаз дрозофилы тоже успевает за изменениями яркости лишь с определённой скоростьюФотография запечатлевает мгновение, а отсчёт — лишь значение через заданный интервал. Движение быстрее интервала выглядит неверно (алиасинг)
КвантованиеИзмерять рост линейкой с делениями по 1 cmНетДеления линейки равномерны, а в реальном аудио деления задаются числом битов
ОкноРазмыть края фотографии (виньетирование)НетОкно умножают не для красоты, а чтобы уменьшить ложные частоты, возникающие на обрезанных краях
Преобразование ФурьеПризма раскладывает свет в радугуНапрямую Улитка человеческого уха в разных местах откликается на звуки разной высоты и так раскладывает звук по высотеУлитка раскладывает звук непрерывно во времени и откликается на изменение громкости нелинейно. Преобразование Фурье вычисляет один вырезанный кусок за раз
Мел-шкалаКлавиатура фортепиано: при каждом удвоении высоты — одинаковый интервалЧастично Интервалы высоты звука, как их ощущает человекФормул мела несколько, и люди слышат по-разному. Формула на этой странице — лишь одна из широко используемых
Мел-спектрограммаНотная запись: время (по горизонтали) × высота (по вертикали)НетВ нотах записана каждая нота, а спектрограмма записывает в каждую ячейку всю энергию, включая обертоны и шум

Об авторе и источники

E-1 Об авторе · E-2 Научные источники · E-3 Материалы к рисункам

E-1 Об авторе

Сансон Ан (генеральный директор M-Robo)

Работал в Корейской корпорации электробезопасности и газете «Мэиль Кёндже» (Maeil Business Newspaper), а затем основал M-Robo — внешнее венчурное предприятие «Мэиль Кёндже», где сейчас является генеральным директором. M-Robo — медиавенчур, начинавший как внутренний стартап СМИ: он предоставлял газете «Кукмин Ильбо» робота-журналиста (StockBot) и выполнил множество проектов для Корейского агентства интернета и безопасности (KISA), Корейского фонда прессы, Корейского агентства по продвижению радиовещания и связи и других организаций. Сейчас компания развивает собственное ИИ-новостное издание Money-Robo. За время руководства компанией выиграл Asia Open Data Hackathon и дважды получил награду министра внутренних дел и безопасности за вклад в сфере дата-стартапов; является изобретателем и правообладателем 5 патентов в области искусственного интеллекта и блокчейна. Автор книги «Преступления с ИИ и самозащита»; разрабатывал электронные учебные курсы по финтеху, статистике и искусственному интеллекту для Онлайн-института непрерывного образования Корейского технологического и образовательного университета (KOREATECH). Высшая учёная степень — доктор экономических наук (Университет Тонгук, микроэкономика с математическими методами). Преподаёт дисциплины, связанные с данными и искусственным интеллектом, в нескольких университетах, в том числе в Университете Кукмин и Университете Хосо. Подробный профиль

Лекции

  • Сансон Ан (2025). Конспект лекций «Наука о данных для бизнеса». Кафедра конвергенции искусственного интеллекта, Открытый кибер-университет Кореи.
  • Сансон Ан (2025). [K-Digital] Обработка естественного языка с помощью ИИ. STEP (Платформа интеллектуального профессионального обучения), Онлайн-институт непрерывного образования Корейского технологического и образовательного университета.
  • Сансон Ан (2024). [K-Digital] Основы анализа финтех-данных. STEP (Платформа интеллектуального профессионального обучения), Онлайн-институт непрерывного образования Корейского технологического и образовательного университета.

Курсы на STEP: link.step.or.kr/1qyVoJ · link.step.or.kr/M9na9N · link.step.or.kr/brqEyc
Если из-за обновления сайта ссылки не открываются, заходите на www.step.or.kr.

Статьи и доклады

  • Сансон Ан (2025). Модель прогнозирования расходов домохозяйств на основе панельных данных о пенсионном обеспечении (KReIS): подход на основе моделей искусственного интеллекта. «Будущее общество» (Mirae Sahoe), 16(2). Полный текст
  • Сансон Ан (2025). Модель прогнозирования расходов домохозяйств на основе панельных данных о пенсионном обеспечении (KReIS): подход с использованием ИИ. Доклад на научной конференции по панельному исследованию пенсионного обеспечения (2025.05.13), Национальный институт пенсионных исследований, Национальная пенсионная служба Кореи. Материалы доклада
  • Сансон Ан (2025). Алгоритм обнаружения подозрительных сделок с наркотиками по текстам в соцсетях: анализ шаблонов и контекста. «Будущее общество» (Mirae Sahoe), 16(1). Полный текст
  • Сансон Ан (2024). Статистический подход к противодействию состязательным данным для защиты моделей обнаружения аномалий в финансовой сфере: эмпирический анализ и результаты моделирования. «Будущее общество» (Mirae Sahoe), 15(3). Полный текст
  • Сансон Ан (2024). Решение на основе ИИ для обнаружения публикаций в соцсетях по характеристикам виртуальных персонажей. Стендовый доклад на 2024 Summer Newmedia Party (2024.06.19), Сеульский университет медиа (аспирантура).
  • Сансон Ан (2024). Модель машинного обучения на панельных данных о производственном травматизме. Стендовый доклад на 10-й научной конференции по панели страхования от несчастных случаев на производстве (2024.05.17), Институт социального обеспечения работников, Корейская служба социального обеспечения работников.
  • Сансон Ан (2024). Анализ и прогнозирование временных рядов виртуальных активов: сравнение моделей временных рядов и моделей ИИ, предложения по улучшению. «Будущее общество» (Mirae Sahoe), 15(1). Полный текст

E-2 Научные источники

  1. [R1] Shannon, C. E. (1949). Communication in the presence of noise. Proceedings of the IRE, 37(1), 10–21. doi:10.1109/JRPROC.1949.232969 — вступление, раздел 2 (теорема отсчётов)
  2. [R2] Davis, S. B., & Mermelstein, P. (1980). Comparison of parametric representations for monosyllabic word recognition in continuously spoken sentences. IEEE Transactions on Acoustics, Speech, and Signal Processing, 28(4), 357–366. — раздел 6 (мел-частотные кепстральные коэффициенты показали лучшее качество распознавания среди сравниваемых признаков)

E-3 Материалы к рисункам

Все звуки синтезированы на странице (без записей).

  • Формула мел-шкалы 2595·log₁₀(1 + f/700) и окно 25 ms·10 ms — общепринятые значения в обработке речи. Некоторые библиотеки используют другие определения (например, вариант Slaney), поэтому в коде 2 мы привели их к тому же определению

Советы преподавателю

Практические рекомендации для преподавателей, наставников по OJT (обучению на рабочем месте) и тьюторов. Время указано ориентировочно — подстраивайте его под реальное занятие.

АудиторияСтуденты и практики, которые собираются работать с речевыми и звуковыми данными (записи колл-центра, шум оборудования, голосовые команды)
Предварительные знанияСинусоида и логарифм. Если вы знаете «фотография — это сетка чисел» из 3-3, разделы 6·7 будут проще
Цели обучения① Объяснить на числах, что теряется при дискретизации и квантовании ② По порядку объяснить, как звук через окно, преобразование Фурье и мел-фильтры становится матрицей ③ Различать два способа, которыми CNN и последовательные модели читают мел-матрицу
Ориентировочное времяЧтение 35–45 минут · анимации и звуковые демонстрации 20 минут · практика в Colab 25 минут (код 1 — 15 минут, код 2 — 10 минут)

Три варианта занятия

Лекция, 50 мин

Упор на понятия

Вступление 5 минут (раздел 1, прослушивание) → раздел 2, алиасинг, 10 минут → раздел 3, сравнение звука по битам, 10 минут → разделы 4·5 15 минут → раздел 6, матрица чисел, 5 минут → проверочные вопросы 5 минут.

OJT на рабочем месте, 90 мин

Упор на применение в работе

Сопоставить разделы 2·3 с параметрами записи своего оборудования (частота дискретизации, биты) 15 минут → разделы 4–6 25 минут → загрузить свой файл записи в код 2 30 минут → обсуждение «наши данные — для CNN или для последовательной модели?» 20 минут.

Индивидуальные занятия

Темп по уровню

Новичкам — только разделы 1·2·5·6. Слушателям среднего уровня — вручную вычислить одну ячейку mel_filterbank из кода 1 и сравнить с рисунком треугольников фильтров на странице.

Ключевые моменты по разделам

РазделВопрос, на котором стоит остановитьсяСовет по управлению
1 Колебания«Во сколько раз быстрее колеблется 440 Hz по сравнению с 220 Hz? Как это звучит?»Дать прослушать два тона по очереди (если звука нет, проверьте громкость устройства)
2 Дискретизация«Почему при 8 измерениях в секунду видно 3 Hz?»Нажимать по порядку 50 → 12 → 8 раз
3 Квантование«Чем на слух отличается звук в 3 бита от звука в 16 бит?»Дать прослушать в 3 битах и в 16 битах
4 Нарезка и окно«Почему при простом вырезании появляются частоты, которых не было?»Переключать прямоугольное ↔ Hann и смотреть на «юбку» на нижнем графике
5 Преобразование Фурье«Почему одно и то же „до“ у фортепиано и скрипки звучит по-разному?»Дать прослушать сначала чистый тон, затем звук инструмента, и сравнить число пиков
6 Мел-спектрограмма«Во сколько чисел превратилась 1 секунда звука?»Нажимать кадры от «до» к «фа» и смотреть, как самая яркая ячейка смещается вверх
7 Как читает модель«Какой способ подходит для классификации звонка в дверь, а какой — для расшифровки речи?»Переключать два способа по очереди

Топ-5 частых заблуждений

ЗаблуждениеВерное объяснениеЧто показать
Чем больше измерений, тем всегда лучшеДостаточно удвоенной самой высокой частоты, которую нужно передать. Сверх этого растёт только объём хранения12 раз в разделе 2 (5 Hz передаётся)
Если битов мало, звук становится тишеРастёт не громкость, а шум. Каждый бит делает звук чище примерно на 6 dBРаздел 3
Преобразование Фурье анализирует весь звук сразуОно выполняется отдельно для каждого короткого куска (кадра). Поэтому можно видеть изменения во времениРазделы 4·6
Спектрограмма — это картинка, значит, с ней можно обращаться как с фотографиейГоризонталь (время) и вертикаль (частота) имеют разный смысл. Сдвиг по вертикали даёт другой звукРаздел 7
Мел-спектрограмма сохраняет звук полностьюЭто сжатая сводка, в которой отброшены фаза и тонкая частотная информация (8,000 → 1,960)Раздел 6, числовая сводка

Проверочные вопросы (нажмите, чтобы раскрыть разбор)

Q1. Какую самую высокую частоту можно передать при частоте дискретизации 8 000 Hz?

8 000 ÷ 2 = 4 000 Hz (предел Найквиста).

Q2. Если колебание 5 Hz измерять 8 раз в секунду, какой частотой оно покажется?

|5 − 8| = 3 Hz. Предел (4 Hz) превышен, возникает алиасинг.

Q3. Какова теоретическая разница SNR между 8 и 16 битами?

6.02 × (16 − 8) ≈ 48 dB. Теоретические значения — 49.92 dB и 98.08 dB.

Q4. Сколько кадров получится, если звук 8 kHz длиной 1 секунда нарезать окном 25 ms (200 отсчётов) с шагом 10 ms (80 отсчётов)?

(8 000 − 200) ÷ 80 + 1 = 98 (дробную часть отбрасываем, затем прибавляем 1).

Q5. Сколько чисел в матрице 98 кадров × 20 мел-полос и какую долю это составляет от чисел исходного звука?

1 960. 8 000 ÷ 1 960 ≈ 4.1, то есть примерно четверть.

Задания в Colab

Базовое

Измените в коде 1 NMEL с 20 на 40, а FRAME с 200 на 400. Напишите в трёх предложениях, как меняются размер и вид мел-матрицы, связав это с компромиссом между разрешением по времени и разрешением по частоте.

Повышенной сложности

Запустите код 2 на файле с записью своего голоса или звука оборудования (файл готовит каждый сам, соблюдайте защиту персональных данных). Запишите один и тот же звук дважды, сравните, насколько похожи мел-матрицы, по коэффициенту корреляции и напишите, что создаёт разницу.

Настройка сложности и что изучить дальше

НачинающимРазделы 3·4 можно пропустить без потери связности. Обязательно послушайте звуки в разделах 1·5
УглублённоПоручите исследовать, как длина окна, шаг и число мел-полос влияют на качество распознавания. Найденные статьи проверяйте по оригиналу
Что изучить дальшеСансон Ан, конспект лекций «Наука о данных для бизнеса» (наука о данных в целом) · STEP [K-Digital] Обработка естественного языка с помощью ИИ (связано с 3-5·3-8) · STEP [K-Digital] Основы анализа финтех-данных (связано с 3-6)
Материалы для преподавателяКритерии оценки проверочных вопросов и примеры ответов к заданиям — на странице ответов для преподавателей (3-4)

Отличная работа!

Вы дочитали часть «3-4 Речь» до конца. Обитатели лаборатории подведут итог — каждый по одной фразе.

Профессор
ПрофессорМы прошли весь путь, как колебания воздуха становятся матрицей чисел.
  • Звук можно передать только до половины числа измерений в секунду
  • Если нарезать окнами и применить преобразование Фурье, звук раскладывается по высоте
  • 8 000 чисел одной секунды звука превращаются в 1 960 чисел мел-матрицы
Ассистентка
АссистенткаОт 3-битного звука болят уши!
Муха-исследователь
Муха-исследовательА моё жужжание тоже переведите в мел-матрицу, пожалуйста.