Дистилляция знаний: как маленькие нейросети обучаются у больших моделей

Дистилляция знаний - метод обучения нейросетей, при котором большая и сложная модель передаёт часть своих знаний более компактной модели. Большая нейросеть выступает в роли учителя, а маленькая - ученика. Цель такого подхода - получить модель, которая требует меньше памяти и вычислений, но сохраняет значительную часть качества исходной системы.

Это особенно важно для современных нейросетей с миллиардами параметров. Их можно запускать на мощных серверах и специализированных ускорителях, однако использовать такие модели на смартфоне, ноутбуке или другом устройстве значительно сложнее. Дистилляция позволяет перенести часть возможностей большой модели в более лёгкую архитектуру.

Что такое дистилляция знаний в нейросетях

При обычном обучении нейросеть получает входные данные и правильные ответы. Например, модели показывают изображение кошки и сообщают, что правильный класс - "кошка". Затем алгоритм постепенно изменяет параметры сети так, чтобы вероятность правильного ответа увеличивалась.

При дистилляции знаний появляется дополнительный источник информации - уже обученная большая модель. Она анализирует те же данные и показывает маленькой модели не только конечный правильный ответ, но и собственное представление о возможных вариантах.

Например, большая нейросеть может оценить изображение следующим образом: кошка - 85%, тигр - 8%, собака - 5%, остальные варианты - 2%. В обычной обучающей выборке маленькая модель увидела бы только метку "кошка". При дистилляции она получает гораздо больше информации о том, какие объекты большая модель считает похожими друг на друга.

Почему обычного обучения маленькой модели недостаточно

Размер нейросети ограничивает количество закономерностей, которые она может хранить и использовать. Если взять небольшую архитектуру и просто обучить её на тех же данных, что и крупную модель, результат обычно окажется хуже.

Большая модель за время обучения формирует внутреннее представление о связях между объектами, словами и признаками. Часть этих закономерностей можно передать меньшей модели через её ответы.

Поэтому задача дистилляции состоит не в простом копировании результата. Маленькая модель пытается воспроизвести поведение более мощной системы и за счёт этого получить больше информации из тех же обучающих примеров.

Модель-учитель и модель-ученик

В классической схеме используются две нейросети: teacher model и student model.

Модель-учитель обычно значительно крупнее. Она уже прошла обучение и показывает высокое качество на нужной задаче. Во время дистилляции её параметры, как правило, не изменяются: она используется как источник знаний.

Модель-ученик имеет более компактную архитектуру и меньше параметров. Во время обучения она сравнивает собственные ответы не только с правильными значениями из датасета, но и с результатами модели-учителя.

Таким образом, схема "учитель и ученик" в нейросетях позволяет использовать вычислительно дорогую модель только на этапе подготовки. После обучения в реальной системе можно оставить одного ученика, который работает быстрее и требует значительно меньше ресурсов.

Как работает дистилляция знаний

Главная идея дистилляции заключается в том, что модель-ученик старается повторить не только правильные ответы, но и поведение модели-учителя. Для этого обе нейросети получают одинаковые входные данные, после чего результаты ученика сравниваются с результатами учителя.

Во время обучения ошибка рассчитывается сразу по нескольким источникам. Один показывает, насколько ответ ученика отличается от правильной метки в датасете, другой - насколько его распределение вероятностей отличается от распределения, полученного от большой модели. Затем параметры маленькой нейросети постепенно изменяются так, чтобы уменьшить обе ошибки.

Как большая модель передаёт знания маленькой

Представим задачу распознавания изображений. В датасете фотография автомобиля имеет единственную правильную метку - "автомобиль". Для обычного обучения этого достаточно: модель должна научиться выдавать максимальную вероятность нужному классу.

Модель-учитель может дать намного более подробный ответ. Например, она определит объект как автомобиль с вероятностью 90%, грузовик - 6%, автобус - 3%, а остальные классы получат менее 1%.

Именно такое распределение используется при дистилляции. Ученик видит не только правильный вариант, но и то, какие альтернативы учитель считает наиболее похожими. Благодаря этому он получает информацию о связях между классами, которой нет в обычной метке датасета.

В языковых моделях принцип похож. Вместо классов рассматриваются возможные следующие токены. Большая нейросеть может показывать ученику, какие слова или части слов считает наиболее подходящими для продолжения конкретного контекста.

Почему вероятности содержат больше информации, чем готовый ответ

Если модель сообщает только конечный ответ, большая часть информации о процессе выбора теряется. Два примера могут иметь одинаковую правильную метку, но восприниматься нейросетью совершенно по-разному.

Например, для фотографии домашней кошки учитель может практически полностью исключить остальные варианты. Для изображения крупной дикой кошки вероятность класса "тигр" или "леопард" окажется заметно выше. Обычная метка в обоих случаях может оставаться одинаковой - "кошка".

Такие вторичные вероятности иногда называют мягкими метками или soft targets. Они помогают ученику понять не только границы между правильным и неправильным ответом, но и относительное сходство разных вариантов.

За счёт этого обучение маленькой нейросети большой моделью может быть эффективнее простого обучения компактной архитектуры на исходных данных.

Температура при дистилляции

Чтобы передать ученику больше информации, распределение вероятностей учителя часто специально делают более "мягким". Для этого используется параметр temperature - температура.

При обычном режиме одна вероятность может сильно доминировать над остальными. Например, учитель выдаёт 98% для одного класса, тогда как остальные варианты получают доли процента. В таком распределении дополнительная информация почти не видна.

Повышение температуры делает вероятности менее резкими: главный вариант остаётся наиболее вероятным, но значения остальных увеличиваются. Ученику становится проще увидеть, какие альтернативы учитель считает более или менее подходящими.

После обучения повышенная температура больше не нужна. Она используется прежде всего как инструмент передачи знаний между моделями, а сама компактная нейросеть затем работает самостоятельно.

Зачем нужна дистилляция и как она помогает сжимать нейросети

Главная практическая цель дистилляции - сжатие нейросетей без необходимости полностью отказываться от качества крупной модели. Вместо того чтобы запускать сложную систему с миллиардами параметров для каждого запроса, разработчики могут обучить более компактную модель и использовать её там, где важны скорость, стоимость вычислений и ограниченный объём памяти.

При этом дистилляция отличается от простого уменьшения архитектуры. Если взять большую нейросеть и просто сократить количество слоёв или параметров, качество может заметно снизиться. В случае дистилляции маленькая модель специально обучается воспроизводить поведение более сильного учителя, поэтому часть возможностей удаётся сохранить.

Меньше параметров и требований к памяти

Количество параметров напрямую влияет на то, сколько памяти требуется для хранения и запуска модели. Чем компактнее нейросеть, тем проще разместить её в оперативной памяти или видеопамяти устройства.

Это особенно важно для смартфонов, ноутбуков, встроенных систем и других устройств, где невозможно выделить десятки гигабайт памяти под одну модель. После дистилляции нейросеть может занимать значительно меньше места и запускаться на более доступном оборудовании.

Снижаются и требования к инфраструктуре. Компактной модели обычно требуется меньше вычислительных ресурсов, поэтому один сервер способен обрабатывать больше запросов без пропорционального увеличения числа ускорителей.

Более быстрый инференс

Инференс - это этап, когда уже обученная нейросеть получает входные данные и формирует ответ. Чем больше модель, тем больше операций ей необходимо выполнить при каждом запросе.

Уменьшение числа параметров и вычислений позволяет сократить задержку. Это важно для систем, где ответ нужен практически мгновенно: голосовых ассистентов, переводчиков, распознавания изображений, чат-ботов и приложений с локальным искусственным интеллектом.

Для крупных онлайн-сервисов выигрыш выражается не только в скорости. Если один запрос требует меньше вычислений, снижаются затраты на серверы, электроэнергию и ускорители. При миллионах обращений даже небольшое уменьшение стоимости одного запуска модели становится существенным.

Что происходит с качеством модели

Дистилляция не позволяет буквально поместить все возможности большой нейросети в намного меньшую архитектуру. У модели-ученика меньше параметров, а значит, меньше вычислительной ёмкости для хранения сложных закономерностей.

Задача метода состоит в другом - сохранить наиболее полезное поведение учителя и получить приемлемый баланс между качеством и размером. Чем сильнее уменьшается модель, тем сложнее удержать исходный уровень точности.

Результат также зависит от архитектуры ученика, качества данных и способа передачи знаний. Хорошо настроенная дистилляция может дать компактную модель, которая заметно превосходит модель такого же размера, обученную только на исходном датасете.

Поэтому сжатие моделей машинного обучения с помощью дистилляции особенно полезно там, где максимальное качество не является единственным приоритетом. Иногда немного менее точная модель оказывается практичнее, если она работает быстрее, дешевле и может запускаться непосредственно на устройстве пользователя.

Дистилляция знаний в больших языковых моделях

Дистилляция особенно востребована при работе с современными большими языковыми моделями - LLM. Крупная модель может содержать десятки или сотни миллиардов параметров, поэтому её запуск требует мощных GPU, большого объёма памяти и развитой серверной инфраструктуры.

Для многих задач такая вычислительная мощность избыточна. Если приложение должно классифицировать сообщения, извлекать данные из текста, отвечать на типовые вопросы или работать локально, более компактная модель может оказаться значительно практичнее. Поэтому большую LLM используют как учителя, а на её ответах и распределениях вероятностей обучают меньшую модель.

Как создают компактные языковые модели

При дистилляции языковой модели учитель получает множество текстовых запросов и генерирует для них ответы. Эти данные затем используются при обучении ученика вместе с обычными обучающими примерами.

Передаваться могут не только готовые тексты. Если разработчики имеют доступ к внутренним результатам модели, ученик может обучаться на вероятностях отдельных токенов, промежуточных представлениях или других сигналах большой нейросети. Чем больше информации доступно от учителя, тем точнее можно попытаться воспроизвести его поведение.

В результате маленькая модель постепенно учится формировать ответы, похожие на ответы учителя, несмотря на меньший размер. При этом её архитектура необязательно должна полностью повторять большую нейросеть.

Где нужны маленькие модели

Компактные языковые модели особенно полезны там, где важны ограниченное энергопотребление и быстрый ответ. Их можно запускать на ноутбуках, смартфонах, одноплатных компьютерах и другой технике без постоянного обращения к мощному облачному серверу.

Локальный запуск также уменьшает зависимость от интернет-соединения и позволяет обрабатывать часть информации непосредственно на устройстве. Для бизнеса маленькие модели интересны ещё и тем, что позволяют обслуживать большое количество запросов при меньших требованиях к вычислительной инфраструктуре.

Подробнее различия между компактными и крупными языковыми моделями разобраны в материале Малые языковые модели (SLM) против LLM: почему компактные нейросети выбирает бизнес.

Почему маленькая модель не становится копией большой

Даже успешная дистилляция знаний LLM не превращает маленькую модель в точную копию учителя. У ученика меньше параметров и вычислительных ресурсов, поэтому он физически не способен хранить все закономерности и способности значительно более крупной сети.

Кроме того, результат зависит от того, на каких данных проходила дистилляция. Если ученик видел ответы учителя только на ограниченном наборе задач, именно в этих областях он обычно воспроизводит его поведение лучше всего. На новых или значительно более сложных запросах разница между моделями может стать заметнее.

Поэтому при дистилляции обычно стараются сохранить не абсолютно все возможности исходной LLM, а те навыки, которые наиболее важны для конкретного сценария использования. Так можно получить небольшую специализированную модель, которая заметно дешевле в работе, но достаточно хорошо решает нужный круг задач.

Дистилляция, квантизация и другие способы уменьшения нейросетей

Дистилляция знаний - не единственный способ сделать нейросеть компактнее и дешевле в работе. Для оптимизации моделей также используют квантизацию, pruning, уменьшение архитектуры и другие методы. Они решают похожую задачу, но работают по-разному.

Главное отличие дистилляции в том, что создаётся и обучается отдельная модель-ученик. Она изначально может иметь меньше слоёв, параметров и вычислительных блоков, а большая модель используется как источник знаний во время обучения.

Дистилляция и квантизация - в чём разница

При квантизации архитектура модели обычно остаётся прежней, но изменяется способ хранения и обработки её чисел. Например, вместо вычислений с 16- или 32-битными значениями могут использоваться 8-битные или ещё более компактные форматы.

Это уменьшает объём памяти и может ускорить инференс на подходящем оборудовании. Однако сама структура нейросети при этом не становится значительно проще.

Дистилляция работает иначе. Разработчики берут отдельную маленькую модель и обучают её повторять поведение большой. В результате сокращается не только точность представления чисел, но и сама вычислительная сложность модели.

Проще говоря, при квантизации стараются компактнее представить существующую нейросеть, а при дистилляции - обучить новую, более маленькую нейросеть на знаниях большой.

Количество параметров при этом играет ключевую роль в размере и возможностях модели. Подробнее эта тема разобрана в статье Параметры нейросети: что означают миллиарды параметров и почему больше не всегда лучше.

Можно ли использовать методы вместе

Дистилляция и квантизация не исключают друг друга. На практике сначала можно обучить компактного ученика с помощью большой модели, а затем дополнительно квантизировать уже полученную нейросеть.

Например, большая модель передаёт знания ученику с меньшим количеством параметров. После завершения обучения веса ученика переводятся в более компактный числовой формат. Это позволяет дополнительно снизить требования к памяти и ускорить вычисления.

Также дистилляцию можно сочетать с pruning - удалением малозначимых связей или отдельных элементов нейросети. Такой многоступенчатый подход особенно полезен для локального ИИ и систем, где вычислительные ресурсы жёстко ограничены.

При этом слишком агрессивное сжатие может привести к заметной потере качества. Поэтому разработчики обычно ищут баланс между размером модели, скоростью работы, энергопотреблением и точностью ответов.

Заключение

Дистилляция знаний позволяет переносить часть возможностей большой нейросети в более компактную модель. Вместо обучения только на исходных данных модель-ученик получает дополнительную информацию от модели-учителя: вероятности ответов, связи между вариантами и другие сигналы, сформированные большой системой.

Такой подход помогает уменьшать размер нейросетей, снижать требования к памяти и ускорять инференс. Особенно полезна дистилляция для языковых моделей, которые после оптимизации можно запускать на менее мощных серверах, ноутбуках и даже мобильных устройствах.

При этом маленькая модель не становится полной копией большой. Чем сильнее сокращается архитектура, тем сложнее сохранить все способности учителя. Поэтому на практике дистилляцию используют как способ найти баланс между качеством, скоростью и стоимостью вычислений. А если ресурсов по-прежнему недостаточно, её можно дополнительно сочетать с квантизацией и другими методами оптимизации.