Открытые модели — те, чьи веса можно скачать и запустить у себя. Это единственный вариант, когда данные не должны покидать ваш контур, и он же даёт предсказуемую стоимость: платите за оборудование, а не за каждое обращение.
С русским языком выбор сложнее, чем с английским, но не из-за нехватки моделей. Сложность в том, что общие рейтинги измеряются в основном на английском, и позиция модели там мало говорит о её поведении на русских текстах — особенно на профессиональной терминологии и документах со сложной морфологией.
Названий конкретных моделей я здесь почти не привожу: линейки обновляются каждые несколько месяцев, и список устарел бы раньше статьи. Признаки и способ проверки остаются.
Три категории
Многоязычные общего назначения. Русский среди десятков поддерживаемых языков. Обычно самая свежая архитектура и лучшая общая способность рассуждать. Практичная отправная точка.
С усиленной поддержкой русского. Дообученные на русскоязычных корпусах версии открытых моделей. Могут выигрывать на разговорных формулировках и специфической морфологии, но нередко отстают по общим способностям, потому что базируются на более старых версиях.
Дообученные под задачу. Не общего назначения, а под конкретный класс: извлечение данных, классификация, работа с кодом. Если такая есть под вашу задачу, она может обойти более крупную универсальную.
Практический вывод, который часто удивляет: современная многоязычная модель нередко работает на русском лучше, чем специализированная под русский, но построенная на устаревшей основе. Проверять надо обе категории.
Что значит «открытая» — читайте лицензию
Слово используется свободно, а условия различаются существенно.
| Что смотреть | Почему важно |
|---|---|
| Разрешено ли коммерческое использование | часть моделей только для исследований |
| Ограничения по числу пользователей или выручке | встречаются в лицензиях крупных поставщиков |
| Требования к указанию происхождения | обязанность упоминать исходную модель |
| Условия для производных моделей | что можно с дообученной версией |
| Ограничения по применению | запрещённые области использования |
Отдельно: лицензия базовой модели и лицензия дообученной версии могут различаться. Если берёте чью-то дообученную под русский версию, смотрите обе.
Это вопрос к юристу, а не к инженеру, и решать его надо до выбора, а не после развёртывания.
Признаки выбора
Размер и требования к оборудованию
Число параметров определяет, поместится ли модель в вашу видеопамять и с какой скоростью будет работать. Расчёт — «Расчёт видеопамяти».
Здесь же — сжатие весов: оно позволяет запустить более крупную модель на том же оборудовании ценой небольшой потери качества, «Квантизация».
Ориентир: для узких задач вроде классификации и извлечения полей небольшие модели часто достаточны, и разница в требованиях к железу кратная — «Малые модели».
Качество на русском в вашей области
Не «на русском вообще». Модель может уверенно вести диалог и путаться в юридических или технических формулировках вашей отрасли.
Проверяется измерением, других способов нет.
Длина контекста
Сколько текста принимает за раз. Для работы с документами — определяющий признак. Заявленная длина и длина, на которой сохраняется качество, различаются: проверять надо на своих данных.
Поддержка нужных режимов
Строгий формат ответа, вызов инструментов, работа с изображениями. Не все открытые модели это умеют одинаково хорошо, а для конвейеров автоматизации формат критичен — «Структурированный вывод модели».
Живость проекта
Обновляется ли модель, есть ли сообщество, находятся ли ответы на проблемы. Заброшенная модель означает, что вы остаётесь с её ошибками навсегда.
Совместимость со средой запуска
Поддерживается ли модель тем, чем вы собираетесь её запускать — «vLLM, Ollama, llama.cpp». Свежие архитектуры иногда появляются в средах с задержкой.
Как проверить на своих данных
Соберите набор. 50–100 реальных случаев вашей задачи с известным правильным результатом.
Возьмите 3–4 кандидата разных категорий: современную многоязычную, специализированную под русский, небольшую.
Прогоняйте на одинаковом промпте. Но с оговоркой: у открытых моделей есть шаблон диалога — формат, в котором ожидается вход. Если его не соблюсти, качество падает молча. Это самая частая техническая ошибка при сравнении открытых моделей, и она регулярно приводит к ошибочным выводам.
Считайте по классам задач отдельно и смотрите на провалы, а не только на среднее.
Измерьте скорость на вашем оборудовании — это часть выбора.
Методика — «Тестирование модели на своей задаче».
Разбор: сравнение, которое пришлось переделать
Задача. Внутренний ассистент по технической документации. Данные не покидают контур, поэтому только открытые модели.
Первый прогон. Взяли четыре кандидата, прогнали на 70 вопросах. Результат: одна модель заметно впереди, две посередине, одна совсем плохо.
Что насторожило. Модель, показавшая худший результат, по общим отзывам считалась сильной. Разница была слишком велика для честного сравнения.
Что нашли. Для неё не соблюдался шаблон диалога: запрос подавался в формате, ожидаемом другой моделью. Формально она отвечала, фактически работала в непредусмотренном режиме.
После исправления она поднялась на второе место.
Второе, что вскрылось. Специализированная под русский модель показывала лучший результат на разговорных формулировках и худший — на технических вопросах с обозначениями оборудования. Разбор по классам вопросов показал: она выигрывала там, где вопрос задан «человеческим» языком, и проигрывала там, где нужна точность.
Поскольку основная часть вопросов была технической, выбрали не её.
Итог. Взяли современную многоязычную модель среднего размера со сжатием весов — она поместилась на имеющееся оборудование. Проверка заняла два дня вместо запланированного одного, и оба дня окупились: первый вариант выбора был бы неверным.
Что стоит забрать. При сравнении открытых моделей половина ошибок — технические: неверный шаблон диалога, несоблюдение рекомендованных параметров генерации, разные настройки сжатия. Прежде чем делать вывод о качестве, убедитесь, что каждая модель запущена так, как предписано её авторами.
Когда открытые модели не подходят
Честная оговорка.
- Нет оборудования и нет желания им заниматься. Открытая модель требует сервера, сопровождения и обновлений.
- Поток мал. При небольшом объёме облачная модель обойдётся дешевле — «Облако или свой сервер».
- Нужен максимум качества на сложных задачах. Разрыв с лучшими закрытыми моделями на сложных рассуждениях пока сохраняется.
- Нет технического сопровождения. Модель, которую некому обновлять и чинить, — риск.
Частые вопросы
Какая открытая модель лучше работает с русским языком?
Универсального ответа нет, и он меняется с каждым обновлением линеек. Практический подход: взять современную многоязычную модель, специализированную под русский и небольшую, прогнать на своём наборе из реальных задач и сравнить по классам. Нередко выигрывает свежая многоязычная, а не специализированная на устаревшей основе.
Можно ли использовать открытые модели в коммерческих проектах?
Зависит от лицензии, и они существенно различаются: часть моделей допускает только исследовательское использование, часть ограничивает по числу пользователей, часть требует указывать происхождение. Смотреть нужно лицензию и базовой модели, и дообученной версии, если берёте её.
Сильно ли открытые модели уступают закрытым?
На типовых бизнес-задачах — извлечении данных, классификации, ответах по документам — разрыв обычно невелик и продолжает сокращаться. На сложных рассуждениях он заметнее. Правильная проверка одна: прогнать на своих случаях и посмотреть, хватает ли качества.
Какое оборудование нужно?
Определяется размером модели, степенью сжатия весов и требуемой скоростью. Для узких задач часто хватает одной видеокарты потребительского класса; для крупных моделей и высокой нагрузки требования кратно выше. Расчёт делается до закупки.
Что такое шаблон диалога и почему он важен?
Это формат, в котором модель ожидает получать запрос: как размечаются системная инструкция, реплики пользователя и ответы. У каждой модели он свой. Если его не соблюсти, качество падает молча — модель отвечает, но хуже. Это самая частая причина ошибочных выводов при сравнении.
Нужно ли дообучать открытую модель?
Обычно нет, во всяком случае не сразу. Дообучение оправдано, когда нужно закрепить манеру ответа или специфическую терминологию, и требует размеченных данных. Для передачи фактических знаний используется поиск по документам — «RAG или дообучение».
Что дальше
Общие критерии — «Выбор модели под задачу». Экономика размещения — «Облако или свой сервер». Требования к железу — «Расчёт видеопамяти» и «Квантизация». Как развернуть — «Локальное развёртывание LLM».
Подбор и развёртывание открытых моделей в закрытом контуре — часть работы по разработке и внедрению ИИ.