Ситуация встречается регулярно: система построена на зарубежной модели, а потом доступ к ней исчезает — по региону, по оплате, по изменившимся условиям поставщика.
Вопрос делится на два. Первый — что делать сейчас, когда уже случилось. Второй, важнее — как построить систему, чтобы это не было катастрофой.
Начну со второго, потому что он определяет, будет ли первый болезненным.
Как не оказаться в этой ситуации
Три меры, каждая недорогая:
Слой доступа к моделям. Код не знает, какая модель отвечает. Смена — изменение настройки — «Шлюз моделей».
Проверенная запасная модель. Не «в теории можно переключиться», а реально подключённая и прогнанная на контрольном наборе. Разница между этими состояниями — недели.
Контрольный набор задач. Инструмент, который за часы отвечает на вопрос «стало ли хуже» — «Тестирование модели на своей задаче».
С ними замена занимает день. Без них — проект с непредсказуемым сроком.
Варианты замены
Российские облачные модели
Самый прямой путь: договор с российским юрлицом, оплата в рублях, обработка данных внутри страны, никаких сложностей с доступом.
Разбор признаков выбора — «YandexGPT или GigaChat».
Чего ожидать. На типовых бизнес-задачах — классификации, извлечении данных, ответах по документам — качества обычно достаточно. На сложных рассуждениях разрыв с сильнейшими зарубежными моделями пока заметен, хотя и сокращается.
Проверять на своём наборе, а не по обзорам.
Открытые модели на своём железе
Веса скачиваются и работают у вас. Никакой зависимости от поставщика вообще: доступность определяется вашим сервером.
Разбор выбора — «Открытые модели для русского языка», экономика — «Облако или свой сервер».
Плюс, который часто перевешивает: это единственный вариант, где условия не могут измениться снаружи.
Минус: нужны оборудование и человек, который будет это сопровождать.
Смешанная схема
Массовый поток — на своей модели, сложные случаи — в облаке. Так снижается и зависимость, и стоимость, а при недоступности облака система продолжает работать, пусть и хуже на сложных случаях.
Про обходные схемы — прямо
Про посредников и способы обхода ограничений говорить не буду по существу, но скажу, почему я не строю на этом рабочие системы.
Юридическая неопределённость. Условия использования зарубежных сервисов обычно прямо запрещают обход региональных ограничений. Нарушение условий — основание для блокировки в любой момент, и оно наступит без предупреждения.
Оплата. Схемы платежей через третьи стороны ненадёжны и создают вопросы к бухгалтерии: нет договора, нет закрывающих документов, расход трудно провести.
Данные. При работе через посредника ваши запросы проходят через ещё одну сторону, о которой вы не знаете ничего.
Нет ответственности. При сбое предъявить претензию некому.
Это временно по определению. Схема, работающая сегодня, не работает завтра, и планировать на ней бизнес-процесс нельзя.
Для эксперимента, разовой задачи или личной работы — решение владельца. Для процесса, от которого зависит работа компании, — плохая опора: вы строите на том, что может исчезнуть без предупреждения и без возможности что-то предпринять.
Порядок замены, если уже случилось
Шаг 1. Оцените, что именно сломалось. Иногда недоступна одна модель, а другие модели того же поставщика работают. Иногда проблема в оплате, а не в доступе.
Шаг 2. Включите запасной путь, если он есть. Даже с худшим качеством — работающая система лучше остановленной.
Шаг 3. Прогоните контрольный набор на кандидатах. Обычно два-три: российское облако и открытая модель.
Шаг 4. Подстройте промпты. Формулировки, работавшие на прежней модели, на новой обычно требуют правки — «Миграция между моделями».
Шаг 5. Проверьте формат и стоимость отдельно: доля нарушений схемы и стоимость операции меняются независимо от общего качества.
Шаг 6. Разделите поток. Возможно, часть шагов закроется дешёвой моделью, а сильная нужна лишь на остатке — «Малые модели».
Разбор: срочная замена за два дня
Задача. Конвейер обработки обращений на зарубежной модели. Доступ прекратился.
Что было готово. Слой доступа к моделям и контрольный набор из 120 случаев. Запасная модель подключена не была — это оказалось единственным пробелом.
День первый. Подключили две альтернативы: российское облако и открытую модель на имеющемся сервере. Прогнали набор на обеих со старыми промптами.
Российское облако: результат на классификации сопоставимый, на извлечении полей чуть хуже, на черновиках ответов заметно хуже.
Открытая модель: на классификации сопоставимо, на остальном хуже.
День второй. Подстроили промпты под облачную модель — разрыв на извлечении закрылся почти полностью. Черновики ответов остались слабее.
Разделили: классификацию и извлечение — на открытую модель на своём сервере (дешевле, данные не уходят), черновики ответов — на российское облако.
Что получилось. Система заработала на второй день. Стоимость эксплуатации оказалась ниже прежней: массовые шаги ушли на своё железо.
Чего стоила спешка. Качество черновиков ответов просело, и операторы правили их чаще. Через месяц, когда появилось время, промпты для этого шага переписали под новую модель, и разрыв сократился.
Что стоит забрать. Слой доступа и контрольный набор сократили замену с недель до двух дней. Отсутствие заранее проверенной запасной модели стоило первого дня — и это единственное, что стоило бы сделать иначе.
Частые вопросы
Что делать, если модель стала недоступна?
Сначала включить запасной путь, если он есть: работающая система с худшим качеством лучше остановленной. Затем прогнать контрольный набор на кандидатах — российских облачных моделях и открытых, — подстроить промпты и переключиться. С подготовленной инфраструктурой это занимает день-два.
Насколько российские модели уступают зарубежным?
На типовых бизнес-задачах — классификации, извлечении данных, ответах по документам — разница обычно невелика и достаточна для работы. На сложных рассуждениях разрыв заметнее. Проверять нужно на своих случаях: общие утверждения о качестве быстро устаревают и не относятся к вашей задаче.
Стоит ли использовать обходные схемы доступа?
Для рабочего процесса — нет. Условия использования обычно прямо запрещают обход региональных ограничений, доступ может прекратиться без предупреждения, оплата через третьи стороны создаёт проблемы с документами, а ваши запросы проходят через сторону, о которой ничего не известно. Строить на этом бизнес-процесс — значит зависеть от того, что нельзя контролировать.
Как подготовиться заранее?
Три меры: все обращения к моделям через один слой, реально подключённая и проверенная запасная модель, контрольный набор задач. Первое отвязывает код от поставщика, второе даёт мгновенный запасной путь, третье позволяет за часы понять, не ухудшилось ли качество.
Будут ли работать наши промпты на другой модели?
Частично. Формулировки, отточенные под одну модель, на другой обычно дают результат хуже и требуют правки. Разумный порядок — сначала прогнать как есть, чтобы увидеть исходную точку, затем подстраивать там, где просело.
Что надёжнее — российское облако или своя модель?
Своя модель не зависит от внешних условий вообще, но требует оборудования и сопровождения. Российское облако проще в эксплуатации, но остаётся внешней зависимостью, пусть и в предсказуемой юрисдикции. Часто разумна смешанная схема: массовый поток на своём железе, сложные случаи в облаке.
Что дальше
Подготовка инфраструктуры — «Шлюз моделей» и «Миграция между моделями». Варианты замены — «YandexGPT или GigaChat» и «Открытые модели для русского». Экономика своего размещения — «Облако или свой сервер».
Перевод систем на доступные модели и подготовка к смене поставщика — часть работы по разработке и внедрению ИИ.