TypeSafe AI представила Jev — конкурента LLM

Стартап TypeSafe AI представил Jev — первую модель нового семейства System One Models. В отличие от обычных языковых моделей, она не генерирует текст последовательно по токенам, а сразу выдаёт структурированные решения, которые можно использовать внутри программ. Компания утверждает, что такой подход позволяет значительно сократить задержку и стоимость ИИ-запросов.

Что такое System One Models

TypeSafe называет System One Models отдельным классом ИИ-моделей, предназначенных прежде всего для автоматизации. Их задача — не вести диалог с человеком или писать тексты, а быстро принимать решения внутри программного процесса.

На входе модель может получать неструктурированные данные — например, текст с описанием состояния системы. На выходе она возвращает заранее определённые структурированные значения вместе с вероятностями и оценкой уверенности. Например, модель может классифицировать обращение пользователя, оценить риск, выбрать маршрут обработки заявки или определить дальнейшую ветку программы.

Для обучения таких моделей TypeSafe разработала собственный подход Reinforcement Learning for Calibrated Decisions — RLCD. Компания заявляет, что он оптимизирует модель не под качество текстового ответа, а под принятие решений с корректно оценённой вероятностью.

Чем Jev отличается от обычных LLM

Большинство современных языковых моделей генерируют ответы авторегрессионно: создают один токен, затем следующий и так далее. Jev не формирует текстовую строку и вычисляет необходимые результаты параллельно.

За счёт этого модель рассчитана на задачи, где важны низкая задержка и большое количество запросов. По данным TypeSafe, время ответа Jev составляет примерно 70–500 мс, а в отдельных сценариях модель работает в 40–200 раз быстрее сопоставимых LLM. Стоимость обработки входных данных компания установила на уровне 0,042 доллара за миллион токенов.

При этом Jev нельзя считать полноценной заменой чат-моделей. Она не предназначена для написания статей, программного кода или свободного диалога. Вместо этого разработчик заранее определяет возможную структуру ответа и типы значений, которые может вернуть модель.

TypeSafe утверждает, что благодаря этому Jev не может вернуть значение, которое не соответствует заданной схеме. Компания связывает эту особенность с защитой от ошибок, которые возникают, когда обычная LLM генерирует несуществующую команду или некорректный формат данных. Речь при этом идёт именно о соответствии ответа заданной структуре, а не о гарантии фактической правильности каждого решения.

Насколько Jev быстрее других моделей

TypeSafe опубликовала собственные тесты рабочих процессов, в которых сравнила Jev с крупными языковыми моделями. В некоторых из них компания получила ускорение до 193,6 раза и снижение стоимости до 444,6 раза.

При этом разработчики отдельно предупреждают, что это зафиксировано как один из наиболее высоких результатов и что такие показатели не обязательно будут воспроизводиться во всех реальных задачах. Кроме того, сами тестовые сценарии разработали сотрудники TypeSafe, поэтому компания допускает возможное смещение результатов.

Сейчас Jev доступна в формате early access. TypeSafe постепенно открывает доступ пользователям из списка ожидания и планирует развивать семейство System One Models дальше.