Інтеграція LLM
Модель усередині продукту, з контрольованими витратами й відмовами.
Виклики моделі, вбудовані у ваш застосунок, з версіюванням промптів, структурованим виводом, обліком витрат, лімітами та запасними варіантами. Цікавий не промпт, а те, що станеться, коли провайдер повільний, дорогий або лежить.
Проєктна ціна
Від 2 500 $
Це покриває одну модельну функцію у наявному продукті: шлях виклику, структурований вивід, облік витрат і запасний варіант. Кілька функцій, набір для оцінювання та власний шлюз ідуть до 10 500 $.
Надішліть опис і отримайте цифру у відповідь.
Описати проєктУ демо працювало, а потім прийшов реальний трафік
Прототип відповідав добре, тож функцію викотили. Далі у провайдера був повільний день, і сторінка зависла, бо ніхто не поставив тайм-аут. Прийшов рахунок, і ніхто не міг сказати, яка саме функція його зібрала, бо виклики ніколи не позначали. Хтось покращив промпт, і щось інше тихо стало гіршим, бо не було з чим порівняти. Модель повернула текст там, де код чекав поля, і парсер впав на живому клієнті. Нічого з цього не є проблемою промпта. Це обв'язка навколо моделі, і саме вона вирішує, чи переживе функція свій перший місяць.
Що будується
Шлях виклику, який падає ввічливо
Тайм-аути, повтори з відкладанням і запасний варіант, вибраний до того, як він знадобився: менша модель, відповідь з кешу або чесне повідомлення. Сторінка ніколи не чекає на провайдера, який перестав відповідати.
Вивід, якому може довіряти код
Структурований вивід за схемою, перевірений одразу, з проходом відновлення для майже влучних відповідей і зрозумілою помилкою для решти. Застосунок перестає розбирати текст і починає читати поля.
Витрати й промпти, за які можна відзвітувати
Кожен виклик позначений функцією та орендарем, токени й витрати записані, ліміти на користувача і на добу. Промпти версіоновані у репозиторії, тому зміна це дифф, який можна відкотити, а не спогад про те, що хтось редагував.
Чому саме так
Провайдер це залежність, а не фундамент
Ціни змінюються, моделі виводять з обігу, регіони падають. Інтеграція пишеться так, щоб провайдера можна було замінити на межі, а поганий день у нього обмежував функцію, а не забирав продукт із собою.
Спочатку виміряти, потім тюнити
Зміна промпта без порівняння це здогадка з гарною історією. Невеликий набір реальних випадків, прогнаний до і після, робить тюнінг тим, що можна схвалити або відхилити.
Як це відбувається
Розбір потрібної функції та продукту, у якому вона живе: куди належить виклик, які дані він може бачити, що відбувається поки користувач чекає і який вигляд має мати відповідь для коду далі.
Спершу контракт: схема виводу, режими відмови, бюджет на виклик і на добу, узгоджені письмово до того, як написано перший промпт.
Інтеграція за одним інтерфейсом, де провайдер, модель і промпт це конфігурація, а не код, розсипаний по застосунку.
Невеликий набір для оцінювання з ваших реальних випадків, прогнаний по версіях, щоб вирішували числа, а не остання людина, яка чіпала промпт.
Передача з панеллю витрат і відмов, інструкцією на випадок аварії у провайдера і письмовою нотаткою про те, за чим стежити перший місяць.
Контекст
Скільки насправді коштує LLM-функція в роботі
Промпт це дешева частина
Основна робота у продуктовій модельній функції не в промпті. Вона у схемі, якій має відповідати вивід, у тайм-ауті, повторі, запасному варіанті, ліміті на орендаря і в записі витрат. Хто пропускає цей шар, викочує швидше, а наступний квартал добудовує його під тиском.
Структурований вивід змінив характер помилок
Коли вивід прив'язаний до схеми, модель повертає поля, а не текст, і цікаві помилки переїжджають з розбору у зміст: валідний об'єкт з неправильним значенням. Це ловиться перевіркою проти ваших власних даних, а не суворішим промптом.
Пошук виграє у більшого вікна контексту
Великі вікна дали змогу вкидати у промпт усе і зробили це дорогим. Вибрати кілька потрібних фрагментів дешевше, швидше і легше пояснити тому, хто спитає, звідки взялася відповідь.
Оцінювання робить тюнінг чесним
Без фіксованого набору випадків кожну зміну промпта оцінює той, хто пробував її останнім. З набором зміна це число, яке зросло або впало, а відкат це рішення, а не суперечка.
Описати проєкт
Розкажіть, що є і що має змінитися. Протягом двох робочих днів ви отримаєте письмовий розрахунок: обсяг, розкладений на частини, з ціною біля кожної, або питання, яких для цього бракує. Без ознайомчого дзвінка між цим.
Питання
Робота з LLM, питання й відповіді
Зазвичай більше ніж одного. Інтеграція пишеться під інтерфейс, з основним провайдером і другим позаду, бо найдешевша модель для задачі змінюється кожні кілька місяців, і саме прив'язка до одного постачальника робить це дорогим.
Часто ні. Пошук по помірному обсягу працює на базі, яка у вас уже є, а окреме векторне сховище виправдовує себе на масштабі або при важкій фільтрації. Воно додається, коли так кажуть числа, а не за замовчуванням.
Так, і це частина роботи: бюджети на користувача, на функцію і на добу, вбудовані у шлях виклику, а не помічені постфактум у панелі. Коли ліміт досягнуто, функція поводиться так, як ви вирішили заздалегідь.
Так, з відповідним провайдером і регіоном або з відкритою моделлю на вашій інфраструктурі. Це обмеження змінює архітектуру, тому йому місце у першій розмові, а не в останній.
Це звичайна відправна точка. Робота з промптами у прототипі часто нормальна; бракує схеми, лімітів, запасного варіанту й обліку витрат, а їх можна додати, не викидаючи те, що працює.