Обладнання для AI на місці
AI-сервер у вашій серверній
Надсилання корпоративних документів до зовнішнього API буває неприйнятним: юридично або просто з міркувань безпеки. Встановлюємо у вас машину зі 128 ГБ відеопам'яті, на якій відкриті мовні моделі працюють повністю автономно.
На практиці
Дані залишаються в будівлі
Локальний сервер LLM, це один пристрій у стійці. Він виконує ті самі завдання, що й хмарний сервіс, але без передавання даних назовні.
Конфігурація з 128 ГБ пам’яті відеокарти сьогодні дає змогу запускати моделі класу 70B у квантованому вигляді. Зазвичай цього достатньо для десятка одночасних розмов у компанії середнього розміру.
Починаємо з одного відділу, найчастіше з роботи із запитами пропозицій або технічною документацією. Вимірюємо, скільки часу реально вивільняється, і лише потім підключаємо інші команди. Ваш ІТ-фахівець після дводенного навчання самостійно додає моделі та створює облікові записи.
Обладнання належить вам із першого дня. Якщо через рік ви зміните постачальника програмного забезпечення, машина залишиться у вас.
-
Як це працює
Машина надходить до вашої серверної, готова до роботи: система, драйвери та кілька відкритих моделей уже встановлено. Запити й відповіді зберігаються на диску у вашій компанії, а стандартна конфігурація не передає трафік назовні.
-
З чим інтегрується
Сервер надає стандартний API, тому ми підключаємо його до інструментів, якими ви вже користуєтеся: пошти, CRM, мережевого диска, таблиць. Права доступу до документів переносимо з ваших систем, щоб у відповіді ніхто не побачив файл, до якого не має доступу.
-
Хто приймає рішення
Пароль адміністратора залишається у вас, а розпорядником даних залишається ваша компанія. Ми отримуємо доступ до сервера лише тоді, коли хтось із вашої команди його відкриє. Журнал показує, хто і про що запитував, а договір на обслуговування визначає, хто відповідає на дзвінок, якщо обладнання вийде з ладу.
Проблема
Боїтеся надсилати документи компанії у хмару?
Рішення HEXART
Сервер із 128 GB пам’яті відеокарти розміщується у вас і підтримує моделі класу 70B у квантованому форматі. Запити залишаються на корпоративному диску, а доступ надає ваш адміністратор. Починаємо з одного процесу й підраховуємо заощаджений час, перш ніж розширювати впровадження.
Запитайте про конфігурацію сервераПитання та відповіді
Часті питання
Які моделі може запускати сервер із 128 ГБ відеопам’яті?
Моделі класу 70B у квантизованому вигляді, чого зазвичай достатньо для кількох десятків одночасних розмов у середній компанії.
Чи передаються запити за межі компанії?
Ні. Запити й відповіді зберігаються на диску у вашій компанії, а конфігурація за замовчуванням не передає дані назовні. Пароль адміністратора залишається у вас, а розпорядником даних залишається ваша компанія.
Чи є обладнання нашим?
Так, із першого дня. Якщо за рік ви зміните постачальника програмного забезпечення, обладнання залишиться на місці. У договорі на обслуговування зазначено, хто відповідає на дзвінки, якщо обладнання вийде з ладу.
Хто обслуговує сервер після впровадження?
Ваш ІТ-фахівець. Після дводенного навчання він самостійно додає моделі та створює облікові записи. Сервер надає стандартний API, тож ми підключаємо його до пошти, CRM, мережевого диска й таблиць, якими ви вже користуєтеся.
Розмова без зобов'язань
Запланувати воркшоп із Paul
Оберіть тридцять хвилин або повноцінний воркшоп. Забронюйте час у календарі, підтвердження надійде одразу.
Paul Lazniak
Засновник HEXART
- Зустріч завжди з однією і тією ж людиною
- 30 хв
- biuro@hexart.pl
- +48 662 016 430
Контакти
Обговорімо ваш проєкт
Покажемо діюче рішення до того, як почнемо про нього розповідати. Напишіть, що вам потрібно: фільм, світ XR, система AI чи айдентика бренду.
Напишіть або зателефонуйте
Достатньо кількох речень: що має бути створено, на коли і для кого.
- Електронна пошта
- biuro@hexart.pl
- Телефон
- +48 662 016 430
- Адреса
- Aleja Zwycięstwa 96/98, 81-451 Gdynia