Как корпоративные GPT/LLM модели могут помочь вашему бизнесу на примере Norbit GPT

YOUTUBE · 29.11.2025 07:37

Ключевые темы и таймкоды

Введение

0:08

Дмитрий Тимаков, кандидат физмат наук, представляет компанию Норбит.
Михаил Юрьевич, архитектор, имеет более 20 лет опыта в проектах с машинным обучением.
Компания Норбит входит в группу компаний Ланит, насчитывает более 1500 сотрудников и реализовала более 1000 проектов.

Направления деятельности

1:06

Норбит предлагает решения для корпоративного хранилища данных и машинного обучения.
Используются как собственные, так и партнерские продукты.
Два основных направления: корпоративное хранилище данных и решения на основе машинного обучения.

Вебинар и темы

2:56

Вебинар будет состоять из двух частей: введение в генеративные модели и примеры их применения.
Генеративные модели создают новый контент: фото, видео, звук и текст.
Основное внимание будет уделено использованию больших языковых моделей в бизнес-задачах.

Развитие генеративного ИИ

4:27

Генеративный ИИ активно развивается с 2012 года благодаря новым подходам к глубокому машинному обучению и доступности данных.
Появляются мощные вычислительные системы, что способствует росту этого направления.
Ожидается, что к 2025 году 80% процессов разработки ПО будут включать элементы генеративных моделей.

Примеры использования

7:28

Примеры успешного использования: ChatGPT от OpenAI и его аналоги.
В России 30% компаний уже экспериментируют с генеративными моделями, а 12% планируют их внедрение.
Основные критерии для использования: наличие больших данных, низкая цена ошибки и возможность автоматизации рутинных процессов.

Преимущества и проблемы

10:11

Генеративные модели помогают повысить эффективность и снизить затраты.
Проблемы: галлюцинации моделей и высокая стоимость железа для их работы.
Компания предлагает услуги по внедрению и обучению команд для поддержки таких решений.

Преимущества использования языковых моделей

15:08

Сокращение времени ответа на запросы клиентов на 30-40%.
Упрощение работы специалистов поддержки.
Снижение затрат на разметку данных и увеличение скорости поиска информации.

Применение в отделах кадров и разработке ПО

16:30

Модели помогают в подборе кадров и подготовке тренингов.
Сокращение рабочего времени разработчиков на 10-15%.
Увеличение показателей реальности сотрудника.

Генерация маркетингового предложения

18:16

Модель генерирует текст, соответствующий задачам компании.
Локальная модель использует корпоративные знания для точного ответа.
Пример: модель подчеркивает лоуко-возможности и стилистически корректный текст.

Анализ новостей о контрагентах

19:43

Модель анализирует новости из открытых источников.
Пример: формирование краткой выжимки новостей для принятия решений.
Пример новости: компания Гуд создала первое в России облачно-ворк-форс менеджмент решение для малого и среднего бизнеса.

Обработка нормативно-справочной информации

21:17

Модель помогает в работе с большими справочниками.
Пример: менеджер по логистике использует модель для внесения информации в систему.
Пример: модель выделяет атрибуты и возможные области применения объекта.

Генерация кода

23:58

Модель помогает разработчикам дописывать код и покрывать его тестами.
Пример: модель генерирует недостающий код и дает комментарии.
Пример: модель генерирует юнит-тесты для большого объема кода.

Снижение нагрузки на первую линию поддержки

26:50

Модель доучивается на корпоративных базах знаний.
Пример: чат-бот отвечает на стандартные вопросы пользователей.
Пример: модель корректно понимает и предоставляет ответы на запросы пользователей.

Введение и автоматизация процессов в продажах

28:36

Рассматривается кейс автоматизации процессов в продажах на примере саморизации текста.
Используется локальная языковая модель для сокращения трудозатрат.
Пример: менеджер по продажам быстро поднимает статус договоренностей с клиентом.

Поиск по базе знаний

30:53

Рассматривается кейс поиска по базе знаний.
Модель формирует краткий список пунктов на основе статьи.
Пример: новый сотрудник может быстро найти нужную информацию в базе знаний.

Автоматизация процесса бронирования переговорной комнаты

32:13

Пользователь может забронировать переговорку через чат-бота.
Чат-бот понимает естественный язык и помогает выбрать параметры.
Пример: чат-бот сообщает о успешном бронировании.

Оптимизация работы с договорами и входящими данными

33:07

Рассматривается кейс выделения именованных сущностей из текста.
Пример: разработчик загружает реквизиты контрагента в бухгалтерскую систему.
Модель помогает структурировать входящую информацию.

Упрощение подбора персонала

34:25

Модель оценивает резюме кандидатов на соответствие требованиям.
Пример: модель определяет, подходит ли кандидат по критериям вакансии.
Пример резюме: модель делает вывод, что кандидат не подходит по опыту работы.

Опрос и результаты

36:08

Запускается опрос для определения наиболее релевантных кейсов.
Лидирует автоматизация сбора и подготовки информации для принятия решений.
Обсуждение формата поставки решения и его компонентов.

Механизм ценообразования и детали внедрения

40:56

Обсуждаются факторы, влияющие на ценообразование.
Пример: классификатор обучается под каждую задачу компании.
Модель отвечает только на вопросы, связанные с базой знаний.

Помощник диспетчеру

43:47

Вопрос о помощнике диспетчеру автомобилей или железнодорожного транспорта.
Уточнение о моделях оптимизации и обработке текста.
Пример с конфлюенсом, который может автоматически обновлять знания и отвечать на новые вопросы.

Перспективы использования разработчиков кода

44:50

Экономия времени и минусы использования систем, таких как CPO.
Корпоративные решения, такие как наши, обучаются на полной базе зависимостей.
Проблемы с автогенерацией кода для разных языков.

Бенчмарки и автотесты

45:45

Использование собственного бенчмарка для оценки моделей.
Самостоятельное создание вопросов для оценки моделей.
Сравнение с публичными бенчмарками редко, так как они не подходят для бизнес-задач.

Работа с таблицами данных

47:57

Модели не могут работать с большими таблицами данных без предварительной настройки.
Модель может анализировать тексты в таблицах, но требуется доработка промтов и модели.
Возможность подключения к базе данных для получения структурированных ответов.

Работа с интернетом

49:24

Модели не ходят в интернет, а используют веб-скраперы и парсеры для сбора информации.
Возможность создания сервиса для получения информации из интернета и передачи модели.

Применение в конструировании и производстве

50:15

Поддержка конструкторской документации и анализ ошибок.
Модель не готова к работе с изображениями и мультимодальностью.
Корпоративная информация не делится с другими клиентами.

Подключение к справочникам

52:08

Решение может устанавливаться локально или в облаке.
Подключение к справочникам через файловые выгрузки, базу данных или API.

Интеграция с системами управления качеством

52:39

Интеграция с CRM и ERP системами.
Текущие проекты с юридическим отделом компании.

Производительность и мощности

53:21

Максимальная скорость ответа модели не более десяти секунд.
Использование видеокарт и оперативной памяти GPU.
Возможность развертывания на on-premise.

Язык программирования

54:40

Модель определяет язык программирования по запросу.
Поддержка запросов на разных языках, таких как Python и JavaScript.
Перевод между языками как простая задача для модели.

Статистика и производительность

56:08

Экономия 10-15% и сокращение рабочего времени программистов.
Модель способна дообучаться автоматически.
Механизм оценки качества ответов с помощью лайков и дизлайков.

Рекомендации и интеграция

58:10

Модель может рекомендовать улучшения диалогов с клиентами.
Интеграция с Telegram-ботом и омниканальной коммуникацией.
Настройка модели занимает от месяца до полугода.

Работа с данными и моделями

1:00:25

Модель может работать с картинками и текстами.
Возможность ассоциации слов и поиска в договорах.
Загрузка данных через веб-интерфейс.

Работа на локальных устройствах

1:01:35

Модели оптимизированы для работы на серверных устройствах.
Возможность запуска на транспортных компьютерах.

Работа с персональными данными

1:03:40

Возможность обезличивания данных и их валидации.
Модель работает во внутреннем контуре заказчика, защищая данные.

Преобразование текстов и стандарты

1:05:27

Возможность использования модели для преобразования текстов.
Фантюнинг для адаптации модели к новым задачам.

Сравнение с другими моделями

1:05:50

Преимущества и недостатки моделей GPT-4 и Norbit.
Развертывание моделей на собственных мощностях.

Стоимость инфраструктуры

1:06:56

Минимальная конфигурация для запуска модели.
Требования к процессору и жесткому диску.

Ограничения и параллелизм

1:09:12

Ограничения по количеству одновременных обращений к модели.
Слабый параллелизм при генерации ответов.

Итоги и благодарности

1:10:52

Подведение итогов голосования за активных участников.
Призы для активных участников.
Приглашение к обсуждению кейсов и вопросов.