Как корпоративные GPT/LLM модели могут помочь вашему бизнесу на примере Norbit GPT

YOUTUBE · 29.11.2025 07:37

Ключевые темы и таймкоды

Введение

0:08
  • Дмитрий Тимаков, кандидат физмат наук, представляет компанию Норбит.
  • Михаил Юрьевич, архитектор, имеет более 20 лет опыта в проектах с машинным обучением.
  • Компания Норбит входит в группу компаний Ланит, насчитывает более 1500 сотрудников и реализовала более 1000 проектов.

Направления деятельности

1:06
  • Норбит предлагает решения для корпоративного хранилища данных и машинного обучения.
  • Используются как собственные, так и партнерские продукты.
  • Два основных направления: корпоративное хранилище данных и решения на основе машинного обучения.

Вебинар и темы

2:56
  • Вебинар будет состоять из двух частей: введение в генеративные модели и примеры их применения.
  • Генеративные модели создают новый контент: фото, видео, звук и текст.
  • Основное внимание будет уделено использованию больших языковых моделей в бизнес-задачах.

Развитие генеративного ИИ

4:27
  • Генеративный ИИ активно развивается с 2012 года благодаря новым подходам к глубокому машинному обучению и доступности данных.
  • Появляются мощные вычислительные системы, что способствует росту этого направления.
  • Ожидается, что к 2025 году 80% процессов разработки ПО будут включать элементы генеративных моделей.

Примеры использования

7:28
  • Примеры успешного использования: ChatGPT от OpenAI и его аналоги.
  • В России 30% компаний уже экспериментируют с генеративными моделями, а 12% планируют их внедрение.
  • Основные критерии для использования: наличие больших данных, низкая цена ошибки и возможность автоматизации рутинных процессов.

Преимущества и проблемы

10:11
  • Генеративные модели помогают повысить эффективность и снизить затраты.
  • Проблемы: галлюцинации моделей и высокая стоимость железа для их работы.
  • Компания предлагает услуги по внедрению и обучению команд для поддержки таких решений.

Преимущества использования языковых моделей

15:08
  • Сокращение времени ответа на запросы клиентов на 30-40%.
  • Упрощение работы специалистов поддержки.
  • Снижение затрат на разметку данных и увеличение скорости поиска информации.

Применение в отделах кадров и разработке ПО

16:30
  • Модели помогают в подборе кадров и подготовке тренингов.
  • Сокращение рабочего времени разработчиков на 10-15%.
  • Увеличение показателей реальности сотрудника.

Генерация маркетингового предложения

18:16
  • Модель генерирует текст, соответствующий задачам компании.
  • Локальная модель использует корпоративные знания для точного ответа.
  • Пример: модель подчеркивает лоуко-возможности и стилистически корректный текст.

Анализ новостей о контрагентах

19:43
  • Модель анализирует новости из открытых источников.
  • Пример: формирование краткой выжимки новостей для принятия решений.
  • Пример новости: компания Гуд создала первое в России облачно-ворк-форс менеджмент решение для малого и среднего бизнеса.

Обработка нормативно-справочной информации

21:17
  • Модель помогает в работе с большими справочниками.
  • Пример: менеджер по логистике использует модель для внесения информации в систему.
  • Пример: модель выделяет атрибуты и возможные области применения объекта.

Генерация кода

23:58
  • Модель помогает разработчикам дописывать код и покрывать его тестами.
  • Пример: модель генерирует недостающий код и дает комментарии.
  • Пример: модель генерирует юнит-тесты для большого объема кода.

Снижение нагрузки на первую линию поддержки

26:50
  • Модель доучивается на корпоративных базах знаний.
  • Пример: чат-бот отвечает на стандартные вопросы пользователей.
  • Пример: модель корректно понимает и предоставляет ответы на запросы пользователей.

Введение и автоматизация процессов в продажах

28:36
  • Рассматривается кейс автоматизации процессов в продажах на примере саморизации текста.
  • Используется локальная языковая модель для сокращения трудозатрат.
  • Пример: менеджер по продажам быстро поднимает статус договоренностей с клиентом.

Поиск по базе знаний

30:53
  • Рассматривается кейс поиска по базе знаний.
  • Модель формирует краткий список пунктов на основе статьи.
  • Пример: новый сотрудник может быстро найти нужную информацию в базе знаний.

Автоматизация процесса бронирования переговорной комнаты

32:13
  • Пользователь может забронировать переговорку через чат-бота.
  • Чат-бот понимает естественный язык и помогает выбрать параметры.
  • Пример: чат-бот сообщает о успешном бронировании.

Оптимизация работы с договорами и входящими данными

33:07
  • Рассматривается кейс выделения именованных сущностей из текста.
  • Пример: разработчик загружает реквизиты контрагента в бухгалтерскую систему.
  • Модель помогает структурировать входящую информацию.

Упрощение подбора персонала

34:25
  • Модель оценивает резюме кандидатов на соответствие требованиям.
  • Пример: модель определяет, подходит ли кандидат по критериям вакансии.
  • Пример резюме: модель делает вывод, что кандидат не подходит по опыту работы.

Опрос и результаты

36:08
  • Запускается опрос для определения наиболее релевантных кейсов.
  • Лидирует автоматизация сбора и подготовки информации для принятия решений.
  • Обсуждение формата поставки решения и его компонентов.

Механизм ценообразования и детали внедрения

40:56
  • Обсуждаются факторы, влияющие на ценообразование.
  • Пример: классификатор обучается под каждую задачу компании.
  • Модель отвечает только на вопросы, связанные с базой знаний.

Помощник диспетчеру

43:47
  • Вопрос о помощнике диспетчеру автомобилей или железнодорожного транспорта.
  • Уточнение о моделях оптимизации и обработке текста.
  • Пример с конфлюенсом, который может автоматически обновлять знания и отвечать на новые вопросы.

Перспективы использования разработчиков кода

44:50
  • Экономия времени и минусы использования систем, таких как CPO.
  • Корпоративные решения, такие как наши, обучаются на полной базе зависимостей.
  • Проблемы с автогенерацией кода для разных языков.

Бенчмарки и автотесты

45:45
  • Использование собственного бенчмарка для оценки моделей.
  • Самостоятельное создание вопросов для оценки моделей.
  • Сравнение с публичными бенчмарками редко, так как они не подходят для бизнес-задач.

Работа с таблицами данных

47:57
  • Модели не могут работать с большими таблицами данных без предварительной настройки.
  • Модель может анализировать тексты в таблицах, но требуется доработка промтов и модели.
  • Возможность подключения к базе данных для получения структурированных ответов.

Работа с интернетом

49:24
  • Модели не ходят в интернет, а используют веб-скраперы и парсеры для сбора информации.
  • Возможность создания сервиса для получения информации из интернета и передачи модели.

Применение в конструировании и производстве

50:15
  • Поддержка конструкторской документации и анализ ошибок.
  • Модель не готова к работе с изображениями и мультимодальностью.
  • Корпоративная информация не делится с другими клиентами.

Подключение к справочникам

52:08
  • Решение может устанавливаться локально или в облаке.
  • Подключение к справочникам через файловые выгрузки, базу данных или API.

Интеграция с системами управления качеством

52:39
  • Интеграция с CRM и ERP системами.
  • Текущие проекты с юридическим отделом компании.

Производительность и мощности

53:21
  • Максимальная скорость ответа модели не более десяти секунд.
  • Использование видеокарт и оперативной памяти GPU.
  • Возможность развертывания на on-premise.

Язык программирования

54:40
  • Модель определяет язык программирования по запросу.
  • Поддержка запросов на разных языках, таких как Python и JavaScript.
  • Перевод между языками как простая задача для модели.

Статистика и производительность

56:08
  • Экономия 10-15% и сокращение рабочего времени программистов.
  • Модель способна дообучаться автоматически.
  • Механизм оценки качества ответов с помощью лайков и дизлайков.

Рекомендации и интеграция

58:10
  • Модель может рекомендовать улучшения диалогов с клиентами.
  • Интеграция с Telegram-ботом и омниканальной коммуникацией.
  • Настройка модели занимает от месяца до полугода.

Работа с данными и моделями

1:00:25
  • Модель может работать с картинками и текстами.
  • Возможность ассоциации слов и поиска в договорах.
  • Загрузка данных через веб-интерфейс.

Работа на локальных устройствах

1:01:35
  • Модели оптимизированы для работы на серверных устройствах.
  • Возможность запуска на транспортных компьютерах.

Работа с персональными данными

1:03:40
  • Возможность обезличивания данных и их валидации.
  • Модель работает во внутреннем контуре заказчика, защищая данные.

Преобразование текстов и стандарты

1:05:27
  • Возможность использования модели для преобразования текстов.
  • Фантюнинг для адаптации модели к новым задачам.

Сравнение с другими моделями

1:05:50
  • Преимущества и недостатки моделей GPT-4 и Norbit.
  • Развертывание моделей на собственных мощностях.

Стоимость инфраструктуры

1:06:56
  • Минимальная конфигурация для запуска модели.
  • Требования к процессору и жесткому диску.

Ограничения и параллелизм

1:09:12
  • Ограничения по количеству одновременных обращений к модели.
  • Слабый параллелизм при генерации ответов.

Итоги и благодарности

1:10:52
  • Подведение итогов голосования за активных участников.
  • Призы для активных участников.
  • Приглашение к обсуждению кейсов и вопросов.