Ярослав Коротких

@yourawsluv

Logo

Увеличиваю ценность продукта через исследования. Создаю масштабируемые дизайн-системы. Выстраиваю процессы DesignOps.

back

Обложка кейса SimpleAI: B2B-платформа для управления LLM-агентами

SimpleAI: платформа разворачивания и контроля LLM-агентов для SMB

Лендинг · Платформа

SimpleAI это B2B-продукт для разворачивания, мониторинга и тестирования LLM-агентов, которых бизнес встраивает в свои процессы. Платформа работает через веб-клиент (desktop и mobile) и встраиваемые виджеты. Ниже история о том, как мы довели продукт от PoC до MVP и как проектировали контроль над агентами так, чтобы внедрение занимало меньше сил.

Роль: ведущий продуктовый дизайнер и UX-исследователь Платформа: веб-клиент (desktop + mobile), встраиваемые виджеты Продукт: B2B, LLM-агенты для SMB

Интерфейс платформы SimpleAI: управление и мониторинг агентов

Команда и мой путь в продукте

Я прошёл с командой весь путь: от PoC и исследований, через привлечение первых лидов, до релиза MVP в Q4 2024. Работал напрямую с CPO в команде из 10 человек (RnD и Dev), совмещал роли продуктового дизайнера и исследователя и влиял на продуктовую стратегию.

Дискавери клиента и рынка

Пользователей у продукта две большие группы: персонал заказчика, который использует и настраивает решение, и интегратор, который внедряет его в чужой бизнес. У каждой роли своя Job Story и свои метрики её выполнения, поэтому дискавери я вёл отдельно по ролям.

Группы пользователей SimpleAI и их Job Story по ролям

North Star: наблюдаемость, тестируемость, контроль

К этим трём ориентирам я сводил каждое решение:

  1. Прозрачность инференса модели и гибкость настройки через инструкции (RAG), обучение на заданных правилах и базе знаний в изолированной среде.
  2. Скорость тестирования: автоматизация проверок и частых юзкейсов.
  3. Непрерывный контекст между настройкой, экспериментом и запуском, чтобы ключевые флоу ускоряли внедрение, а не тормозили его.
  4. Когнитивная нагрузка UI: интерфейс держит много параметров и данных, и это нельзя было превратить в кашу.

Продуктовые метрики

Продуктовые метрики SimpleAI: TTFA, TCR и error rate

Сильные гипотезы

Основная гипотеза: если повысить прозрачность инференса и дать отзывчивый контроль над параметрами, вырастет число запусков агентов и снизится частота ошибок.

Бэклог исследований и разработки мы с CPO приоритизировали через оценку каждой гипотезы. Требования к MVP собрали на кастдеве, изучении конкурентов и запросах пользователей. На переходе от проектирования к разработке (этап 2-3) я внедрил в приоритизацию DoR.

Приоритизация бэклога гипотез и внедрение DoR

JTBD по ролям

Администратор

Руководитель отдела продаж: настраивает агентов и управляет интеграциями.

Job Story: хочу развернуть агента для автоматизации бизнес-процессов команды, когда выполняю задачу по внедрению решения строго по БП и ТО.

Флоу:

  1. Задать параметры нового агента по БП и ТО.
  2. Протестировать виджет чата с агентом.
  3. Валидировать инференс агента и провести эксперимент.
  4. Запустить сервис и виджет чата для пользователей платформы.

Флоу администратора: настройка параметров агента

Тестирование виджета чата с агентом перед запуском

Оператор

Менеджер продаж: работает с агентами и обрабатывает запросы клиентов.

Job Story: хочу использовать агента для обработки запроса клиента, когда выполняю задачу бизнеса.

Флоу:

  1. Открыть виджет сервиса чата с агентом.
  2. Ввести новый запрос в свободной форме.
  3. Получить вывод в виджете чата.

Флоу оператора: виджет чата с агентом

Обработка запроса клиента в виджете чата

Интегратор

Инженер подрядчика: внедряет агентов в бизнес-процесс заказчика на основе собранных БП и ТО.

Job Story: хочу развернуть агента для автоматизации бизнес-процессов команды заказчика, когда выполняю задачу по внедрению решения строго по БП и ТО.

Флоу:

  1. Задать параметры нового агента по БП и ТО.
  2. Протестировать виджет чата с агентом.
  3. Валидировать инференс агента и провести эксперимент.
  4. Запустить платформу и виджет чата для пользователей.
  5. Настроить контур и доступы внутри контура заказчика.
  6. Подготовить инструкции и провести обучение персонала заказчика.

Флоу интегратора: развёртывание решения в контуре заказчика

Настройка доступов внутри контура заказчика и обучение персонала

Деливери в код

Что вошло в поставку:

  1. Снижение CAPEX разворачивания, тестирования и внедрения решения для бизнеса.
  2. Изолированная среда управления и интеграции виджетов чат-бота с инференсом LLM-моделей.
  3. Мониторинг эксплуатации агента и использования ресурсов платформы.
  4. Гибкое управление доступами и ролями в организации заказчика.

Изолированная среда управления и интеграции агентов

Мониторинг эксплуатации агента, доступов и ролей

back