Разработка AI-систем · Компьютерное зрение
Превращаем видеопоток в проверяемые события по правилам вашего процесса. Разбираем регламенты, находим пограничные случаи и строим систему: детекция, классификация, сегментация и трекинг, геометрия сцены, машина состояний и событийная модель. Работает в вашем контуре, решение остаётся за специалистом.
Обсудить задачу с инженеромПрикладная система компьютерного зрения — это цепочка: камеры и данные, детекция и классификация объектов, трекинг, перевод в координаты площадки, машина состояний каждого объекта и событийная модель поверх правил. Качество решают не проценты детектора, а то, как система ведёт себя в пограничных случаях. Поэтому мы начинаем с регламентов и процессов заказчика, а не с выбора модели.
Начинаем не с модели, а с документов заказчика: регламентов, инструкций, правил и того, как процесс устроен на практике. Формализуем, что именно считается событием или нарушением, в какой момент и с какими исключениями.
Из регламентов, спорных эпизодов прошлых периодов и опыта специалистов собираем ситуации, где правило срабатывает неочевидно. Получается матрица покрытия: какие ситуации система разбирает сама, какие — с оговоркой, какие оставляет человеку.
Разрешение, частота кадров, выдержка, ракурсы, синхронизация часов между источниками, реальная задержка тракта. Под каждое событие подбираем источники, с которых его видно; иногда честнее добавить камеру или датчик, чем учить модель угадывать.
Дообучаем детекторы под ваши классы и классификатор ролей, уточняем границы сегментацией или ключевыми точками, сохраняем идентичность объектов между кадрами и камерами.
По статичным камерам строим гомографию и переводим положение объектов на двумерную карту площадки в метрах. Для объектов над поверхностью используем другие ракурсы, данные датчиков или честный интервал неопределённости.
Каждый объект и процесс в целом проходит фазы, а допустимое число объектов и порядок действий зависят от текущего состояния. Неизвестное состояние не подменяем наиболее вероятным — фиксируем его как неизвестное.
Событие выводится из состояний и правил, а не из одного кадра. По каждому событию система собирает карточку: момент, ключевой кадр, синхронизированные повторы нужных ракурсов, уровень уверенности или результат «недостаточно данных».
Люди, техника, изделия, дефекты. Классификатор ролей поверх детектора — когда важно не «человек ли это», а «кто он в процессе».
Точные контуры и области: граница объекта, зона контакта, площадь дефекта, клетки на изображении микроскопа.
Траектории объектов, подсчёт в зоне и на проходе, контроль допустимого числа объектов с учётом ротации.
Пересечение линий и границ зон, порядок действий, превышение лимитов — через машину состояний и событийную модель.
Телеметрия, датчики внутри объектов, метки — используем их как основной сигнал там, где камера ненадёжна, и как разметку для обучения.
Подсчёт и классификация объектов на снимках: микроскопия, контроль качества, инвентаризация.
Модель, которая хорошо работает на типичных кадрах, ошибается там, где событие редкое, быстрое, частично закрыто или правило допускает исключение. Вот как мы с этим работаем.
Отложенный тестовый набор, который не участвует в обучении. Метрики приёмки согласуем с заказчиком по каждому классу событий: доля найденных событий, ложные срабатывания на час работы, пропуски, доля результатов «недостаточно данных», задержка уведомления и время подготовки повторов. Любую цифру указываем вместе с условиями съёмки.
Там, где ошибка дорого стоит, система находит эпизод, показывает окно повтора с нужных камер и предлагает вывод. Решение остаётся за специалистом, а его разбор возвращается в разметку и улучшает модель.
Инференс — на вашем оборудовании: сервер с GPU или вычислитель рядом с камерами. Видео не уходит в облако. Модели оптимизируем под железо, а для CPU-сценариев подбираем архитектуру заранее.
Без названий заказчиков и проектов — только класс задачи и подход.
Система помощи экспертам, которые разбирают спорные эпизоды по видео. Регламент заказчика формализован в машину состояний и событийную модель, по каждому найденному эпизоду готовится карточка с синхронизированными повторами и уровнем уверенности. Обработка — на месте, подключение к копиям сигналов, данные датчиков — как дополнительный источник. Стадия — пилотная разработка: прототип на исторических записях, критерии приёмки согласуются с заказчиком.
Собственный проект в сфере здоровья: детекция и классификация клеток крови на видео капли, снятой устройством собственной разработки. Около 95% совпадения с ручным подсчётом на проверочном наборе из 121 кадра, порядка 30 000 клеток, из них 45% сверено вручную. Два рабочих прототипа, серийного прибора пока нет.
Ведущий инженер направления — более 10 лет в компьютерном зрении: видеоаналитика в медицине и промышленности, распознавание действий, инференс на вычислителях рядом с камерами, оценка качества изображений.
Разбираем регламенты и процессы, изучаем камеры, записи и датчики, составляем матрицу пограничных случаев и критерии приёмки. Честно говорим, что видно с ваших камер, а что нет.
Сначала прототип на исторических записях: можно воспроизвести каждую ошибку и сравнить модели. Затем проверка в режиме поступления данных и живой пилот. Приёмка — по критериям, согласованным после обследования.
Развёртывание на вашем оборудовании, мониторинг качества, дообучение на разобранных специалистами эпизодах. Каждая новая версия модели сравнивается с предыдущей на одной и той же проверочной выборке.
Корпоративные LLM-системы, RAG и ИИ-агенты — на странице «Корпоративные AI-системы и локальные LLM».
Компьютерное зрение — общая область: модели, которые находят, классифицируют и отслеживают объекты на изображениях и видео. Машинным зрением обычно называют промышленное применение — контроль качества на линии. Видеоаналитика — прикладной результат на потоке с камер: события, подсчёты, тревоги. Мы разрабатываем все три в зависимости от задачи.
Не всегда. Начинаем с изучения существующих камер и записей: разрешения, частоты кадров, ракурсов. Если событие с имеющихся камер надёжно не видно, скажем об этом до пилота и предложим, какую камеру и куда добавить.
Зависит от числа классов и редкости событий. Обычно хватает ваших существующих записей: дообучаем готовые детекторы и размечаем прежде всего пограничные случаи. Для редких событий используем прицельный поиск кандидатов и, где это оправдано, синтетические данные.
На отложенном тестовом наборе, который не участвует в обучении, отдельно по каждому классу событий: полнота, точность, доля ложных срабатываний и задержка. Метрики указываем вместе с условиями съёмки — без них процент ничего не говорит.
Да. Разворачиваем инференс на оборудовании заказчика — на сервере с GPU или на вычислителе рядом с камерами. Видео не покидает контур.
Изображение человека на видео может быть персональными данными по 152-ФЗ. Проектируем обработку локально, без биометрической идентификации личности, если задача её не требует, и храним только то, что нужно для проверки событий.
Нет. Для решений с высокой ценой ошибки система находит эпизоды, показывает фрагмент и предлагает вывод, а решение принимает человек. Это и честнее, и быстрее окупается.
