Фреймворк Vitis Video Analytics SDK (VVAS) от Xilinx
Компания Xilinx официально представила фреймворк для создания и развёртывания приложений интеллектуальной видеоаналитики на целевых платформах Xilinx или на ваших собственных платформах Vitis ™ Video Analytics SDK (VVAS). Созданный на базе Xilinx Vitis ™ и Vitis ™ AI, он основан на популярном фреймворке Gstreamer и предоставляет возможность использовать плагины для разных задач, включая импорт видео, предварительную обработку, глубокое обучение и постобработку. Возможно писать код C/C++ или Python с VVAS для создания сквозных конвейеров IVA.
Фреймворк обладает следующими особенностями:
- оптимизирован для многопоточных и многоступенчатых приложений с высокой сквозной пропускной способностью и низкой задержкой
- предлагает обширную поддержку моделей ИИ для популярных задач обнаружения, сегментации и классификации объектов
- пользовательские плагины для аппаратного ускорения и обработки программного обеспечения
- миграция между встраиваемыми платформами и платформами PCIe-ускорителей с минимальными усилиями.
Vitis ™ Video Analytics SDK (VVAS) принимает входные данные с камер USB/MIPI, видео из файлов или видеопотоки через RTSP и использует Vitis AI для получения информации из изображений для различных случаев использования: определение трафика и пешеходов в умных городах, мониторинг здоровья и безопасности в больницах, самообслуживание, оформление заказов и аналитика в розничной торговле, выявление дефектов компонентов на производственном объекте и другие.
Основной SDK состоит из нескольких подключаемых модулей аппаратного ускорителя, которые используют различные блоки, такие как Video Encoder, Decoder, Multiscaler (для изменения размера и преобразования цветового пространства), Deep Learning Processing Unit (DPU) для вывода ИИ и другие для выполнения тяжёлых операций на выделенных ускорителях. Это обеспечивает фреймворку высочайшую производительность для приложений видеоаналитики.
Для сообщества разработчиков VVAS также предоставляет платформу в виде общих подключаемых модулей инфраструктуры, программных библиотек ускорения и упрощённого интерфейса, позволяющего пользователям разрабатывать свою собственную библиотеку ускорения для управления настраиваемым аппаратным ускорителем. С помощью этой структуры пользователи могут легко интегрировать свои пользовательские ускорители и ядра в VVAS. Он построен на основе Xilinx Run Time (XRT), Vitis и Vitis AI и абстрагирует сложные интерфейсы, облегчая разработчикам создание приложений для видеоаналитики.
Используя VVAS, можно развёртывать приложения на встроенных платформах на базе Zynq® UltraScale + ™ MPSoC, таких как Kria ™ SoM и ZCU104, или на платформах PCIe-ускорителей, таких как Alveo U30, U50 и VCK5000.
Vitis Video Analytics SDK и аппаратные решения на его основе обладают лучшей производительностью в своём классе, что наглядно показано на графиках ниже.
Источник: WP529, протестировано с помощью приложения ANPR Uncanny Vision с VVAS и Deepstream 5.0.
Модель AI: Yolov3 (416x416) + 3 * Resnet18 (224x224), протестировано с помощью VVAS и Deepstream 5.0
Подробно познакомиться с данным программным обеспечением можно, перейдя по ссылке.
Макро Групп – официальный партнёр Xilinx в России и странах СНГ.
По всем вопросам, связанным с приобретением и поддержкой продукции Xilinx, включая приобретение лицензий, напишите нам через форму «Задать вопрос» или позвоните по телефону 8 (800) 333-06-05.
