ИИ видеопроцессор для дронов

Аватар пользователя Serg_2022

New Qualcomm-Built Advanced Video Processor by Teledyne FLIR Powers AI at the Edge

Новый AVP с программными библиотеками Prism AI и ISP от Teledyne FLIR Powers AI

(для БПЛА, роботов и камер безопасности).

   AVP (Advanced Video Processor) – это видеопроцессор, оптимизированный для обработки видео высокого качества при минимальном энергопотреблении, компактных размерах и малом весе (Size, Weight, and Power - SWaP). Этот процессор предназначен для использования в различных устройствах, требующих высокой производительности при обработке видео, таких как дроны, портативные видеокамеры, устройства виртуальной и дополненной реальности, а также системы помощи водителю и автономного вождения.

   GOLETA, Калифорния – 16 апреля 2024 года – Компания Teledyne FLIR, часть Teledyne Technologies Incorporated, объявила о выпуске Teledyne FLIR AVP, передового видеопроцессора, предназначенного для работы с Prism™ AI и вычислительным изображением на периферии (дроне/видеокамере).

   AVP включает в себя новейший процессор Qualcomm QCS8550, самый передовой мобильный процессор от лидера в области мобильных, автомобильных и робототехнических систем-на-кристалле (system-on-chip - SoC). AVP обеспечивает лучшую в своем классе производительность искусственного интеллекта (AI) в небольшом, легком и маломощном модуле для интеграции тепловизионных и видимых камер в БПЛА, роботов, портативные устройства и стационарные системы безопасности.

Обнаружение и классификация техники. Опознан t-72m2 с вероятностью 97%.

   AVP работает с программными библиотеками Teledyne FLIR Prism AI и ISP и взаимодействует с модулями тепловизионных инфракрасных камер Boson® и Neutrino®, а также с широким спектром популярных видеокамер. Обученное на крупнейшем в мире каталоге тепловых изображений с более чем 5 миллионами изображений, программное обеспечение Prism AI является мощным инструментом для обнаружения, классификации и отслеживания целей или объектов в системах автономного управления автомобилями, автоматического экстренного торможения автомобилей, полезной нагрузки воздушных камер, систем противодействия дронам, наземной разведки, наблюдения и рекогносцировки (Intelligence, Surveillance and Reconnaissance - ISR), а также для обеспечения безопасности периметра. Prism ISP представляет собой комплексный набор алгоритмов обработки изображений, включающих суперразрешение, слияние изображений, устранение атмосферных турбулентностей, электронную стабилизацию, локальное улучшение контраста и уменьшение шума.

Обнаружение и классификация БПЛА и птиц.

   «Новый AVP от Teledyne FLIR является самым мощным и оптимизированным по параметрам SWaP процессором на рынке сегодня, выполняя задачи ИИ в пять раз быстрее, чем конкурентные предложения,» - сказал Дэн Уокер, вице-президент по управлению продуктами компании Teledyne FLIR. «Сочетание мощных «Периферийных Вычислений» (edge computing -устоявшегося русского термина еще нет, но можно перевести, как «концепция граничных вычислений» или «периферийные вычисления») и цифровых решений Prism открывает новую эру возможностей электрооптических систем, упрощая разработку и снижая риски интеграции.»

   Edge computing или Периферийные вычисления представляют собой вычислительную архитектуру, в которой данные обрабатываются не в централизованном облаке или дата-центре, а на "периферии" сети, то есть ближе к месту их возникновения. Это может быть непосредственно на устройстве, таком как БПЛА или камера слежения. Основная идея заключается в том, чтобы минимизировать задержки и уменьшить нагрузку на центральные серверы, обрабатывая данные как можно ближе к их источнику.

Обнаружение движения и распознавание людей.

   AVP от Teledyne FLIR предназначен для того, чтобы дать интеграторам возможность создавать мощные продукты с интеллектуальными «Периферийными Вычислениями». Он поддерживается рядом инструментов, упрощающих и ускоряющих разработку, включая набор для разработки Qualcomm RB5. Также доступны программное обеспечение и пакеты поддержки плат, позволяющие разработчикам проектировать и изготавливать пользовательские интерфейсные платы, соответствующие специфическим требованиям каждого продукта по форме, размеру, функциям и вводу-выводу (IO).

AVP с программными библиотеками Prism AI и ISP от Teledyne FLIR

Технические характеристики процессора Qualcomm® QCS8550

Производительность вычислений до 48 TOPS.

Авторство: 
Авторская работа / переводика

Комментарии

Аватар пользователя Корректор
Корректор(7 лет 7 месяцев)

Ну да, кучно пошло. На 2025 года тоже планируется масса интересного. Но все самое интересное именно в софте под это железо.

Аватар пользователя Safron
Safron(12 лет 7 месяцев)

Когда fpv-дроны хорошо научатся сбивать другие fpv-дроны интересная движуха начнется. По сути будет война логистик, кто больше дронов подвезет, тот и занял небо.

Аватар пользователя Shulz
Shulz(2 года 3 месяца)

Нейтронную бомбочку грохнул, и все миллионы дронов в округе  - в полной отключке

Аватар пользователя КиберЁжик
КиберЁжик(1 год 9 месяцев)

Необязательно. Российские системы РЭБ вполне справляются. При этом расходы только на соляру для генератора.

Но их мало. 

Может Белоусов чего решит с этим. С количеством.

Аватар пользователя С.Беловодский

Кстати о РЭБ. Вопрос дилетанта - неужели нельзя создать компактный генератор "белого шума", забивающий ВСЕ используемые дронами частоты? Детектор фиксирует наличие дрона - генератор забивает эфир - дрон либо падает, либо возвращается на точку старта.

Мне кажется, что размеры подобного девайса вполне приемлемы будут. В крайнем случае на УАЗ можно будет впихнуть. 

Аватар пользователя Николай Зубков

Кратко -  да, можно. Если рядом Саяно-Шушенская ГЭС. Еще короче - НЕТ.

А в общем - на каждую хитрый болт есть кувалда - широкополосные  системы направленной передачи DSSS (Direct Sequence Spread Spectrum)/FHSS/OFDM не глушатся вообще. Они не только не глушатся, но и не пеленгуются, и даже не обнаруживаются. Что бы обнаружить сам факт их работы надо попасть в сектор излучения + знать коды преобразования - иначе сигнал не отличим от белого шума...

Аватар пользователя Safron
Safron(12 лет 7 месяцев)

Ну это примерно как сделать музыкальный инструмент, который сыграет музыку на всех частотах звука

Аватар пользователя kw
kw(10 лет 5 месяцев)

ИИ твой РЭБ по***ру. У ИИ полётное задание согласно которому он будет воевать. Статья как раз об ИИ для дронов.

Против дронов эффективны только автоматические дроны охотники.

Уже скоро выпустят рой дронов с ИИ на поле боя. Дроны из автоматов наших парней всех постреляют в капусту, уже сейчас основные потери от дронов. Если Китай нам не поможет в этом, то тогда только ядерка останется как последний довод, но бить ядеркой по уркаине значит показать свою слабость и дать возможность западлу поставить ядерку уркаинцам для удара уже по нам, значит бить надо в первую очередь по всей военной инфраструктуре НАТО в Европе а так же по критической инфраструктуре Европы и бить массово без оглядки, бить залпом, тогда пиндосы спрыгнут т.к. им будет что терять, а европка после удара будет валяться в нокауте, разумеется в этом случаи придётся ТЯО ударить и по куеву до кучи, иначе как то несправедливо будет если куев, который по факту и наскакал на мудане всё это, не угорит.

Аватар пользователя Safron
Safron(12 лет 7 месяцев)

Скоро самоходные зенитки от дронов появятся, будут все что подлетает крошить на куски

Аватар пользователя kw
kw(10 лет 5 месяцев)

Для начала сбей хотя бы БПЛА США над чёрным морем, геостратег.

Аватар пользователя hostas
hostas(12 лет 11 месяцев)

А если человек в юбке до пола ? С елкой не перепутает ?

Аватар пользователя Serg_2022
Serg_2022(2 года 8 месяцев)

Тепловой след выдаст. Но это безусловно осложнит идентификацию.

Аватар пользователя Корректор
Корректор(7 лет 7 месяцев)

Не только тепловой след, а целом "техническое зрение" как объединение множества видеоканалов нескольких диапазонов зрения в единую синтетическую реальность.

По сравнению с машинами зрение людей полный отстой. Пехотинец слепой, глухой, очень хрупкий и медленный на роботизированном поле боя. Говоря проще, совершенно бесполезен. 

Роботизированная война, это совсем другая война. И война на иных принципах.

Аватар пользователя kw
kw(10 лет 5 месяцев)

+

Аватар пользователя новичок 23
новичок 23(1 год 3 недели)

До тех пор, пока кто-нибудь не придумает большую рыбацкую сеть для траления неба. 

Аватар пользователя Византий
Византий(5 лет 7 месяцев)

Не даром пиндосы намедни орали, что РФ размещает ядерное оружие в ближнем космосе

Да, жахнем и не будет Старлинка, как же  жалким пиндосам воевать?

Аватар пользователя AlexeyPerevalov
AlexeyPerevalov(8 месяцев 2 недели)

1. Не жахнет

2. Если жахнет эффект воздействия на группировку спутников будет  крайне ограничен, сейчас на 70е 20ого века

3. Статья про начинку дронов, которые будут автономны, а не телематически управляемы. Запускаешь 10000 таких и в радиусе 30 км техники противн ка не останется совсем.

Аватар пользователя Mr.Wolf
Mr.Wolf(5 лет 7 месяцев)

3. Статья про начинку дронов, которые будут автономны, а не телематически управляемы. Запускаешь 10000 таких и в радиусе 30 км техники противн ка не останется совсем

Опять надеетесь на войну с папуасами? Ну-ну. Талибы с интересом разглядывают вас.

Аватар пользователя RusEngineer
RusEngineer(8 лет 4 месяца)

Талибы с интересом разглядывают вас.

Дело в том, что мы не талибы. И не хуситы, которым иранцы в пустыню подвозят...

Следует признать, что "партнёры" далеко продвинулись.  Объективно, "аналоговнет" (м.б. китайцы на подходе, но пока не презентовали).

Аватар пользователя Mr.Wolf
Mr.Wolf(5 лет 7 месяцев)

Следует признать, что "партнёры" далеко продвинулись.  Объективно, "аналоговнет" (м.б. китайцы на подходе, но пока не презентовали).

Однако также следует признать, что быть монополистом/лидером во всех областях - оно не получается. "Партнеры" продвинулись в одном - мы в другом. Значит надо давить там, где у них "аналоговнет". 

Как-бы результаты пока подтверждают, что таковые области имеются.

Аватар пользователя Dkadk220
Dkadk220(8 месяцев 1 неделя)

Наши что-то своё делают в части начинок для Дронов и прочего?

Аватар пользователя Serg_2022
Serg_2022(2 года 8 месяцев)

За разглашение срок дают.

За анализ открытой информации потенциального противника медали дают.

Выбор очевиден.

Аватар пользователя roman.kuvaldin
roman.kuvaldin(12 лет 11 месяцев)

У нас в стране нет достаточно мелкого техпроцесса, который бы обеспечивал приемлемую энергоемкость подобным устройствам. Иначе - гусеничная платформа и дизель-генератор :-) Исторически сложилось, что сейчас только Тайвань умеет такое.

Аватар пользователя tribotinka
tribotinka(2 года 8 месяцев)

Ну нейропроцессор по сравнению с NVIDIA не очень. С чего вдруг возгласы что "самые крутые в мире" . И это при доходе в ~ 6 млрд в год, из которых 2/3 приносят разработки схем ночного видения из за которых FLIR и приобретался. Для справки - доход NVIDIA почти 50 млрд , а Qualcomm - 35 млрд 

Аватар пользователя Serg_2022
Serg_2022(2 года 8 месяцев)

  1.3 TFLOPS - NVIDIA Jetson TX2

21.0 TFLOPS - NVIDIA Jetson Xavier NX (см. https://aftershock.news/?q=node/1389972)

48.0 TFLOPS - Qualcomm® QCS8550

Qualcomm более чем в два раза производительней NVIDIA

Аватар пользователя Корректор
Корректор(7 лет 7 месяцев)

Jetson Thor новая архитектура Blackwell и 2000 TFLOPS

Аватар пользователя Serg_2022
Serg_2022(2 года 8 месяцев)

Jetson Thor новая архитектура Blackwell и 2000 TFLOPS

   Одним из чипов стала модель Blackwell B200, которая легла в основу платформы GB200 Superchip. Ускоритель имеет показатель энергопотребления (TDP) в 1200 Вт, и это на 500 Вт выше, чем у Hopper H100. Сама платформа, которая включает два чипа B200, может потреблять до 2700 Вт электроэнергии.

2,7 Квт на дрон поставить? Этож какой аккумулятор нужОн? Танковый?

Сравнивать необходимо процессоры, решения для дронов:

21.0 TFLOPS - NVIDIA Jetson Xavier NX

48.0 TFLOPS - AVP от Teledyne FLIR на Qualcomm® QCS8550

Аватар пользователя tribotinka
tribotinka(2 года 8 месяцев)

Qualcomm более чем в два раза производительней NVIDIA

Не так считаете - на FP16 более чем в пять раз быстрее NVIDIA. В спеке на Qualcom явно написано - AI Dual eNPU V3, 4 x HVX, HMX, 48 INT8, 12 FP16 TOPs https://docs.qualcomm.com/bundle/publicresource/87-61717-1_REV_A_Qualcomm_QCS8550_QCM8550_Processors_Product_Brief.pdf .  Т.е. они эту всю историю разгоняют на INT 8.  В то время как NVIDIA делает более коректнее - во первых разрядность INT8 уже мало кому интересна - современный уровень это FP16 и обычно более 20 TFLOPS (H100 Hopper 80 GB - cамая мощная. FP16 = 204.9 TFLOPS ; RTX 6000 Ada - FP16 =91 TFLOPS)

А вот для NVIDIA T4 имеет высокий FP16 = 65 TFLOPS, но низкий FP32 = 8 TFLOPS. Поэтому NVIDIA всегда пишет в спеках типа - Mixed-Precision (FP16/FP32) для оценки именно тензорных ядер https://images.nvidia.com/aem-dam/en-zz/Solutions/design-visualization/technologies/turing-architecture/NVIDIA-Turing-Architecture-Whitepaper.pdf

Аватар пользователя XS
XS(10 лет 6 месяцев)

Цена?

Аватар пользователя RusEngineer
RusEngineer(8 лет 4 месяца)

Обнаруженного танка? Повыше, чем у микросхемы.

Аватар пользователя M@troskin
M@troskin(11 лет 10 месяцев)

Обнаруженного танка? Повыше, чем у микросхемы.

RnD, как обычно, в цену мелкосхемы включить забыли...

а там скромные миллиарды баксов...

Аватар пользователя XS
XS(10 лет 6 месяцев)

Я не спросил про экономическую эффективность, я просто спросил про цену )

Аватар пользователя Serg_2022
Serg_2022(2 года 8 месяцев)

Цену не запрашивал, но могу прикинуть.

21.0 TFLOPS - NVIDIA Jetson Xavier NX на Алиэкспресс - 68 000 рублей

48.0 TFLOPS - Qualcomm® QCS8550 - будет в диапазоне 130 000 - 180 000 рублей

Аватар пользователя tribotinka
tribotinka(2 года 8 месяцев)

Цена?

Копейки, это же обычный процессор для мобильника. Впрочем - тут Qualcomm в сильно неприятной истории - из за конкуренции с китайцами и корейцами он сильно профукал в том числе и в мобильном сегменте - по-моему больше 45% упал в прибыли за 2023 год.  https://www.interfax.ru/business/928773

Аватар пользователя РАФ-9
РАФ-9(1 год 8 месяцев)

Простые FPV житья не дают и пока нет надёжных средств борьбы с ними.

С этими автономными будет хуже. Натуральная страж-птица.

Все эти штуки сейчас обкатываются в боевых условиях, поэтому развиваться будут быстро.

Аватар пользователя Serg_2022
Serg_2022(2 года 8 месяцев)

Аватар пользователя Assert
Assert(9 лет 1 месяц)

Хорошая штука. Россия такие не сможет делать ещё лет 10-20, если вообще сможет когда нибудь. Автономные дроны, это совсем другой уровень ведения боевых действий. Новая эра. Их можно очень хорошо защищать от средств рэб и эми. 

Аватар пользователя Vastrel
Vastrel(3 года 9 месяцев)

По хорошему, это просто работа софта с картинкой от камеры 

Проц нужен хороший к софту ещё, чтобы экономно обрабатывать мог это все, если на мелких дронах, где большой акк это проблема 

Тут основная проблема, что задержка с применением на фронте (отставание) даже на 1 месяц, могут обернуться катастрофическими потерями боевой техники.

Тут уж крыть тактическим, чтобы одумались, а то всю броню дронами положат

Аватар пользователя Serg_2022
Serg_2022(2 года 8 месяцев)

Надо делать дорогой целеуказатель, который наводит дешевые дроны на распознанные цели.

При обнаружении группы целей он может сесть в пределах прямой видимости целей и дальше наводить дроны пчелы на конечном участке на цели. Дроны пчелы прилетают из тыла в место работы и дрон целеуказатель перехватывает управление по оптическому каналу (лазер/ИК) при прямой видимости и ведет на цель. После поражения анализирует уничтожен или нет. И дальше работает.

РЭБ бессилен.

Аватар пользователя RusEngineer
RusEngineer(8 лет 4 месяца)

сесть в пределах прямой видимости целей

Пацаны, я тут присяду, не против?

Аватар пользователя Serg_2022
Serg_2022(2 года 8 месяцев)

Смотря какая раскладка на клавиатуре smile3.gif

Аватар пользователя Pablo666
Pablo666(1 год 6 месяцев)

Сбил такую "матку" и все остальные бесполезны. А она большая, медленная и теплая.
Смысл этих микросхем - по наведению конечного изделия. 

Хотя, что-то мне подсказывает, что  обычная "китайская малина/банана" сможет достичь примерно таких же успехов.
 

Аватар пользователя Serg_2022
Serg_2022(2 года 8 месяцев)

И "Матки" и "Пчелы" (ударный, умный рой)- расходный вариант. Просто практика применения разная.

"Пчелы" - как можно дешевые изделия и как можно больше функций перенесены на "Матку". Она их на цели ведет и не жалеет. Цена 100:1

"Матку" необходимо максимально беречь т.к. стоит дорого. Поэтому: режим полного радиомолчания, никаких исходящих сигналов, общение только по оптическому каналу в пределах прямого видения "Пчелы" (+ система свой/чужой по отраженному сигналу), сбор и обработка видеоданных пассивная, эффективное самоохлаждение - пропеллеры обдувают, снимают и отводят тепло/, режим "засада" - поиск господствующей высоты и приземление на ней для пассивного мониторинга местности (снижает тепловыделение и увеличивает время работы аккумуляторов).

"Матка" взаимозаменяема. При потере одной - высылается другая, если это необходимо.

Разведку координируют с БПЛА типа Орлан - который ищет скопления военнослужащих и техники.

Аватар пользователя kw
kw(10 лет 5 месяцев)

я это пытался дебилам тут на сайте доказывать ещё перед СВО и в первый год СВО говорил за то что РОЙ нельзя заРЭБить, так секта свидетелей РЭБ все мои доводы переорала, после чего я стал считать их всех врагами народа и судя по тому что наше МО просрало тему БПЛА перед СВО, таки да, свидетели РЭБ враги народа.

Аватар пользователя Serg_2022
Serg_2022(2 года 8 месяцев)

Рой это сложная разработка. Радиомолчащий Рой - уникальная разработка. Гораздо проще взять готовый квадрик у которого все на борту и его ПО дорабатывать.

Создание Роя это узкая задача - широкомасштабная война (не с папуасами). А на это никто не рассчитывал.

Аватар пользователя Vastrel
Vastrel(3 года 9 месяцев)

Если наши в ближайшее время аналогов не выкатят - это будет очень грустно 

Полностью автономные дроны - это кабздец

В артснаряде или ещё как высыпал их на ЛБС и вся техника выкошена

Где пикап и танк - стоят коэффициенты справа, вроде 0.55 у пикапа и 0.97 у танка и пикап как civilian помечен. То есть тут весьма приличная избирательность по типам целей

И охотников на дронов делать можно из них...

К этому всё шло - убрать операторов.

И никакая глушилка уже не помощник. Дрон полностью автономный

Аватар пользователя roman.kuvaldin
roman.kuvaldin(12 лет 11 месяцев)

Берем картонный щит, рисуем на нем корову и приклеиваем сверху на танк...

Аватар пользователя Vastrel
Vastrel(3 года 9 месяцев)

Упростим. Просто пишем на танке "корова" и танк защищён!

Аватар пользователя knuckles
knuckles(6 лет 2 месяца)

Судя по техническим характеристикам системы – по сути мы имеем мобильный телефон, переделанный в беспилотник. А значит не так важно, какая там будет стоять современная начинка. Важно, какое там будет установлено ПО. И насколько быстро это ПО будет адаптироваться (дорабатываться) к изменению в тактике боя. Первое, что приходит на ум для противодействия – это те самые надувные модели, нагретые для распознавания тепловизором. Но при этом выпускать то эти дроны будет не просто так, а во время проведения операций, где техника активно используется в боевых действиях. Вообщем проблема серьезная, и не только для танков и ббм, но и для артиллерии, снабжения.

Аватар пользователя Olsol
Olsol(6 лет 6 месяцев)

Надувная модель подороже такого дрона на порядки. И обслугу требует

Страницы