Revoluce v počítačovém vidění: Event based kamery od IDS

11. července 2025

Extrémně rychlá detekce pohybu s minimální datovou zátěží

Přesné zaznamenání a analýza rychlých pohybů jsou náročné úkoly. Přestože vysokorychlostní kamery s vysokým rozlišením snímače a vysokou snímkovou frekvencí poskytují podrobné informace, generují obrovské množství dat, která je třeba ukládat, přenášet a zpracovávat. Obsahují také velké množství irelevantních statických informací, které je třeba nákladně filtrovat. Nižší snímkové frekvence snižují množství dat, ale vedou k rozmazání pohybu nebo k nedostatku detailů. Řešení s klasickými (obrazovými) kamerami proto obsahují kompromisy. Informace o pohybu však lze zaznamenávat i zcela jiným způsobem – efektivněji a s podstatně menším množstvím dat!

Nová technologie snímačů, inspirovaná přírodou a zejména lidským mozkem, sleduje právě tento přístup. Namísto generování záplavy nadbytečných obrazových informací se tato technologie soustředí výhradně na to, co se skutečně mění. 

Výsledkem je vysoce přesná informace o pohybu s výrazně menším množstvím dat. To otevírá zcela nové možnosti – zejména v aplikacích, kde je důležitá rychlost a efektivita. Přesný název této převratné revoluce je „snímač vidění event based založený na událostech“, zkráceně EVS.

Průlomová technologie senzorů

Event based zobrazování na základě událostí se také označuje jako neuromorfní senzorová technologie – senzory se schopností zpracovávat informace podobně jako lidský nervový systém. K tomu si musíme uvědomit, že evoluční výhoda našeho mozku nespočívá jen v tom, že dokáže efektivně zpracovávat obrovské množství dat z nepřetržitých světelných podnětů z fotoreceptorů v našich očích. Klíčová je schopnost reagovat na změny, jako jsou rozdíly v jasu, kontrastech a pohybech, zatímco uniformní podněty jsou z velké části ignorovány. To znamená, že se soustředíme především na pohyby ve scéně, místo abychom neustále znovu zachycovali každý statický detail našeho okolí. Náš mozek tak může rychle zpracovávat relevantní informace, aniž by byl zahlcen zbytečnými daty.

Aby bylo možné tuto schopnost reprodukovat, vyvinula společnost Prophesee ve spolupráci se společností Sony speciální pixelovou elektroniku, jejímž hlavním úkolem je pouze detekovat a zaznamenávat změny. Pokud se kontrastní hodnota pixelu změní nad určitou prahovou hodnotu, spustí se tzv. „change event“. Každý pixel se chová nezávisle na svých sousedních pixelech a v reálném čase. To znamená, že není vázán na pevný časový interval (ve srovnání se snímkovou frekvenci). Minimální časový interval mezi dvěma událostmi pixelu je důležitou vlastností tohoto snímače a označuje se jako „časové rozlišení“. Společnost Sony jej u snímače IMX636 udává jako 1 mikrosekundu. To umožňuje velmi rychlé a téměř „konstantní“ snímání pohybů. Tak vysoká rychlost změn u klasických snímačů by odpovídala snímací frekvenci více než 10 000fps!

Žádné snímky! Pouze změny

Zatímco klasické obrazové snímače vždy přenášejí v pravidelných intervalech kompletní množství dat z celé plochy snímače, event based kamera často generuje ve stejném časovém úseku pouze velmi malé množství dat. To znamená, že vývojáři aplikací nemusí dělat kompromisy mezi vysokou snímkovou frekvencí a velkým množstvím nadbytečných dat, aby přesně zachytili rychlé události. Je to proto, že množství dat generovaných kamerami EVS závisí na aktivitě v zorném poli a automaticky se přizpůsobuje, pokud se změní podmínky na scéně. Na rozdíl od obrazových snímačů s pevnou snímkovou frekvencí pixely EVS přenášejí informace a generují datový provoz pouze tehdy, když v zorném poli dochází ke změnám.

(Ne)ostrost pohybu

Běžné snímače mohou díky své technologii způsobovat rozmazání obrazu při rychlých pohybech. K tomu dochází, když se hranice kontrastu (např. v důsledku okrajů objektů) pohybují přes několik sousedních pixelů během jejich exponování. Každý pixel zachycuje světlo z různých pozic pohybujícího se objektu. Čím rychlejší je pohyb nebo čím delší je expoziční doba, tím obtížnější je získat jasný obraz bez zkreslení. Naproti tomu pixely EVS průběžně analyzují dopadající světlo a v komparátoru zaznamenávají pouze nárůst nebo pokles množství světla. Pokud překročí nastavené prahové hodnoty, generují události změny zapnutí nebo vypnutí s časovou přesností přibližně jedné mikrosekundy. I ty nejrychlejší pohyby jsou snímány pixel po pixelu pomocí technologie EVS. Vzniká tak sekvence (stream) nezávislých událostí v pixelech s vysokým rozlišením, které popisují dráhu pohybu bez jakéhokoli rozmazání pohybu.

Každý pixel EVS nepřetržitě zaznamenává dopadající světlo a generuje „change event“, kdykoli intenzita světla překročí určitou prahovou hodnotu, ať už směrem nahoru nebo dolů.

Srovnání dat z kamer založených na obrazu a kamer založených na událostech

			Klasická MV kamera			Event based kamera
Data			Kompletní snímek z čipu			Pixel event v reálném čase
Informace z čipu			Jas všech pixelů (0-255) Informace o barvě (RGB)			X/Y polohy události Polarita události (ON/OFF) Časové razítko
Množství dat			Konstantní snímková frekvence Podle specifikace			Asynchronní V závislosti na obsahu
Kvalita			Vysoké rozlišení			Vysoké časové rozlišení

Méně dat – efektivnější informace

Nativní výstup dat z kamer EVS (poloha pixelu X/Y, polarita události ON/OFF, časová značka T), tj. informační obsah proudu event based kamer, je mimořádně kompaktní a efektivní, ale neposkytuje klasické snímky. Díky tomu jsou ideální pro zpracování stroji a algoritmy, ale méně intuitivní nebo použitelné pro člověka. Chceme-li přesto vizualizovat proud výsledků v podobě obrázků, připomínají tyto obrázky 2D obraz z kamery po detekci hran. Důvodem je skutečnost, že změny kontrastu při pohybu jsou méně patrné na rovnoměrně osvětlených plochách a více patrné na hranách objektů.

Vzhledem k tomu, že se zaznamenávají pouze relevantní, a tedy podstatně méně dat, výrazně se snižují nároky na ukládání a náročnost zpracování. Kromě toho informace o událostech již podporují rozpoznávání vzorů a směrů pohybu. Časové mezery mezi zaznamenanými událostmi lze také využít k přímému výpočtu rychlosti pohybu pixelu nebo objektu, aniž by bylo nutné zpracovávat velké množství snímků, například k oddělení relevantních informací od zbytečných statických dat na pozadí.

Díky malému množství dat lze mnoho procesů analyzovat téměř v reálném čase. Systémy s více kamerami se také mnohem snadněji realizují, protože vyžadují podstatně menší datovou zátěž. Výkonnost hostitelských počítačů pro zpracování obrazu, periferní zařízení sestávající z kabeláže, napájení a příslušenství mohou být dimenzovány na nižší zatížení a s tím souvisejícími nižšími náklady.

Na základě přesného časového razítka v mikrosekundách a polohy každého jednotlivého pixelu vznikají zcela nové možnosti použití. Takzvaný Change event již obsahuje cenná data, ze kterých lze odvodit další důležité informace. Ty běžné kamery s pevnou snímkovou frekvencí nemohou kvůli konstantní vzorkovací frekvenci zachytit nebo se vzhledem k typu výstupu ztrácejí ve velkém množství nadbytečných dat.

Data událostí pro vytváření zpomalených záznamů nabízejí zajímavou možnost analýzy. Akumulací zachycených událostí pixelů v časové mřížce a generováním kompletních snímků ze snímače z nich vznikají zpomalená videa s proměnlivou „dobou expozice“. Rychlost přehrávání zůstává proměnlivá díky zvolené době akumulace a frekvenci zobrazování snímků. Pohybuje se od reálného času (super zpomalený pohyb s jedním snímkem na událost) přes skutečnou rychlost pohybu (při cca 1 snímku za 33 ms) až po statický obraz. Pokud se všechny zaznamenané události shrnou (z hlediska času), zobrazí se kompletní historie pohybu.

Pro přesnou číselnou analýzu pohybu objektu lze také získat informace o rychlosti a směru. K tomu není nutné žádné složitější zpracování obrazu. Pokud se naopak v 3D vizualizaci nahromadí poloha a čas několika pixelových událostí v určitém časovém rozsahu, výsledkem je kvalitativní zobrazení dráhy pohybu. To následně pomáhá pochopit, jak a po jakých drahách se objekty v (časové) oblasti pohybují. Tento postup se používá například při analýze proudění pro vysoce přesnou detekci pohybu kapalin a plynů.

Kumulace dat založených na událostech vytváří ideální analytická data pro vizualizaci a kvantifikaci toku.

Nová data – nové přístupy ke zpracování

Aby však bylo možné tyto nové informace ze snímačů využít, musí vývojáři najít jiný způsob, jak zpracovávat dosud cyklické sekvence zpracování obrazu. Data o několika událostech lze samozřejmě shrnout do klasických snímků, takže je lze zpracovávat i jako běžné snímky s konstantní snímkovou frekvencí. Tento způsob však nemusí být optimální, protože nevyužívá výhod dynamiky dat. Například vysokou časovou přesnost pro rychlé pohyby a efektivní zpracování menšího počtu dat najednou, což může také snížit spotřebu energie. Pouze pomocí vhodných funkcí, nástrojů a algoritmů lze z dat o událostech rychle a efektivně extrahovat a zpracovávat vzory, pohyby, časy a struktury. To dnes nenajdeme v žádném ze známých (na obraze založených) standardních rámců vidění.

Společnosti Prophesee a Sony, výrobci nové senzorové technologie, však již vyvinuly odpovídající metody zpracování a užitečné funkce zpřístupnily v SDK Metavision spolu s podrobnou dokumentací a četnými ukázkami. Uživatelé tak mohou okamžitě začít a rychle využívat nové možnosti této inovativní technologie.

Pro provoz kamery IDS EVS „uEye XCP-E“ je třeba na hostitelském počítači nainstalovat pouze zásuvný modul IDS HAL. Kamera je pak okamžitě připravena k použití se sadou SDK Metavision Prophesee.

Vysoká přesnost v reálném čase – EVS při zajišťování kvality?

Schopnosti neuromorfních senzorů mohou hrát důležitou roli také při zajišťování a zlepšování kvality. Zejména v aplikacích, kde je vyžadována přesnost, rychlost a účinnost při detekci závad. Přidaná hodnota spočívající ve schopnosti zaznamenávat nejmenší změny objektů a materiálů ve velikosti pixelu a v reálném čase je zřejmá například při monitorování strojů a procesů. Díky vysokému časovému rozlišení, které sahá až do rozsahu nízkých mikrosekund, lze vizualizovat i vysokofrekvenční pohyby, jako jsou vibrace nebo akustické signály. Analýzy včas odhalí neobvyklé vzorce (např. v důsledku opotřebení, poruch), které mohou vést k poškození nebo odstávce výroby.

Vzhledem k tomu, že neuromorfní senzory vnímají pouze pohyby nebo kontrasty, jsou mnohem méně citlivé na změny světla, což je v silně se měnících světelných podmínkách (např. odrazy, stíny) činí mnohem lepšími než běžné systémy zpracování obrazu. Pokud jde o rychlou detekci závad, monitorování procesů nebo kontroly za ztížených podmínek, mohou procesy zajištění kvality ze schopností neuromorfních senzorů jen těžit.

Praktické aplikace

Event-based kamery IDS jsou ideální pro aplikace, kde se pracuje s rychlými ději, pohybem, nebo proměnlivými světelnými podmínkami.

1. Detekce vibrací a akustiky

Event-kamery detekují i ty nejmenší mikropohyby. To se hodí například při kontrole vibrací motorů nebo strojních částí.

2. Flow monitoring a proudění kapalin

Místo použití složitých algoritmů pro detekci pohybu v obraze je event-based kamera schopná vizualizovat směr a rychlost pohybu částic přímo na úrovni jednotlivých událostí.

3. Sledování rychlých objektů

Díky vysoké časové přesnosti lze event-kamerami analyzovat rotaci, skoky, či balistické dráhy s detailností, kterou běžné kamery nedosáhnou.

4. Bezpečnost a dohled

Změny v prostředí – pohyb osob, blikání světla, otevření dveří – jsou detekovány v reálném čase s minimem zpracovávaných dat, což umožňuje nasazení na nízkovýkonných systémech nebo v edge computingu.

EVS – trend nebo nutnost?

Senzory založené na událostech nezachycují kompletní obraz, ale pouze změny pixelů v čase. Lze je však použít k dynamickému sestavování velmi odlišných vizualizací, které aplikacím poskytují podstatně více informací o pohybu, než by mohly poskytnout kamery s pouhými konvenčními obrazovými snímači. Proto si tyto technologie nekonkurují! Snímače založené na událostech tedy nejsou obecnou náhradou klasických kamer s obrazem nebo dokonce zpracováním obrazu na bázi umělé inteligence, ale spíše doplňkovou technologií. Otevírá nové další možnosti, pokud jde o záznam pohybu. V různých aplikacích nestačí jediný typ snímače nebo typ výsledných dat. K optimalizaci požadavku zákazníka je často nutná kombinace různých informací, a tedy různých kategorií kamer. Kamery založené na událostech jsou proto zajímavými a hodnotnými komponentami pro rychlé analýzy pohybu, průmyslové úlohy zajištění kvality, robotiku a autonomní systémy obecně.

V případě zájmu o více informací nás neváhejte kontaktovat!