1.2 Indikátory projektu

2 Program realizace projektu

2.1 Celkový program

Tento projekt se zaměřuje na problémy automatického testování výkonu displeje a vyvíjí testovací systém automatizace displeje založený na strojovém vidění, což je celkové řešení systému, jak je znázorněno na obrázku 1. Z vývoje robotického ramena a modulu řízení, modulu strojového vidění a vývoje integrace systémů se rozvíjejí tři aspekty, hlavní obsah výzkumu zahrnuje následující aspekty:
(1) v kombinaci s návrhem hardwarové platformy a softwarového systému dokončit celkový návrh plánu robotického pohybu s pravoúhlými souřadnicami; Prostřednictvím technologií řízení pohybu s více stupněmi svobody, vybudování servo řídicího systému, dokončení spuštění do provozu softwaru a navrhování provozního rozhraní člověka a stroje, dosažení vytvoření a spuštění do provozu robotického pohybu s pravoúhlými souřadníky.
(2) použití technologie sběru a zpracování obrazu, kalibrace fotoaparátu, vylepšení obrazu, odstranění hluku a extrakce okrajů, získávání a přenos informací o provozním stavu displeje na základě vývojového rámce aplikací OpenCV a QT a vývoj modulu monitorování provozního stavu displeje založeného na strojovém vidění.
(3) použití funkčního modulu návrhu a integrační technologie, dokončení komunikace a funkční shody souřadnic robotického systému řízení pohybu a zařízení pro zpracování obrazu, aby se dosáhlo automatizovaného testování provozního stavu displeje založeného na strojovém vidění.

Obrázek 1 Zkušební systém automatizace displejů založený na strojovém vidění

2.2 Konkrétní programy

Tento projekt provádí výzkum klíčových technologií testování automatizace displeje založené na strojovém vidění, displej je umístěn po termostatě, upevněn pomocí speciálního uchycení, když robotická ruka místo lidské ruky provozuje displej, je třeba použít strojové vidění pro monitorování provozního stavu displeje a zpětnou vazbu uzavřeného smyčku informací a vytvořit databázi informací o poruchách displeje. Konkrétní implementační plán bude zahájen ve třech aspektech vývoje a řízení robotického ramene, modulu strojového vidění a vývoje integrace systémů.

2.2.1 Vývoj strojového vizuálního detekčního modulu

Strojové viděníNamísto lidského oka měří a posuzuje stroje.Systémy strojového viděníJe přes strojové vizuální produkty (tj. zařízení pro získávání obrazu, CMOS a CCD) převést získávaný cíl na obrazový signál, který je přenášen na speciálníSystémy zpracování obrazuzískání morfologických informací o snímaném cíli a přeměna na digitální signál podle distribuce pixelů a jasnosti, barvy a dalších informací; Obrazový systém provádí různé výpočty těchto signálů, aby extrahoval charakteristiku cíle a následně řídil pohyb zařízení na místě podle výsledků identifikace.
(1) Snímat signál obrazu o provozním stavu displeje
Strojová vizuální kontrola provozního stavu displeje pomocí CCD detekce, princip měření je uveden na obrázku 3. Pomocí čoček zobrazte koncovou stranu obrazu displeje na CCD (jak je znázorněno na obrázku 2). CCD a jeho pohonný obvod budou shromažďovat signál, který bude následně výstup, poté po analogické konverzi, získat data zpracováváním počítačem, zpracováním a rozpoznáním obrazu, zobrazováním koncové plochy obrazu a zpětnou vazbu do počítačového řídicího systému, který poskytuje základ pro analýzu provozního stavu displeje.




Obrázek 3 Principální schéma strojového vidění


Obrázek 4 Diagram systému měření vizuálním senzorem


(2) zpracování obrazu o provozním stavu displeje
Obrázky získané pomocí CCD vyžadují zpracování a rozpoznání obrazu, aby se získal přesný a jasný obraz provozního stavu displeje. Nejprve přes CCD a jeho pohonný obvod převést obrazový model jednotlivých bodů na elektrický signál, a poté po zpracování programu, zlepšení obrazu, šedivé úpravy, odstranění hluku, prahové rozdělení, extrakce okrajů obrazu a další zpracování, čímž se zlepší přesnost a přesnost detekce a nakonec se získávaný obraz klasifikuje a vytvoří databázi detekce poruch displeje. Kalibrace fotoaparátu a zpracování binárního obrazu jsou znázorněny na obrázcích 5 a 6.



Obrázek 5 Kalibrace fotoaparátu
Obrázek 6 Zpracování obrázků

2.2.2 Vývoj ovládacího modulu robotického pohybu s rovnouhlými souřadnicami

Použití robotické ruky místo lidské ruky pro automatizaci testování displeje vyžaduje současné ovládání pohybu robotické ruky a ovládání vizuálního servosystému, operátor odesílá provozní pokyny do řídícího systému prostřednictvím interakčního rozhraní člověka a počítače, karta pro řízení pohybu používá režim točivého momentu a převádí digitální množství informací na pulsový výstup, ovládá pohyb rovnouhlých souřadnic a robot dokončí pohyb a provádí odpovídající operace. Systémy detekce kódorů a senzorů dokončují kontrolu polohy a momentu a provádějí přenos signálu a výměnu dat mezi řídicím systémem a detekčním systémem, dokončují návrh modulů řídicího systému a robotických systémů, aby zajistily přesnost pohybu a účinnost testování displeje.

Obrázek 7 Řízení pohybu robota pro pohyb rovnouhlých souřadnic
Porovnejte navržený robot s pravoúhlými souřadnicemi pohybu s tradičním víceosivým spojovacím robotem, který je uveden na obrázku 7. Ovládací modul robotické ruky pro pohyb pravoúhlých souřadnic se používá především k kontrole robotické ruky místo lidské ruky pro testování displeje, detekční systém pro dokončení detekce polohy a momentu a výměnu dat mezi různými systémy.
1) Řízení pohybového systému
Ovládání robotické ruky provádí pohyb o třech stupních svobody a místo lidské ruky provádí testování displeje. Na základě informací o poloze a momentu detekovaných detekčním systémem řídí řídicí systém pohyb robotické ruky ve směru tří stupňů svobody a místo lidské ruky dokončí dotyky, kliknutí a další akce na displeji.

Obrázek 8 Diagram integrace pohonného systému
2) Kontrola kontrolního systému
Testovací systém slouží k detekci pohybu robotické ruky a momentu. Kontrola detekčního systému zahrnuje detekci polohy pohybu robotu s pravoúhlými souřadnicami tří stupňů svobody, detekci velikosti momentu na dotykovém displeji na konci aktuátoru a parametry pohybu jako je rychlost, vzdálenost a další.
3) Výměna dat
Detekční systém se skládá z komponent, jako jsou snímač a kóder na konci výkonného orgánu, který předává analogový signál měřený snímačem řídicímu modulu, který zpětnou vazbu signálu provádí přes určitý převodní vztah pro řízení pohybu robotické ruky.
4) Interakce mezi člověkem a strojem
Řízení pohybu robotické ruky prostřednictvím interakčního rozhraní člověka a počítače, psaní softwaru pro automatizované pohybové systémy, obsluha vybírá odpovídající menu pro získání požadovaných dat nebo plnění požadovaných funkcí pro dosažení interakce člověka a počítače. Tento softwarový systém umožňuje ovládání pohybu robotů s zobrazením více stupňů svobody, přepínání režimu polohy a momentu, zpětnou vazbu uzavřeného smyčku signálu polohy a momentu a ukládání informací o poruchách displeje. Vývoj softwarových dat je založen na operačním systému Windows 7, vývojové jazykové prostředí vybírá C ++, databáze vybírá databázi Oracle. Rozhraní mezi člověkem a počítačem řízené motorem je znázorněno na obrázku 8.

Obrázek 8 Interakční rozhraní řízení motoru

2.2.3 Integrační vývoj automatizovaných testovacích systémů

Funkce testovacího systému automatizace displeje založeného na strojovém vidění vyžaduje koordinaci funkčních jednotek a společné dokončení automatizovaných testovacích úkolů displeje. Výzkum umožňuje integrovaný nosič funkcí jednotek automatizovaného zkušebního systému, navrhnout efektivně fungující pohybové prováděcí tělo, realizovat integrovanou integraci kontroly stavu provozu displeje, robotické ruky místo ručního ovládání displeje a další, aby zajistila efektivní koordinaci procesu automatizace zkušebního procesu. Celý automatizovaný testovací systém se skládá ze tří hlavních modulů: modulu strojového vidění, modulu řízení automatizace robotického ramene a integrovaného modulu detekce, což je zobrazeno na obrázcích 9 a 10.

Obrázek 9 Integrační řešení pro testovací systémy automatizace displejů založené na strojovém vidění
Celý automatizovaný testovací systém komunikuje pomocí terénní autobusy. Pomocí ovládacího softwaru založeného na PC platformě a operačním systému Windows vytvořte systém v reálném čase s funkcí NC v průmyslovém ovládacím stroji, realizujte funkce logických operací (TwinCAT PLC), funkce řízení pohybu (TwinCAT NC), operace s plovoucími body a úložení a zpracování velkých množství dat pomocí logického provozu pomocí PLC a standardního hardwaru PC. Program PLC nejprve odesílá signál na NC osu, NC po plánování dráhy, výpočtu PID a zpracování rozhraní IO výstup do pohonu k dosažení řízení motoru, zatímco stav motoru je včas zpětná vazba do programu PLC prostřednictvím NC. V celém systému CNC pracují jednotlivé softwarové moduly (např. programy PLC, NC, aplikace Windows atd.) podobně jako hardwarové zařízení a jsou schopny pracovat nezávisle. Výměna informací mezi jednotlivými softwarovými moduly probíhá prostřednictvím ovladače pohybu ADS s integrovanou architekturou komunikace modulu řídicího systému, jak je znázorněno na obrázku 10.

Obrázek 10 Komunikační řešení modulu systému automatizace zkoušek