Vytvorenie programu THT

Postup vyhotovenia

Vytvorenie a nastavenie projektu

V úvodnom okne ADMIN4.0 si zvolíme New project a vytvoríme nový prázdny projekt.

Po vytvorení sa nám zobrazí ADMIN4.0 Studio, v ktorom si budeme konfigurovať náš program. Ako prvé si potrebujeme pridať všetky zariadenia ktoré budeme používať do projektu. To spravíme pomocou dvojkliknutia na zariadenie v projektovom strome.

PJLINK SETUP

Po pridaní všetkých zariadení ešte musíme nastaviť PJLINK pre projektor čo znamená spojiť ethernetovú komunikáciu medzi projektorom a počítačom.

	Ako prvé v projektovom strome klikneme pravým na projektor, a vyberiem si Setup PJLink
	Nastavíme si predvolenú IP adresu Pozor ethernetový vstup v počítači musí mať nastavenú statickú IP na rovnakej sieti ako projektor
	Port iba potvrdíme tlačidlom OK

Vytvorenie Workspace-u

Po nastavení nového projektu si vytvoríme workspace pomocou ikony na hornej lište.

Otvorí sa nám okno s CAD prostredím, ktoré má vpravo rôzne možnosti. My si vyberieme malé zelené plus, po ktorom sa nás spýta či chceme pridať Table alebo Custom. My si zvolíme Table.

Otvoria sa nám možnosti nastavenia pre náš Table. Nás zaujíma iba Formation a Size, ktoré si nastavíme podľa veľkosti pracoviska. Tak aby všetky body boli viditeľné pre 2D kameru a projektor. Neskôr je potrebné externe skalibrovať tieto dve zariadenia presne na veľkosť prednastaveného Table-u. Ak sme presvedčení o správnosti nastavenia veľkosti a formácie, klikneme na tlačidlo Create, a workspace máme hotový.

Pridanie zariadení do Workspace-u

Pravým kliknutím na Workspace si zobrazíme možnosti a zvolíme Edit	Otvorí sa nám CAD prostredie, kde si v pravom widgete vyberieme náš Table, nižšie sa prepneme do Devices a pravým kliknutím pridáme všetky zariadenia
Pridať zariadenie Zoznam zatiaľ nepoužitých zariadení	Pridáme zariadenie pomocou Add ⚠️Zariadenia sú už vopred skalibrované⚠️

Vytvorenie layout-u

Ďalší krok je vytvoriť si layout. Vrátime sa k prvému kroku, k hornej lište a zvolíme hneď vedľajšiu ikonu

Následne sa nám zobrazí malé okno, v ktorom si zvolíme ľubovoľný názov layout-u.

Vytvorenie detekcie

Následne si vytvoríme detekciu na dosku plošných spojov.

Po kliknutí na ikonu detekcie sa nám vpravo otvorí widget s ponukou vytvorenia detekcie

Parametre predspracovania

ROI	Limitácia priestoru rozpoznania polohy
	Výber myškou
Filter mode	Zmena filtru odporúčané „Gaussovský“
Filter kernel	Hodnota filtrácie odporúčané od 3 do 6
Edge	Typ vytvárania hrán a parametrizácia

Parametre detekčné

Metóda	Spôsob detekcie, voľba metódy vyhodnotenia polohy objektu, odporúčané Gauss.
Rozsah Z rotácie	Limitácia hľadania polohy v osi Z (rotácia kolmo na kameru).
Reduction %	Redukcia kľúčových bodov zvyšuje rýchlosť detekcie.
Edge crossing	O koľko môže výsledok detekcie polohy objektu presahovať definované ROI.

Parametre post spracovania

Min. skóre	Limit pre výsledné skóre detekcie polohy, ktorý uzná výsledok detekcie platný, alebo nie.
Offset	Dodatočná korekcia výsledku polohy.
Force rotation	Nanútenie fixnej rotácie stola nájdenej polohe objektu.
Filter	Filtrovanie výsledku a stabilizácia.

Generovanie „template“ detekcie (šablóny)

Každá detekcia obsahuje súbor generovaných polôh „templatov“, ktoré slúžia na vyhľadávanie zhody na kamerovom obraze.
Vytvárajú sa zvolením modelu pre danú detekciu:

Model na základe ktorého chceme generovať šablóny detekcie musí byť viditeľný v CAD-e, prípadne skrytý v prípade, že nechceme aby bola z neho generovaná šablóna.

Pridať novú, alebo upraviť pôvodnú.

Zoznam šablón môže obsahovať aj viacej súborov, ktoré môžu pracovať aj spoločné v prípade, že sa model skladá z viacerých častí, napríklad prípravky:

Min. Edge Angle	Hustota zobrazených hrán, zobrazené hrany modelu sa musia zhodovať s hranami v zobrazení kamerového obrazu v režime hrán.
Expand Render Area	V prípade, že systém vyhlási nedostatočnú veľkosť plochy generovania šablón.
X / Y range	Rozsah dovolenej rotácie modelu pri generovaní šablón. Limit generovania.
Roll step	Veľkosť kroku pri rotácií modelu pri generovaní šablón okolo kolmej osi na kameru Z.
Cam. height	Vzdialenosť kamery od plochy stola.
Vzdialenosť	Minimálna a maximálna vzdialenosť pre generovanie šablón detekcie. Stredná hodnota predstavuje krok, ktorým sa zvyšuje výška od minimálnej vzdialenosti po maximálnu.
Perspective od / do	Počet generovaných perspektívnych pohľadov. Kolmo pod kamerou je potrebný len jeden avšak v krajných častiach kamery bude potrebné generovať viac pohľadov. Odporúčané od 3 do 7.

Podľa spomenutých hodnôt sa generujú šablóny detekcie polohy, ktoré si vieme skontrolovať ešte pred generovaním v okne kamery.

Dvojitým kliknutím môžeme šablónu posúvať a prirovnať si ju k reálnemu objektu v scéne.
„Scrollovaním“ približujeme a vzďaľujeme šablónu v rozsahu nastavených hodnôt.
Ľavým tlačídlom otáčanie okolo osi X a Y a pravým okolo Z v nastavených rozsahoch.

Ďalšie možnosti optimalizácie predstavujú:
Density – hustota generovaných kľúčových bodov.
Vectorization – úroveň optimalizácie bodov podľa vektorovej orientácie tak aby v smere X a Y reprezentovali rovnaký počet, potrebné zaškrtnúť Oriented.

Vytvorenie inšpekcie

Inšpekcie využívajú systém učenia umelej inteligencie pre komplexnú a univerzálnu kontrolu dielcov s potrebou presnosti ako nity, platničky a podobne. Pre jednoduchšie pozície môžeme použiť farebné inšpekcie prítomnosti farby ako napríklad rukoväť prípravkov.

V hornej lište zvolíme ikonu inšpekcie

a otvorí sa kamerový obraz a zoznam inšpekcií.

Väzba	Výber skupiny inšpekčných regiónov podľa viazania sa na model, alebo workspace. Pokiaľ je inšpekcia vytvorená priamo v modely tak je viazaná na model a jeho detekciu polohy. Pokiaľ je vytvorená vo workspace, tak je fixne viazaná do pracovného priestoru a nájdeme ju v skupine workspace.
Spustiť	Spustenie vybraných inšpekcií.
Rec. Options	Nahrávanie obrázkov datasetu pre učenie umelej inteligencie.

Vlastnosti inšpekcie
Pose	Umiestnenie, rotácia a veľkosť inšpekčného regiónu.

Vlastnosti inšpekcie
Pokročilé / Invertovať	Invertovať výsledok inšpekcie.
Vyplniť	Zaplniť plochu inšpekcie nepriehľadnou farbou výsledku.
Draw result	Zaplniť plochu inšpekcie priehľadnou farbou výsledku.

Vytvorenie farebnej inšpekcie

Zobrazením inšpekčného okna vieme dynamicky zvoliť rozsah požadovanej farby. Stlačením tlačidla Ctrl + kliknutie na požadovanú farbu rozširujeme rozsah farebného ohraničenia.

Zobrazenie grafu umožňuje vizualizovať rozsah ohraničenia a aktuálnu farebnú konfiguráciu.

Vytvorenie CNN inšpekcie

Správne triedy / Use custom classes /
Lokálne	Nastavenie trénovanej správnej tiredy modelu CNN.
Globálne	Použiť správnu triedu nastavenú v profile.
TOOL	Selekcia správnej triedy.
Min. score	Minimálne výsledné skóre potrebné na potvrdenie inšpekcie.

Použitie profilu

Použitím profilu umožníme zdieľať rovnaké inšpekčné nastavenia viacerým inšpekčným regiónom. Profily sú uložené v rámci projektu a každý projekt má vlastné.

Architektúra CNN inšpekcií

Každá CNN inšpekcia potrebuje natrénovaný model, ktorý obsahuje triedy, ktoré predstavujú výsledok rozpoznania obrazu (auto, lietadlo, atď…). Takéto triedy musíme vytvoriť trénovaním pomocou vytvorených fotiek, ktoré predstavujú objekt danej triedy. Súbor takýchto fotiek sa volá Dataset.

Dataset môže byť spoločný pre rôzne CNN modely, alebo unikátny. Je to priečinok na disku, ktorý obsahuje kategorizovane zoradené fotky tried v priečinkoch podľa ktorého sa trénujú CNN modely.

Vytváranie Datasetu

Rec. Options	Tlačidlo pre otvorenie možností nahrávania.
Nahrávanie	Spustenie nahrávania obrázkov z vybraných inšpekčných regiónov.
Directory	Voľba priečinku datasetu.
Trieda	Zvoliť si preddefinovanú triedu, Good/Bad/Empty, alebo si vytvoriť vlastnú.
Resize a Max. Resolution	Nemeniť.

Príprava trénovania CNN modelu

Okno trénovania CNN modelu pozostáva z časti zobrazenia datasetu a konfigurácie trénovania.
Dataset pozostáva z trénovacej časti a validačnej. Trénovací dataset slúži pre učenie a validačný pre kontrolu učenia. Každá fotka z trénovacieho datasetu je upravená podľa parametrov tak, aby simulovala možné obmeny v rámci živého obrazu.

Dataset – výber zdrojového adresára
V tejto časti vyberáme dataset, podľa ktorého budeme trénovať CNN model.

Vlastnosti zobrazovaných obrázkov datasetu

Premiestniť do val. datasetu	Funkcia premiestni vybranú fotku/fotky do validačného datasetu.
Nastaviť váhu	Zvýši mieru učenia na vybranú fotku, používa sa v prípade nových fotiek na ktoré chceme doúčať CNN model. Nové fotky v datasete sú vždy vyznačené zelenou farbou a pokiaľ chceme urýchliť trénovanie im môžeme dať váhu 10. Nezabudnúť váhu po trénovaní nastaviť na nulu prípadne nižšie číslo.
Zakázať	Fotka ostane zašednutá a nebude sa používať na trénovanie.
Funkcie triedy	V vytváranie tried učenia.
Odstrániť	Vymazať.

Zobrazenie tried v strome datasetu. Všetky fotky zobrazíme kliknutím na položku Dataset.

Práca s fotkami a zmena ich veľkosti ikony a ich zoradenie v zobrazení podľa:
Dátum, Názov
Podobnosť – Fotky s predpokladom najväčšej podobnosti teda najmenších známok rozdielov sú zobrazené ako prvé.
Zaostrenie – Najrozmazanejšie fotky sú zobrazené ako prvé.
Ostrosť / Kontrast – Triedenie podľa kvality fotky.
Skóre – Po spustení:

dostane každá fotka v datasete pridelené číslo úspešnosti (skóre) podľa ktorého si vieme zoradiť fotky a určiť tak fotky s najnižším skóre a rozhodnúť sa či majú dôležitosť pre učenie, alebo sú zlé.

Spustenie trénovania CNN modelu

Augmentácia	Rozširovanie učenia na základe poznaných fotiek je dôležitá funkcia, kde pomocou určených parametrov upravujeme fotky tak aby simulovali zmenu prostredia:
Transformácia	Objekt je potrebné zobraziť pri učení aj v iných pozíciách ako len tej, ktorú poznáme.
Prevrátiť vertikálne / horizontálne	Preklopenie fotky cez V/H os.
Rotácia / Posunutie / Zväčšenie	Rozmerová a pozičná úprava fotky.
Gamma rozsah	Úprava farebnej kvality fotiek.
Rozsah osvetlenia	Simulácia zmeny jasových podmienok pracovného prostredia.
Saturácia	Úprava kvality farieb fotky.
Šum / Rozmazanie / Zaostrenie	Simulácia zhoršených podmienok pracoviska.

Parametre učenia
Resetovať	Resetovať model CNN.
Importovať	Importovať model CNN.
Veľkosť dávky	Veľkosť dávky musí obsiahnuť počet fotiek v datasete teda ak máme 13954 fotiek v datasete tak nastavíme hodnotu 14000.
Mini-dávka	Je objem fotiek použitých na jedno trénovanie, teda celková veľkosť dávky je rozdelená na mini-dávky o veľkosti závislej na použitej grafickej karte a jej pamäti.
Validačné rozdelenie	V prípade, že máme prázdnu validačnú triedu, systém automaticky určí percentuálny počet fotiek, ktorý premení na validačné.
Použiť CUDA	Áno. Trénovanie na GPU.

Priebeh trénovania. Strata predstavuje stratu pre jednotlivú mini-dávku trénovania na trénovacích a validačných dátach. Táto strata musí klesať pokiaľ učenie prebieha dobre.
Presnosť trénovania naopak stúpa s počtom trénovaní a očakávaná úroveň je cez 99% avšak je závislá na kvalite datasetu.

Vytvorenie 3D regiónov

V prvom kroku si otvoríme Workspace pomocou dvojkliku, alebo zobrazenia možností a zvolíme Open.

Otvorí sa nám CAD, v ktorom začneme definovať 3D regióny.

Tlačidlom R si zvolíme kreslenie obdĺžniku a podržaním spolu s potiahnutím vytvoríme obdĺžnik.

Ďalej si zobrazíme možnosti a zvolíme Extrahovať ako 3D Region.

Vyskočí nám okno kde si vieme vybrať, či chceme obdĺžnik Convertovať a pôvodný odstrániť, alebo zachovať.

Nakoniec si vyberieme kameru s ktorou chceme región spojiť

⚠️Pokiaľ sa jedná o 3D región vždy vyberáme nejakú z dostupných 3D kamier.

Nastavenie 3D inšpekcii

V pravom hornom rohu si zvolíme Properties. Zobrazí sa nám okno s nastaveniami 3D regiónu v CAD-e ako je rozmer, pozícia a rotácia.

K ďalším nastaveniam sa dostaneme cez 3D inspection widget

Väzba	Výber skupiny inšpekčných regiónov podľa viazania sa na model, alebo workspace. Pokiaľ je inšpekcia vytvorená priamo v modely tak je viazaná na model a jeho detekciu polohy. Pokiaľ je vytvorená vo workspace, tak je fixne viazaná do pracovného priestoru a nájdeme ju v skupine workspace.
Spustiť	Spustenie vybraných inšpekcií.

Thickness	Vizuálne nastavenie hrúbky ohraničenia regiónu
Profile	Vytvorenie spoločného profilu pre 3D inšpekcie
Process	Spôsob vyhodnocovania
Inspector	Typ inšpekcie
Result	Výsledok v hodnote: Threshold/Range
Invert	Prevrátenie výsledku
Threshold[%]	Prahová hodnota
Occupancy[%]	Prahová hodnota, kedy je región vyhodnotený ako plný
Empty Occupancy[%]	Prahová hodnota, kedy je región vyhodnotený ako prázdny

Pick2Light

Pokračujeme ďalšou ikonou v hornej lište, pre pick2light

Otvorí sa nám Pick manager, v ktorom si vytvoríme nový layout s požadovanou veľkosťou. Rozmer nášho layout-u vyberáme na základe počtu 3D regiónov, alebo súčiastok ktoré chceme osádzať.

Po vytvorení layout-u sa nám zobrazia pozície boxov. Každý box má svoje menu možností.

Assign device	Priradiť zariadenie(Unibox)
Bind layout	Spojiť s layout-om
Bind 3D region	Spojiť s 3D regiónom
Rename	Zmeniť názov boxu
Set identifier	Nastaviť barcode
Fill stack	Doplniť box
Remove	Odstrániť box

Icon	Vybrať obrázok ktorý sa zobrazí na displeji
Quantity	Množstvo
Stack	Doplnenie zásob na pozícii
Strip	Nastavenie pozície od kial po kial sa má vysvietiť led pás

Procedúra

	Pridať nový krok
	Nastavenie procedúry
	Presun krokov kurzorom
	Posun krokov hore a dole

Projekcie – elementy zobrazenia projektorom
Detekcie – Vykonávajúce sa detekcie polohy objektu
Inšpekcie – Vykonávajúce sa inšpekcie kamerou
Pick2Light – Ovládanie materiálových pozícií
Akcie – Volanie akcií kroku
Podmienky ukončenia – Ukončovacie podmienky kroku

Nastavenie parametrov procedúry

Run type	Loop- bude vykonávať procedúru pokiaľ nedosiahne production target
Production target	Udávanie cieľu produkcie
Conditions	Podmienky pre vykonanie akcie v priebehu procedúry
Eval. time	Minimálny čas kroku, ktorý je nastavený ako evaluačný
Fast pick mode	Po siahnutí do určeného boxu prejde na ďalší krok
Bad pick mode	Pri siahnutí do iného boxu ako je v kroku určený, vysvieti led pás červenou farbou
Stop on bad pick	Pri siahnutí do iného boxu ako je v kroku určený, zastaví procedúru
SQL capture source	voľba zariadenia ktoré na konci procedúry uloží svoju poslednú snímku.(Odporúčané zvoliť 2D Kameru)
Conditions to	Vykonaj akciu na základe splnenej podmienky

Práca s procedúrou

	Spustenie vybraného kroku
	Zmazanie vybraného kroku
	Projekcia daného kroku, zobrazí všetky entity obsiahnuté krokov v CADe a projektorom
	Postupujúci krok, krok ktorý pokračuje ďalej v prípade nedefinovaného ukončenia
	Cyklický krok, krok ktorý cykluje bez ukončenia

Podmienky ukončenia kroku majú dva stavy:

Musia byť splnené a vtedy sa kontroluje stav ukončenia kroku.
Musia byť len vyhodnotené, teda stav členov podmienok je známy.

Čas, ktorý je očakávaný a s ktorým sa pracuje v štatistike výroby zobrazenom vo WorkManager.

Zobrazenie obrázku a popisu kroku vo WorkManager.

Po ukončení kroku uloží obrázok z kamery do SQL.

	Detekcia s ktorou pracujeme
	Viazaná na model
	Úrovne parametrizácie
	Spustiť detekciu

	Voľba inšpekcie povoliť / zakázať
Zakázať / Povoliť	Výber inšpekcie.
Vlastnosti / Draw result	Vykresliť výsledok inšpekcie do obrazu kamery.
Vlastnosti / Inšpekcia	Zobraziť inšpekciu v osobitnom okne

Vlastnosti inšpekcie
Profil / ver1	Selekcia a voľba spoločného profilu inšpekcií.
Inspector	Typ inšpekcie:
	CNN	umelá inteligencia
	Farba	farebná inšpekcia

Mód	Farebný formát odporúčaný HSV.
Odtieň, Saturácia, Jas	Ohraničenie nameraných hodnôt z obrazu.
Min. score	Minimálne výsledné skóre potrebné na potvrdenie inšpekcie.
Color range	Zobrazenie farebného ohraničenia.
Actual score	Aktuálne namerané skóre.

Inspector	CNN typ umelá inteligencia
CNN Inšpektor	Trénovať	Otvoriť trénovacie okno.
	Export	Exportovať model CNN.
	Vymazať	Vymazať model CNN

Posunúť triedu dole / hore	Táto funkcia priamo zasahuje to indexácie tried a teda do projektov. Ak zmeníme poradie tried tak sa stratí väzba s projektom.
Premiestniť do	Triedu môžeme premiestniť do inej triedy.
Zlúčiť	Dve triedy vieme zlúčiť do jednej skupinovej triedy.
Rozdeliť	Naopak vieme rozdeliť skupinu na dve osobitné triedy tak ako pred zlúčením.