Vytvorenie programu THT
Postup vyhotovenia
Vytvorenie a nastavenie projektu
V úvodnom okne ADMIN4.0 si zvolíme New project a vytvoríme nový prázdny projekt.
Po vytvorení sa nám zobrazí ADMIN4.0 Studio, v ktorom si budeme konfigurovať náš program. Ako prvé si potrebujeme pridať všetky zariadenia ktoré budeme používať do projektu. To spravíme pomocou dvojkliknutia na zariadenie v projektovom strome.
PJLINK SETUP
Po pridaní všetkých zariadení ešte musíme nastaviť PJLINK pre projektor čo znamená spojiť ethernetovú komunikáciu medzi projektorom a počítačom.
Ako prvé v projektovom strome klikneme pravým na projektor, a vyberiem si Setup PJLink | |
Nastavíme si predvolenú IP adresu Pozor ethernetový vstup v počítači musí mať nastavenú statickú IP na rovnakej sieti ako projektor | |
Port iba potvrdíme tlačidlom OK |
Vytvorenie Workspace-u
Po nastavení nového projektu si vytvoríme workspace pomocou ikony na hornej lište.
Otvorí sa nám okno s CAD prostredím, ktoré má vpravo rôzne možnosti. My si vyberieme malé zelené plus, po ktorom sa nás spýta či chceme pridať Table alebo Custom. My si zvolíme Table.
Otvoria sa nám možnosti nastavenia pre náš Table. Nás zaujíma iba Formation a Size, ktoré si nastavíme podľa veľkosti pracoviska. Tak aby všetky body boli viditeľné pre 2D kameru a projektor. Neskôr je potrebné externe skalibrovať tieto dve zariadenia presne na veľkosť prednastaveného Table-u. Ak sme presvedčení o správnosti nastavenia veľkosti a formácie, klikneme na tlačidlo Create, a workspace máme hotový.
Pridanie zariadení do Workspace-u
⚠️Zariadenia sú už vopred skalibrované⚠️ |
Vytvorenie layout-u
Ďalší krok je vytvoriť si layout. Vrátime sa k prvému kroku, k hornej lište a zvolíme hneď vedľajšiu ikonu
Následne sa nám zobrazí malé okno, v ktorom si zvolíme ľubovoľný názov layout-u.
Vytvorenie detekcie
Následne si vytvoríme detekciu na dosku plošných spojov.
Po kliknutí na ikonu detekcie sa nám vpravo otvorí widget s ponukou vytvorenia detekcie
Parametre predspracovania
ROI | Limitácia priestoru rozpoznania polohy |
Výber myškou | |
Filter mode | Zmena filtru odporúčané „Gaussovský“ |
Filter kernel | Hodnota filtrácie odporúčané |
Edge | Typ vytvárania hrán a parametrizácia |
Parametre detekčné
Metóda | Spôsob detekcie, voľba metódy vyhodnotenia polohy objektu, odporúčané Gauss. |
Rozsah Z rotácie | Limitácia hľadania polohy v osi Z (rotácia kolmo na kameru). |
Reduction % | Redukcia kľúčových bodov zvyšuje rýchlosť detekcie. |
Edge crossing | O koľko môže výsledok detekcie polohy objektu presahovať definované ROI. |
Parametre post spracovania
Min. skóre | Limit pre výsledné skóre detekcie polohy, ktorý uzná výsledok detekcie platný, alebo nie. |
Offset | Dodatočná korekcia výsledku polohy. |
Force rotation | Nanútenie fixnej rotácie stola nájdenej polohe objektu. |
Filter | Filtrovanie výsledku a stabilizácia. |
Generovanie „template“ detekcie (šablóny)
Každá detekcia obsahuje súbor generovaných polôh „templatov“, ktoré slúžia na vyhľadávanie zhody na kamerovom obraze.
Vytvárajú sa zvolením modelu pre danú detekciu:
Model na základe ktorého chceme generovať šablóny detekcie musí byť viditeľný v CAD-e, prípadne skrytý v prípade, že nechceme aby bola z neho generovaná šablóna.
Pridať novú, alebo upraviť pôvodnú.
Zoznam šablón môže obsahovať aj viacej súborov, ktoré môžu pracovať aj spoločné v prípade, že sa model skladá z viacerých častí, napríklad prípravky:
Podľa spomenutých hodnôt sa generujú šablóny detekcie polohy, ktoré si vieme skontrolovať ešte pred generovaním v okne kamery.
Dvojitým kliknutím môžeme šablónu posúvať a prirovnať si ju k reálnemu objektu v scéne.
„Scrollovaním“ približujeme a vzďaľujeme šablónu v rozsahu nastavených hodnôt.
Ľavým tlačídlom otáčanie okolo osi X a Y a pravým okolo Z v nastavených rozsahoch.
Ďalšie možnosti optimalizácie predstavujú:
Density – hustota generovaných kľúčových bodov.
Vectorization – úroveň optimalizácie bodov podľa vektorovej orientácie tak aby v smere X a Y reprezentovali rovnaký počet, potrebné zaškrtnúť Oriented.
Vytvorenie inšpekcie
Inšpekcie využívajú systém učenia umelej inteligencie pre komplexnú a univerzálnu kontrolu dielcov s potrebou presnosti ako nity, platničky a podobne. Pre jednoduchšie pozície môžeme použiť farebné inšpekcie prítomnosti farby ako napríklad rukoväť prípravkov.
V hornej lište zvolíme ikonu inšpekcie
a otvorí sa kamerový obraz a zoznam inšpekcií.
Väzba | Výber skupiny inšpekčných regiónov podľa viazania sa na model, alebo workspace. Pokiaľ je inšpekcia vytvorená priamo v modely tak je viazaná na model a jeho detekciu polohy. Pokiaľ je vytvorená vo workspace, tak je fixne viazaná do pracovného priestoru a nájdeme ju v skupine workspace. |
Spustiť | Spustenie vybraných inšpekcií. |
Rec. Options | Nahrávanie obrázkov datasetu pre učenie umelej inteligencie. |
Vlastnosti inšpekcie | |
---|---|
Pose | Umiestnenie, rotácia a veľkosť inšpekčného regiónu. |
Vytvorenie farebnej inšpekcie
Zobrazením inšpekčného okna vieme dynamicky zvoliť rozsah požadovanej farby. Stlačením tlačidla Ctrl + kliknutie na požadovanú farbu rozširujeme rozsah farebného ohraničenia.
Zobrazenie grafu umožňuje vizualizovať rozsah ohraničenia a aktuálnu farebnú konfiguráciu.
Vytvorenie CNN inšpekcie
Použitie profilu
Použitím profilu umožníme zdieľať rovnaké inšpekčné nastavenia viacerým inšpekčným regiónom. Profily sú uložené v rámci projektu a každý projekt má vlastné.
Architektúra CNN inšpekcií
Každá CNN inšpekcia potrebuje natrénovaný model, ktorý obsahuje triedy, ktoré predstavujú výsledok rozpoznania obrazu (auto, lietadlo, atď…). Takéto triedy musíme vytvoriť trénovaním pomocou vytvorených fotiek, ktoré predstavujú objekt danej triedy. Súbor takýchto fotiek sa volá Dataset.
Dataset môže byť spoločný pre rôzne CNN modely, alebo unikátny. Je to priečinok na disku, ktorý obsahuje kategorizovane zoradené fotky tried v priečinkoch podľa ktorého sa trénujú CNN modely.
Vytváranie Datasetu
Rec. Options | Tlačidlo pre otvorenie možností nahrávania. |
Nahrávanie | Spustenie nahrávania obrázkov z vybraných inšpekčných regiónov. |
Directory | Voľba priečinku datasetu. |
Trieda | Zvoliť si preddefinovanú triedu, Good/Bad/Empty, alebo si vytvoriť vlastnú. |
Resize a Max. Resolution | Nemeniť. |
Príprava trénovania CNN modelu
Okno trénovania CNN modelu pozostáva z časti zobrazenia datasetu a konfigurácie trénovania.
Dataset pozostáva z trénovacej časti a validačnej. Trénovací dataset slúži pre učenie a validačný pre kontrolu učenia. Každá fotka z trénovacieho datasetu je upravená podľa parametrov tak, aby simulovala možné obmeny v rámci živého obrazu.
Dataset – výber zdrojového adresára
V tejto časti vyberáme dataset, podľa ktorého budeme trénovať CNN model.
Zobrazenie tried v strome datasetu. Všetky fotky zobrazíme kliknutím na položku Dataset.
Práca s fotkami a zmena ich veľkosti ikony a ich zoradenie v zobrazení podľa:
Dátum, Názov
Podobnosť – Fotky s predpokladom najväčšej podobnosti teda najmenších známok rozdielov sú zobrazené ako prvé.
Zaostrenie – Najrozmazanejšie fotky sú zobrazené ako prvé.
Ostrosť / Kontrast – Triedenie podľa kvality fotky.
Skóre – Po spustení:
dostane každá fotka v datasete pridelené číslo úspešnosti (skóre) podľa ktorého si vieme zoradiť fotky a určiť tak fotky s najnižším skóre a rozhodnúť sa či majú dôležitosť pre učenie, alebo sú zlé.
Spustenie trénovania CNN modelu
Priebeh trénovania. Strata predstavuje stratu pre jednotlivú mini-dávku trénovania na trénovacích a validačných dátach. Táto strata musí klesať pokiaľ učenie prebieha dobre.
Presnosť trénovania naopak stúpa s počtom trénovaní a očakávaná úroveň je cez 99% avšak je závislá na kvalite datasetu.
Vytvorenie 3D regiónov
V prvom kroku si otvoríme Workspace pomocou dvojkliku, alebo zobrazenia možností a zvolíme Open.
Otvorí sa nám CAD, v ktorom začneme definovať 3D regióny. | Tlačidlom R si zvolíme kreslenie obdĺžniku a podržaním spolu s potiahnutím vytvoríme obdĺžnik. Ďalej si zobrazíme možnosti a zvolíme Extrahovať ako 3D Region. |
Vyskočí nám okno kde si vieme vybrať, či chceme obdĺžnik Convertovať a pôvodný odstrániť, alebo zachovať. | Nakoniec si vyberieme kameru s ktorou chceme región spojiť ⚠️Pokiaľ sa jedná o 3D región vždy vyberáme nejakú z dostupných 3D kamier. |
Nastavenie 3D inšpekcii
V pravom hornom rohu si zvolíme Properties. Zobrazí sa nám okno s nastaveniami 3D regiónu v CAD-e ako je rozmer, pozícia a rotácia.
K ďalším nastaveniam sa dostaneme cez 3D inspection widget
Väzba | Výber skupiny inšpekčných regiónov podľa viazania sa na model, alebo workspace. Pokiaľ je inšpekcia vytvorená priamo v modely tak je viazaná na model a jeho detekciu polohy. Pokiaľ je vytvorená vo workspace, tak je fixne viazaná do pracovného priestoru a nájdeme ju v skupine workspace. |
Spustiť | Spustenie vybraných inšpekcií. |
Thickness | Vizuálne nastavenie hrúbky ohraničenia regiónu |
Profile | Vytvorenie spoločného profilu pre 3D inšpekcie |
Process | Spôsob vyhodnocovania |
Inspector | Typ inšpekcie |
Result | Výsledok v hodnote: Threshold/Range |
Invert | Prevrátenie výsledku |
Threshold[%] | Prahová hodnota |
Occupancy[%] | Prahová hodnota, kedy je región vyhodnotený ako plný |
Empty Occupancy[%] | Prahová hodnota, kedy je región vyhodnotený ako prázdny |
Pick2Light
Pokračujeme ďalšou ikonou v hornej lište, pre pick2light
Otvorí sa nám Pick manager, v ktorom si vytvoríme nový layout s požadovanou veľkosťou. Rozmer nášho layout-u vyberáme na základe počtu 3D regiónov, alebo súčiastok ktoré chceme osádzať.
Po vytvorení layout-u sa nám zobrazia pozície boxov. Každý box má svoje menu možností.
Assign device | Priradiť zariadenie(Unibox) |
Bind layout | Spojiť s layout-om |
Bind 3D region | Spojiť s 3D regiónom |
Rename | Zmeniť názov boxu |
Set identifier | Nastaviť barcode |
Fill stack | Doplniť box |
Remove | Odstrániť box |
Icon | Vybrať obrázok ktorý sa zobrazí na displeji |
Quantity | Množstvo |
Stack | Doplnenie zásob na pozícii |
Strip | Nastavenie pozície od kial po kial sa má vysvietiť led pás |
Procedúra
Pridať nový krok | |
Nastavenie procedúry | |
Presun krokov kurzorom | |
Posun krokov hore a dole |
Projekcie – elementy zobrazenia projektorom
Detekcie – Vykonávajúce sa detekcie polohy objektu
Inšpekcie – Vykonávajúce sa inšpekcie kamerou
Pick2Light – Ovládanie materiálových pozícií
Akcie – Volanie akcií kroku
Podmienky ukončenia – Ukončovacie podmienky kroku
Nastavenie parametrov procedúry
Run type | Loop- bude vykonávať procedúru pokiaľ nedosiahne production target |
Production target | Udávanie cieľu produkcie |
Conditions | Podmienky pre vykonanie akcie v priebehu procedúry |
Eval. time | Minimálny čas kroku, ktorý je nastavený ako evaluačný |
Fast pick mode | Po siahnutí do určeného boxu prejde na ďalší krok |
Bad pick mode | Pri siahnutí do iného boxu ako je v kroku určený, vysvieti led pás červenou farbou |
Stop on bad pick | Pri siahnutí do iného boxu ako je v kroku určený, zastaví procedúru |
SQL capture source | voľba zariadenia ktoré na konci procedúry uloží svoju poslednú snímku.(Odporúčané zvoliť 2D Kameru) |
Conditions to | Vykonaj akciu na základe splnenej podmienky |
Práca s procedúrou
Spustenie vybraného kroku | |
Zmazanie vybraného kroku | |
Projekcia daného kroku, zobrazí všetky entity obsiahnuté krokov v CADe a projektorom | |
Postupujúci krok, krok ktorý pokračuje ďalej v prípade nedefinovaného ukončenia | |
Cyklický krok, krok ktorý cykluje bez ukončenia |
Podmienky ukončenia kroku majú dva stavy:
Musia byť splnené a vtedy sa kontroluje stav ukončenia kroku.
Musia byť len vyhodnotené, teda stav členov podmienok je známy.
Čas, ktorý je očakávaný a s ktorým sa pracuje v štatistike výroby zobrazenom vo WorkManager.
Zobrazenie obrázku a popisu kroku vo WorkManager.
Po ukončení kroku uloží obrázok z kamery do SQL.
Práca s programom a projektom
Spustenie programu
Aplikácia sa spúšťa automaticky po spustení systému Windows, alebo z plochy ikonou AMIN4.0. Pridružená rovnako automaticky spúšťaná aplikácia s názvom Docker zabezpečuje spracovanie a archiváciu výrobných dát.
Program ADMIN4.0 sa spúšťa oknom prihlásenia užívateľa.
Prednastavený užívateľ je administrátor prihlasovaný: admin / admin.
Pokiaľ nie je vytvorený užívateľ tak ho môžeme vytvoriť manuálne kliknutím na „Vytvoriť konto“, alebo priložením identifikačnej RFID karty k čítačke a systém nás vyzve k vytvoreniu užívateľa automaticky pokiaľ už prihlásené ID karty nepozná. V prípade, že ID karty je rozpoznaný tak sa systém prihlási užívateľa spojeného s číslom karty.
Vytvorenie užívateľa
Systém podporuje 4 úrovne prístupu a to:
Operátor – Nemá práva ovládať systém, iba tlačidlo Štart a Pauza.
SuperOperátor – Má právo ovládať WorkManager aplikáciu, ale nemá prístup do Štúdia.
Obsluha – Má práva ovládať WorkManager a Studio, ale nemôže spustiť automatický režim.
Administrátor – Plné práva aj spravovať užívateľov.
V prípade RFID kariet je možné vyplniť číslo karty pre prihlasovanie kartou.
Vrátenie naspäť na obrazovku prihlásenia.
Úprava užívateľa
Pre zmenu údajov užívateľov je potrebné byť prihlásený ako Administrátor.
Kliknutím na ikonu administrátora rozbalíte menu užívateľa.
Okno úpravy užívateľov zobrazuje všetkých registrovaných užívateľov.
Každý užívateľ sa dá zmazať ❌ alebo editovať jeho profil ⚙️ .
V tomto okne je možné konfigurovať čítačku RFID kariet ako aj čítačku čiarových kódov.
Otvorenie projektu
Po úspešnom prihlásení aplikácia vyzve užívateľa aby otvoril projekt zo zoznamu naposledy otvorených projektov v prípade prihláseného administrátora, alebo pridelených projektov, s ktorými môže pracovať operátor.
Nový projekt – umožňuje založiť nový projekt.
Pokračovať bez projektu – ak chceme vytvoriť projekt pomocou wizardu.
Otvoriť projektový súbor – pokiaľ poznáme cestu k existujúcemu projektu.
Upraviť operátorské projekty – tu môže administrátor prideliť projekty operátorom, ktorý budú môcť otvoriť len pridelené.
Operátorské projekty je okno zoznamu projektov s ktorými môže pracovať operátor. To znamená, že pokiaľ administrátor pridelí projekty operátorovi, ten bude môcť vyberať len medzi nimi.
Zoznámenie s prostredím ADMIN4.0
Pokiaľ je užívateľ prihlásený ako administrátor, bude mu otvorené okno konfigurátora s názvom Studio. Tlačidlo WorkManager ukončíme prácu v Studiu a prepneme sa do prostredia spustenia projektu.
Pokiaľ je prihlásený užívateľ ako operátor, tak sa mu automaticky otvorí prostredie WorkManager.
Práca v prostredí ADMIN4.0 WorkManager
Štatistické okno (Widget)
Zobrazenie časov aktuálneho času, celej produkčnej série, tempo.
Okno zobrazuje údaje o pracovných časoch a kvantite výroby:
Počet produktov - V prípade, že máme nastavený cieľ produkcie, teda počet kusov koľko chceme vyrobiť, tak sa tento stav zobrazuje.
Čas produkcie – Od posledného spustenia systému.
Produkčné tempo – Pokiaľ máme nastavený očakávaný čas jednotlivých krokov, tak je možné vypočítať priemerné tempo všetkých cyklov.
Čas procedúry – Čas aktuálneho cyklu.
Procedurálne temp – Tempo aktuálneho cyklu.
Štatistické okno, histogram časov jednotlivých krokov. Zobrazuje očakávaný čas a aktuálne trvanie. Ďalšie možnosti funkčného zobrazenia nájdete v zozname:
Štatistika – Histogram časov.
Image – Informačný obrázok pre aktuálny krok.
Multi-zobrazenie – Živý náhľad na obraz kamery a vision funkcie.
Runtime zobrazenie – Zobrazenie procesných informácií ako podmienky a podobne.
PickToLight – Zobrazenie materiálových pozícií a UniBox zariadení.
Image (Widget)
Image okno slúži na zobrazenie inštruktážneho obrázku pre aktuálny krok.
Multi-zobrazenie (Widget)
Je živý náhľad na kameru a jej vizuálne funkcie.
Pomocou ovládača Zvoliť zdroj si môžete zvoliť zdroj obrazu ktorý chcete vidieť ako aj usporiadane viacerých obrazov vedľa seba.
Runtime (Widget)
Runtime okno zobrazuje procesné informácie potrebné k správnemu vyhodnoteniu kroku ako výsledok inšpekcií, detekcií a iných aktívnych prvkov.
PickToLight (Widget)
Zobrazenie pozícií s materiálom a práca s nimi napríklad:
Doplniť materiál – funkcia vysvieti zvolenú pozíciu
Stavový riadok
Zobrazenie stavu pripojeného hardvéru a taktiež v prípade chyby komunikácie sa zobrazí ako chýbajúce červenou farbou. Zoznam pripojených zariadení sa obnoví pomocou funkcie Obnoviť.
Okno podmienok
Zobrazuje aktuálny stav podmienok v danom kroku.
Informačné okno
Zobrazuje textový popis k aktuálnemu kroku.
Ovládací panel
Ovládanie projektu.
Práca s projektom
Spustenie projektu
Projekt sa spúšťa tlačidlom Spustiť
a systém vyzve užívateľa na zadanie počtu kusov, ktoré plánuje vyrobiť, teda produkčný cieľ.
Na výber je pokračovať v začatej produkcií a teda zachovať pôvodný stav počítadla, alebo nastaviť nové.
Ďalšie možnosti ovládania sú Pozastaviť produkciu, zastaviť produkciu, alebo preskočiť krok dopredu, alebo dozadu.
Aktuálny krok v zozname krokov je vysvietený a jednotlivý krok sa dá priamo aktivovať cez tlačidlo aktivovať.