Skip to main content
Skip table of contents

Vytvorenie programu THT

Postup vyhotovenia

Vytvorenie a nastavenie projektu

V úvodnom okne ADMIN4.0 si zvolíme New project a vytvoríme nový prázdny projekt.

image-20240419-101630.png

image-20240419-101918.png

Po vytvorení sa nám zobrazí ADMIN4.0 Studio, v ktorom si budeme konfigurovať náš program. Ako prvé si potrebujeme pridať všetky zariadenia ktoré budeme používať do projektu. To spravíme pomocou dvojkliknutia na zariadenie v projektovom strome.

Adddevice-20240419-102431.png

PJLINK SETUP

Po pridaní všetkých zariadení ešte musíme nastaviť PJLINK pre projektor čo znamená spojiť ethernetovú komunikáciu medzi projektorom a počítačom.

pjlink1-20240419-130350.png

Ako prvé v projektovom strome klikneme pravým na projektor, a vyberiem si Setup PJLink

PJLINk2.png

Nastavíme si predvolenú IP adresu

Pozor ethernetový vstup v počítači musí mať nastavenú statickú IP na rovnakej sieti ako projektor

image-20240419-131114.png

Port iba potvrdíme tlačidlom OK

Vytvorenie Workspace-u

Po nastavení nového projektu si vytvoríme workspace pomocou ikony na hornej lište.

image-20240627-143758.png

Otvorí sa nám okno s CAD prostredím, ktoré má vpravo rôzne možnosti. My si vyberieme malé zelené plus, po ktorom sa nás spýta či chceme pridať Table alebo Custom. My si zvolíme Table.

wstable-20240419-102722.png

wscreate-20240419-102959.png

Otvoria sa nám možnosti nastavenia pre náš Table. Nás zaujíma iba Formation a Size, ktoré si nastavíme podľa veľkosti pracoviska. Tak aby všetky body boli viditeľné pre 2D kameru a projektor. Neskôr je potrebné externe skalibrovať tieto dve zariadenia presne na veľkosť prednastaveného Table-u. Ak sme presvedčení o správnosti nastavenia veľkosti a formácie, klikneme na tlačidlo Create, a workspace máme hotový.

Pridanie zariadení do Workspace-u

image-20240328-143216.png

Pravým kliknutím na Workspace si zobrazíme možnosti a zvolíme Edit

image-20240328-144605.png

Otvorí sa nám CAD prostredie, kde si v pravom widgete vyberieme náš Table, nižšie sa prepneme do Devices a pravým kliknutím pridáme všetky zariadenia

image-20240328-144856.png

Pridať zariadenie

image-20240328-144925.png

Zoznam zatiaľ nepoužitých zariadení

image-20240328-145117.png

Pridáme zariadenie pomocou Add

⚠️Zariadenia sú už vopred skalibrované⚠️

Vytvorenie layout-u

Ďalší krok je vytvoriť si layout. Vrátime sa k prvému kroku, k hornej lište a zvolíme hneď vedľajšiu ikonu

image-20240627-143834.png

Následne sa nám zobrazí malé okno, v ktorom si zvolíme ľubovoľný názov layout-u.

Vytvorenie detekcie

Následne si vytvoríme detekciu na dosku plošných spojov.

image-20240627-143847.png

Po kliknutí na ikonu detekcie sa nám vpravo otvorí widget s ponukou vytvorenia detekcie

image-20240328-121144.png

Zvolíme Add detection

image-20240328-121502.png

Detekčný widget s detekciou

image-20240328-121751.png

Detekcia s ktorou pracujeme

image-20240328-121828.png

Viazaná na model

Úrovne parametrizácie

Spustiť detekciu

Parametre predspracovania
image-20240328-122225.png

ROI

Limitácia priestoru rozpoznania polohy

Výber myškou

Filter mode

Zmena filtru odporúčané „Gaussovský“

Filter kernel

Hodnota filtrácie odporúčané
od 3 do 6

Edge

Typ vytvárania hrán a parametrizácia

Parametre detekčné

Metóda

Spôsob detekcie, voľba metódy vyhodnotenia polohy objektu, odporúčané Gauss.

Rozsah Z rotácie

Limitácia hľadania polohy v osi Z (rotácia kolmo na kameru).

Reduction %

Redukcia kľúčových bodov zvyšuje rýchlosť detekcie.

Edge crossing

O koľko môže výsledok detekcie polohy objektu presahovať definované ROI.

Parametre post spracovania

Min. skóre

Limit pre výsledné skóre detekcie polohy, ktorý uzná výsledok detekcie platný, alebo nie.

Offset

Dodatočná korekcia výsledku polohy.

Force rotation

Nanútenie fixnej rotácie stola nájdenej polohe objektu.

Filter

Filtrovanie výsledku a stabilizácia.

Generovanie „template“ detekcie (šablóny)
image-20240328-122527.png

Každá detekcia obsahuje súbor generovaných polôh „templatov“, ktoré slúžia na vyhľadávanie zhody na kamerovom obraze.
Vytvárajú sa zvolením modelu pre danú detekciu:

image-20240328-122704.png

Model na základe ktorého chceme generovať šablóny detekcie musí byť viditeľný v CAD-e, prípadne skrytý v prípade, že nechceme aby bola z neho generovaná šablóna.

Pridať novú, alebo upraviť pôvodnú.

Zoznam šablón môže obsahovať aj viacej súborov, ktoré môžu pracovať aj spoločné v prípade, že sa model skladá z viacerých častí, napríklad prípravky:

image-20240328-132056.png

Okno generovania šablón

image-20240328-132253.png

Šablóna

image-20240328-131256.png

Min. Edge Angle

Hustota zobrazených hrán, zobrazené hrany modelu sa musia zhodovať s hranami v zobrazení kamerového obrazu v režime hrán.

Expand Render Area

V prípade, že systém vyhlási nedostatočnú veľkosť plochy generovania šablón.

X / Y range

Rozsah dovolenej rotácie modelu pri generovaní šablón. Limit generovania.

Roll step

Veľkosť kroku pri rotácií modelu pri generovaní šablón okolo kolmej osi na kameru Z.

Cam. height

Vzdialenosť kamery od plochy stola.

Vzdialenosť

Minimálna a maximálna vzdialenosť pre generovanie šablón detekcie. Stredná hodnota predstavuje krok, ktorým sa zvyšuje výška od minimálnej vzdialenosti po maximálnu.

Perspective od / do

Počet generovaných perspektívnych pohľadov. Kolmo pod kamerou je potrebný len jeden avšak v krajných častiach kamery bude potrebné generovať viac pohľadov. Odporúčané od 3 do 7.

Podľa spomenutých hodnôt sa generujú šablóny detekcie polohy, ktoré si vieme skontrolovať ešte pred generovaním v okne kamery.

Dvojitým kliknutím môžeme šablónu posúvať a prirovnať si ju k reálnemu objektu v scéne.
„Scrollovaním“ približujeme a vzďaľujeme šablónu v rozsahu nastavených hodnôt.
Ľavým tlačídlom otáčanie okolo osi X a Y a pravým okolo Z v nastavených rozsahoch.

Ďalšie možnosti optimalizácie predstavujú:
Density – hustota generovaných kľúčových bodov.
Vectorization – úroveň optimalizácie bodov podľa vektorovej orientácie tak aby v smere X a Y reprezentovali rovnaký počet, potrebné zaškrtnúť Oriented.

Vytvorenie inšpekcie

Inšpekcie využívajú systém učenia umelej inteligencie pre komplexnú a univerzálnu kontrolu dielcov s potrebou presnosti ako nity, platničky a podobne. Pre jednoduchšie pozície môžeme použiť farebné inšpekcie prítomnosti farby ako napríklad rukoväť prípravkov.

V hornej lište zvolíme ikonu inšpekcie

image-20240627-143927.png

a otvorí sa kamerový obraz a zoznam inšpekcií.

image-20240328-140846.png

Väzba

Výber skupiny inšpekčných regiónov podľa viazania sa na model, alebo workspace. Pokiaľ je inšpekcia vytvorená priamo v modely tak je viazaná na model a jeho detekciu polohy. Pokiaľ je vytvorená vo workspace, tak je fixne viazaná do pracovného priestoru a nájdeme ju v skupine workspace.

Spustiť

Spustenie vybraných inšpekcií.

Rec. Options

Nahrávanie obrázkov datasetu pre učenie umelej inteligencie.

Voľba inšpekcie povoliť / zakázať

Zakázať / Povoliť

Výber inšpekcie.

Vlastnosti / Draw result

Vykresliť výsledok inšpekcie do obrazu kamery.

Vlastnosti / Inšpekcia

Zobraziť inšpekciu v osobitnom okne

Vlastnosti inšpekcie

Pose

Umiestnenie, rotácia a veľkosť inšpekčného regiónu.

 

Vlastnosti inšpekcie

Pokročilé / Invertovať

Invertovať výsledok inšpekcie.

Vyplniť

Zaplniť plochu inšpekcie nepriehľadnou farbou výsledku.

Draw result

Zaplniť plochu inšpekcie priehľadnou farbou výsledku.

 

Vlastnosti inšpekcie

Profil / ver1

Selekcia a voľba spoločného profilu inšpekcií.

Inspector

Typ inšpekcie:

CNN

umelá inteligencia

Farba

farebná inšpekcia

Vytvorenie farebnej inšpekcie

 

Mód

Farebný formát odporúčaný HSV.

Odtieň, Saturácia, Jas

Ohraničenie nameraných hodnôt z obrazu.

Min. score

Minimálne výsledné skóre potrebné na potvrdenie inšpekcie.

Color range

Zobrazenie farebného ohraničenia.

Actual score

Aktuálne namerané skóre.

Zobrazením inšpekčného okna vieme dynamicky zvoliť rozsah požadovanej farby. Stlačením tlačidla Ctrl + kliknutie na požadovanú farbu rozširujeme rozsah farebného ohraničenia.

Zobrazenie grafu umožňuje vizualizovať rozsah ohraničenia a aktuálnu farebnú konfiguráciu.

Vytvorenie CNN inšpekcie

 

Inspector

CNN typ umelá inteligencia

CNN Inšpektor

Trénovať

Otvoriť trénovacie okno.

Export

Exportovať model CNN.

Vymazať

Vymazať model CNN

 

Správne triedy / Use custom classes /

Lokálne

Nastavenie trénovanej správnej tiredy modelu CNN.

Globálne

Použiť správnu triedu nastavenú v profile.

TOOL

Selekcia správnej triedy.

Min. score

Minimálne výsledné skóre potrebné na potvrdenie inšpekcie.

Použitie profilu

Použitím profilu umožníme zdieľať rovnaké inšpekčné nastavenia viacerým inšpekčným regiónom. Profily sú uložené v rámci projektu a každý projekt má vlastné.

Architektúra CNN inšpekcií

Každá CNN inšpekcia potrebuje natrénovaný model, ktorý obsahuje triedy, ktoré predstavujú výsledok rozpoznania obrazu (auto, lietadlo, atď…). Takéto triedy musíme vytvoriť trénovaním pomocou vytvorených fotiek, ktoré predstavujú objekt danej triedy. Súbor takýchto fotiek sa volá Dataset.

Dataset môže byť spoločný pre rôzne CNN modely, alebo unikátny. Je to priečinok na disku, ktorý obsahuje kategorizovane zoradené fotky tried v priečinkoch podľa ktorého sa trénujú CNN modely.

Vytváranie Datasetu

Rec. Options

Tlačidlo pre otvorenie možností nahrávania.

Nahrávanie

Spustenie nahrávania obrázkov z vybraných inšpekčných regiónov.

Directory

Voľba priečinku datasetu.

Trieda

Zvoliť si preddefinovanú triedu, Good/Bad/Empty, alebo si vytvoriť vlastnú.

Resize a Max. Resolution

Nemeniť.

Príprava trénovania CNN modelu

Okno trénovania CNN modelu pozostáva z časti zobrazenia datasetu a konfigurácie trénovania.
Dataset pozostáva z trénovacej časti a validačnej. Trénovací dataset slúži pre učenie a validačný pre kontrolu učenia. Každá fotka z trénovacieho datasetu je upravená podľa parametrov tak, aby simulovala možné obmeny v rámci živého obrazu.

image-20240328-141313.png

Trénovacie okno

Dataset – výber zdrojového adresára
V tejto časti vyberáme dataset, podľa ktorého budeme trénovať CNN model.

Prepínanie medzi tréningovým a validačným datasetom.

 

Vlastnosti zobrazovaných obrázkov datasetu

 

Premiestniť do val. datasetu

Funkcia premiestni vybranú fotku/fotky do validačného datasetu.

Nastaviť váhu

Zvýši mieru učenia na vybranú fotku, používa sa v prípade nových fotiek na ktoré chceme doúčať CNN model. Nové fotky v datasete sú vždy vyznačené zelenou farbou a pokiaľ chceme urýchliť trénovanie im môžeme dať váhu 10. Nezabudnúť váhu po trénovaní nastaviť na nulu prípadne nižšie číslo.

Zakázať

Fotka ostane zašednutá a nebude sa používať na trénovanie.

Funkcie triedy

V vytváranie tried učenia.

Odstrániť

Vymazať.

image-20240328-141504.png

Zobrazenie tried v strome datasetu. Všetky fotky zobrazíme kliknutím na položku Dataset.

 

Práca s jednotlivými triedami v strome
datasetu

Posunúť triedu dole / hore

Táto funkcia priamo zasahuje to indexácie tried a teda do projektov. Ak zmeníme poradie tried tak sa stratí väzba s projektom.

Premiestniť do

Triedu môžeme premiestniť do inej triedy.

Zlúčiť

Dve triedy vieme zlúčiť do jednej skupinovej triedy.

Rozdeliť

Naopak vieme rozdeliť skupinu na dve osobitné triedy tak ako pred zlúčením.

Práca s fotkami a zmena ich veľkosti ikony a ich zoradenie v zobrazení podľa:
Dátum, Názov
Podobnosť – Fotky s predpokladom najväčšej podobnosti teda najmenších známok rozdielov sú zobrazené ako prvé.
Zaostrenie – Najrozmazanejšie fotky sú zobrazené ako prvé.
Ostrosť / Kontrast – Triedenie podľa kvality fotky.
Skóre – Po spustení:

dostane každá fotka v datasete pridelené číslo úspešnosti (skóre) podľa ktorého si vieme zoradiť fotky a určiť tak fotky s najnižším skóre a rozhodnúť sa či majú dôležitosť pre učenie, alebo sú zlé.

Záložka výsledky trénovania – Po spustení testovania na datasete je skóre každej fotky štatisticky zobrazené v tabuľke výsledkov.

Spustenie trénovania CNN modelu

 

Augmentácia

Rozširovanie učenia na základe poznaných fotiek je dôležitá funkcia, kde pomocou určených parametrov upravujeme fotky tak aby simulovali zmenu prostredia:

Transformácia

Objekt je potrebné zobraziť pri učení aj v iných pozíciách ako len tej, ktorú poznáme.

Prevrátiť vertikálne / horizontálne

Preklopenie fotky cez V/H os.

Rotácia / Posunutie / Zväčšenie

Rozmerová a pozičná úprava fotky.

Gamma rozsah

Úprava farebnej kvality fotiek.

Rozsah osvetlenia

Simulácia zmeny jasových podmienok pracovného prostredia.

Saturácia

Úprava kvality farieb fotky.

Šum / Rozmazanie / Zaostrenie

Simulácia zhoršených podmienok pracoviska.

 

Parametre učenia

Resetovať

Resetovať model CNN.

Importovať

Importovať model CNN.

Veľkosť dávky

Veľkosť dávky musí obsiahnuť počet fotiek v datasete teda ak máme 13954 fotiek v datasete tak nastavíme hodnotu 14000.

Mini-dávka

Je objem fotiek použitých na jedno trénovanie, teda celková veľkosť dávky je rozdelená na mini-dávky o veľkosti závislej na použitej grafickej karte a jej pamäti.

Validačné rozdelenie

V prípade, že máme prázdnu validačnú triedu, systém automaticky určí percentuálny počet fotiek, ktorý premení na validačné.

Použiť CUDA

Áno. Trénovanie na GPU.

Priebeh trénovania. Strata predstavuje stratu pre jednotlivú mini-dávku trénovania na trénovacích a validačných dátach. Táto strata musí klesať pokiaľ učenie prebieha dobre.
Presnosť trénovania naopak stúpa s počtom trénovaní a očakávaná úroveň je cez 99% avšak je závislá na kvalite datasetu.

Vytvorenie 3D regiónov

image-20240328-145619.png

V prvom kroku si otvoríme Workspace pomocou dvojkliku, alebo zobrazenia možností a zvolíme Open.

image-20240328-145802.png

Otvorí sa nám CAD, v ktorom začneme definovať 3D regióny.

image-20240328-145927.png

Tlačidlom R si zvolíme kreslenie obdĺžniku a podržaním spolu s potiahnutím vytvoríme obdĺžnik.

Ďalej si zobrazíme možnosti a zvolíme Extrahovať ako 3D Region.

image-20240328-150224.png

Vyskočí nám okno kde si vieme vybrať, či chceme obdĺžnik Convertovať a pôvodný odstrániť, alebo zachovať.

image-20240328-150548.png

Nakoniec si vyberieme kameru s ktorou chceme región spojiť

⚠️Pokiaľ sa jedná o 3D región vždy vyberáme nejakú z dostupných 3D kamier.

Nastavenie 3D inšpekcii

image-20240328-151924.png

V pravom hornom rohu si zvolíme Properties. Zobrazí sa nám okno s nastaveniami 3D regiónu v CAD-e ako je rozmer, pozícia a rotácia.

K ďalším nastaveniam sa dostaneme cez 3D inspection widget

image-20240627-143959.png

image-20240328-154009.png

3D inspection widget

Väzba

Výber skupiny inšpekčných regiónov podľa viazania sa na model, alebo workspace. Pokiaľ je inšpekcia vytvorená priamo v modely tak je viazaná na model a jeho detekciu polohy. Pokiaľ je vytvorená vo workspace, tak je fixne viazaná do pracovného priestoru a nájdeme ju v skupine workspace.

Spustiť

Spustenie vybraných inšpekcií.

image-20240328-154058.png

3D inspection properties widget

Thickness

Vizuálne nastavenie hrúbky ohraničenia regiónu

Profile

Vytvorenie spoločného profilu pre 3D inšpekcie

Process

Spôsob vyhodnocovania

Inspector

Typ inšpekcie

Result

Výsledok v hodnote:

Threshold/Range

Invert

Prevrátenie výsledku

Threshold[%]

Prahová hodnota

Occupancy[%]

Prahová hodnota, kedy je región vyhodnotený ako plný

Empty Occupancy[%]

Prahová hodnota, kedy je región vyhodnotený ako prázdny

Pick2Light

Pokračujeme ďalšou ikonou v hornej lište, pre pick2light

image-20240627-144024.png

image-20240328-162329.png

Otvorí sa nám Pick manager, v ktorom si vytvoríme nový layout s požadovanou veľkosťou. Rozmer nášho layout-u vyberáme na základe počtu 3D regiónov, alebo súčiastok ktoré chceme osádzať.

image-20240328-163246.png

Po vytvorení layout-u sa nám zobrazia pozície boxov. Každý box má svoje menu možností.

Assign device

Priradiť zariadenie(Unibox)

Bind layout

Spojiť s layout-om

Bind 3D region

Spojiť s 3D regiónom

Rename

Zmeniť názov boxu

Set identifier

Nastaviť barcode

Fill stack

Doplniť box

Remove

Odstrániť box

image-20240419-111206.png

Icon

Vybrať obrázok ktorý sa zobrazí na displeji

Quantity

Množstvo

Stack

Doplnenie zásob na pozícii

Strip

Nastavenie pozície od kial po kial sa má vysvietiť led pás

Procedúra

att_111_for_1540097.png

Procedurálne okno

image-20230428-133015.png

Pridať nový krok

image-20230428-132926.png

Nastavenie procedúry

image-20230428-132954.png

Presun krokov kurzorom

att_5_for_1540097.png

Posun krokov hore a dole

image-20230505-114216.png

Rozbalený krok a jeho štruktúra

Projekcie – elementy zobrazenia projektorom
Detekcie – Vykonávajúce sa detekcie polohy objektu
Inšpekcie – Vykonávajúce sa inšpekcie kamerou
Pick2Light – Ovládanie materiálových pozícií
Akcie – Volanie akcií kroku
Podmienky ukončenia – Ukončovacie podmienky kroku

Nastavenie parametrov procedúry image-20230504-162234.png

image-20240328-170934.png

Procedure properties widget

Run type

Loop- bude vykonávať procedúru pokiaľ nedosiahne production target

Production target

Udávanie cieľu produkcie

Conditions

Podmienky pre vykonanie akcie v priebehu procedúry

Eval. time

Minimálny čas kroku, ktorý je nastavený ako evaluačný

Fast pick mode

Po siahnutí do určeného boxu prejde na ďalší krok

Bad pick mode

Pri siahnutí do iného boxu ako je v kroku určený, vysvieti led pás červenou farbou

Stop on bad pick

Pri siahnutí do iného boxu ako je v kroku určený, zastaví procedúru

SQL capture source

voľba zariadenia ktoré na konci procedúry uloží svoju poslednú snímku.(Odporúčané zvoliť 2D Kameru)

Conditions to

Vykonaj akciu na základe splnenej podmienky

Práca s procedúrou

att_8_for_1540097.png
image-20230504-162533.png

Spustenie vybraného kroku

image-20230504-162555.png

Zmazanie vybraného kroku

image-20230504-162605.png

Projekcia daného kroku, zobrazí všetky entity obsiahnuté krokov v CADe a projektorom

image-20230504-162651.png

Postupujúci krok, krok ktorý pokračuje ďalej v prípade nedefinovaného ukončenia

image-20230504-162638.png

Cyklický krok, krok ktorý cykluje bez ukončenia

att_14_for_1540097.png

Podmienky ukončenia kroku majú dva stavy:

  1. Musia byť splnené a vtedy sa kontroluje stav ukončenia kroku.

  2. Musia byť len vyhodnotené, teda stav členov podmienok je známy.

att_15_for_1540097.png

Čas, ktorý je očakávaný a s ktorým sa pracuje v štatistike výroby zobrazenom vo WorkManager.

image-20230428-140631.png

Zobrazenie obrázku a popisu kroku vo WorkManager.

image-20230428-140653.png

Po ukončení kroku uloží obrázok z kamery do SQL.

JavaScript errors detected

Please note, these errors can depend on your browser setup.

If this problem persists, please contact our support.