A.I. Auto Classifier

A.I. Auto Classifier er ein skipan til generella reinsing av dátum. Skipanin gevur tí ólærda brúkaranum lætta og skilliga atgongd til kompleksar A.I. algoritmur

Størri virkir við nógvum tilfeingi – hvørt hetta er útgerð, eykalutir, tilfar ella ikki-fysiskir lutir sum tænastur, viðlíkahalds tiltøk, tilburðir o.s.fr. – standa ofta andlit til andlit við avbjóðingar við sínari dátuhandfaring. Hetta forðar teimum frá til fulnar at gagnnýta virðismiklar tøkniligar møguleikar so sum Digital Asset Management, ERP (Enterprise Resource Planning) loysnum og undankomandi ML (Machine Learning) tøkni.

Bólking av dátum (Data Classification) og reinsan eru eitt stórt stig hjá virkinum at taka ræðið yvir dátunum og brúka tær uppá nyttuverdar mátar. Brúkbarheitin á eini hvørjari skipan er avmarkað av góðskuni á teimum dátum, hon ger brúk av.

Data classification kann vera ein long og tilfeingis-krevjandi tilgongd. Hetta kann krevja at stór toymir í mánaðar – ella enntá ár – eru bundin at drúgvum og møtimiklum manuellum arbeiði. Onkuntíð er kostnaðurin á dátu reinsing ikki verdur fyrimunirnar yvir eitt nóg stutt tíðarskeið til at rættvísgera.

Seinastu tíðina eru virkir byrjaði at lata eyguni upp fyri spennandi nýggjum møguleikum við software amboðum, ikki minst innan umráðini Artificial Intelligence (vitlíki) og Machine Learning.

Hesar tøknir bjóða ótrúlig nýggj innlit í virksemið hjá virkinum og kunnu taka burtur tørvin á endurtakandi og drúgvum manuellum uppgávum. Hetta kann geva starvsfólki betri tíð til at taka sær av meiri avbjóðandi uppgávum og harvið skapa meiri virði.

Ella – tað er í hvørt fall tað, okkum mennarum dáma at fortelja tykkum, kundunum.

Hóast útsagnirnar omanfyri eru púra sannar í teirra núverandi líki, eru heilt nógvir spurningar, sum skulu takast upp áðrenn tykkara virki kann seta í verk slíkar loysnir til tykkara serstøku dátur, avbjóðingar og umstøður.

Okkara A.I. Auto Classification skipan svarar einum av teimum týdningarmestu spurningunum: bólking og reinsan av dátum og flokking í mun til eina brúkbara bólkingarskipan eftir tykkara ynski.

Skipanin ger hetta við at innlesa dáturnar, sum skulu bólkast, valfrí upplæringar-dátuset um tey finnast og ta flokkingarskipan, sum skal nýtast. Dátuset til upplæring og bólking kunnu vera tilfarslistar, hendingar, viðlíkahaldsloggar, fakturerings yvirlit o.s.fr.

Tá ið innlesingin er gjørd, kunnu starvsfólk, sum skulu útføra bólkingaruppgávurnar, innrita á skipanina og antin seta í gongd automatiska bólking ella byrja uppá manuella bólking.

Screenshot frá okkara AI Auto Classifier skipan
Løtuvísing frá okkara AI Auto Classifier skipan.

Skipanin upplærir seg sjálva í real-time við at hyggja at brúkara input. Hetta merkir, at við hvørjari einkultari bólking, sum brúkarin ger, lærir skipanin og gerst betri til at automatisera brúkarans arbeiði.

Á einum nóg stórum dátusetti og við nokk av venjing, verður skipanin før fyri automatiskt at bólka allar reglur við høgum neyvleika. Neyvleikin er tengdur at støddini á dátusettinum, bólkingarskipanini og øðrum umstøðum.

Harðar royndir

Vit hava gjørt nógvar blind-tests, har okkara kundar góvu okkum upplæringarsett og bólkingarsett har vit ikki høvdu atgongd til úrslitini, men ístaðin góvu kundanum úrslitini av automatiskari bólking til góðkenning. Eitt dømi av hesum sá soleiðis út:

Upplæringarsettið á 14.000 reglur stóð av 5-7 orða lýsingum av vind-turbinu tilfeingi, skrivað í menniskja máli (ikki skikkað til maskinlestur). Hesar lýsingarnar vóru skrivaðar av ymiskum persónum og stóðu av setningum sum t.d. “handle f emer twr hatch.” Altso setningar, sum eru torførir fyri fólk at skilja.

Bólkingarskipanin var í tveimum løgum, ikki hierarkisk og hevði á leið 400 loyvdar bólkasamansetingar tilsamans. Hetta vil siga, at ein lýsing sum omanfyristandandi dømi, skuldi bólkast, fyrst í yvirordnað slag (el-lutir, hydraulikkur o.s.fr.) og síðani í hvat fyri deilur, talan var um (hurð, ventilur, leidningur o.s.fr.)

Tá ið vit testaðu automatiska bólking á 1000 reglur, sum hvørki vit ella skipanin høvdu sæð áður, hevði skipanin bólkað 67% av reglunum rætt. Hetta ljóðar kanska ikki av nógvum, men minnast skal til at hetta er ein torfør uppgáva fyri vand fólk.

Vit mettu, at skuldi skipanin bólka dáturnar við sama neyvleika sum vandir persónar efitr hesari bólkingarskipanini, var neyðugt við einum upplæringarsetti á uml. 60.000 reglur. Um talan t.d. var um eitt dátusett uppá 1mió reglur, kundu vit við hesum roknað við at skorið niður uppá manuelt arbeiði við 94%, og ein uppgáva, sum hevði tikið einum persóni 10 ár við fullari tíð, hevði ístaðin tikið henni eitt sindur yvir eitt hálvt ár!

Afturat hesum, visti skipanin eisini, at á leið 67% (+- 2 prosentstig) av reglunum fóru at vera rættar. Altso vit kundu fortelja kundanum áðrenn vit fingu svar uppá neyvleikan, at vit fóru at hava 67% av reglunum rættar.

Enn víðari, so kundi skipanin eisini geva okkum umleið 50% av reglunum liðugt bólkaðar við 90% neyvleika. Altso vit kundu senda uml 500 reglur til kundan við vitan um at hesar reglurnar vóru 90% rætt bólkaðar, og harvið eisini vitan um hvørjar reglur skuldu eftirhyggjast av fólki. Tá ið vit settu kravið til 95% neyvleika, fekk skipanin útvalt uml. 240 reglur ella 24%.

Hetta síðsta hevur sera stóran týdning, serliga tá ið tað kemur til bólking av ókendum dátum: hóast skipanin ikki hevði nokk av upplýsingum til at bólka allar reglurnar rætt, visti hon við stórum neyvleika hvussu stórt frávikið fór at vera, og kundi velja út tær linjur, sum kundu bólkast við stórum neyvleika.

Vit kundu sjálvandi lættliga víst á royndir, sum høvdu nærum 100% neyvleika við stórum dátusettum við ókompleksum bólkingarskipanum. Men endamálið er at vísa, at hetta er ein skipan, sum við neyvleika kann brúkast til sera kompleksa bólking undir veruleikakendum umstøðum.

A.I. skipanin hevur viðfevndar sjálv-rapporterings førleikar, sum geva brúkaranum eitt yvirlit yvir forsagnar neyvleikanum og meiri framkomnum variablum. Eisini kann brúkarin gera royndir á dátusett og eygleiða bólkingargóðsku bólk fyri bólk ella reglu fyri reglu.

Eftir hesa fyrstu test gjørdu vit eina aðra. Hesuferð brúktu vit somu bólkingarskipan, men dátusettið var fyri motor lutir, ikki vind turbinur. Altso eitt heilt annað slag av lutum enn skipanin var upplærd við. Eisini her var neyleikin góður, við uml. 70% rætt bólkaðum reglum av 450, við autoclassification. Tann hægri neyleikin var ikki tilvildarligur, men tí at vit høvdu arbeitt uppá algoritmurnar við fyrsta dátusetti og við at gera brúk av fleiri útvortis dátum til bólking, vit høvdu tikið uppí sambandið ímillum lutirnar, sum eisini var víst í dátusettinum.

Nýggjar tests við tí fyrra vind turbinu settinum gav okkum á leið 71% neyvleika. Hetta vísti, at upplæring virkaði væl frá einum dátusetti til eitt annað undir hesum umstøðunum. Hetta gav okkum eisini dýrabarar ábendingar um upplæringamøguleikarnar við skipanini.

Hesar royndirnar vórðu gjørdar á sera torgreiddar dátur. Skipanin sjálv kann brúkast til at bólka allar tekstir og á einklari bólkingarskipanum kann væntast ein størri neyvleiki við nógv færri upplæringarreglum.

Møguleikar við skipanini

Hóast hon er virkisfør í sínum núverandi standi, er skipanin ikki liðugt ment til tað, støði vit ynsktu at síggja hana. Vit hava nógvar algoritmur í okkara pipeline til stórar forbetringar á bólkingar neyvleikanum. Okkara ætlan við front-end er at framvísa hesar framkomnu algoritmurnar á ein tílíkan hátt, at sjálvt tann ótrenaði brúkarin kann innrita á skipanina og byrja at brúka hana beinanvegin.

Afturat framkomnari sjálv rapportering, gevur skipanin eisini einfaldar og skilligar upplýsingar, so sum “confidence levels”, “training status” o.s.fr. til brúkarar, sum hava tørv á at vita hvussu væl skipanin er upplærd og hvussu neyvt hon bólkar, uttan at skula gera sínar egnu statistisku útrokningar.

Beint nú hava vit 3 útgávur av skipanini mentar ella undir menning.

Tann upprunaliga útgávan varð ment til uppseting á net ambætarum sum ein SaaS (Software as a Service). Front end er gjørdur við open source HTML5 tøkni, og back-end og ML algoritmurnar koyra á PHP. Menning á hesari útgávuni er sum heild steðgað og verður hon nú mest brúkt til demo og tests.

Tann næsta útgávan varð ment sum ein native SAP HANA applikatión, gjørdi brúk av SAPUI5 á front end og JavaScript við XSJS hjá HANA á back-end. SAP HANA økti veitingarmáttin munandi og gav okkum møguleikan at hava “live training”, har skipanin lærdi frá hvørjum einstakum brúkara input. Hendan skipanin varð eisini integrerað við S4HANA.

Næsta ættarlið miðsavnar seg um bólking við tí vælumtóktu og stóru eCl@ss bólkingarskipanini. Hendan útgávan er undir planlagdari menning, og ikki aktiv. Tankin við at seta seg á eina eittans bólkingarskipan var at møguleikin fyri at økja munandi um neyvleikan er betri, tá ið algoritmurnar eru skrivaðar til eitt fast endamál, og ikki skulu taka hædd fyri opnari bólking. eCl@ss auto bólkingarskipanin hevði verið ment lið um lið við generella A.I. Auto Classifier.