Data Stream Consolidator

Við einum skjótt vaksandi tali av dátustroymum, serliga frá IoT (Internet of Things) eindum, kemur eisini ein vaksandi tørvur á mannagongdum og strategium til at savna, goyma, viðgera og forbrúka dátur frá eindum og skipanum. Data Stream Consolidator [DatCon] er ein skipan, sum vit hava tilvirkað á konseptuellum støði til at sameina dátustroymarnar hjá organisatiónini og at ambæta tær til brúkarar og skipanir í ynsktum formati.

DatCon er ein einstøk loysn til fleiri avbjóðingar innan handfaring av dátustroymum:

  • At savna dátur frá eindum og skipanum
  • Goymsla, backup og trygd
  • Tulking og dátusamantrýsting (datacompression)
  • Undantilvirking (pre-processing) og klárgerð
  • Atgongd, tilgongd og forbrúk

Savna dátur frá eindum og skipanum. Við ymiskum eindum koma ymiskir framferðarhættir fyri dátuflutning (transmission protocols) og ymiskar mannagongdir. Eindir eru mangan bundnar til eftirlitstól (controllers) tráðleyst ella við kaðali. Eftirlitstólini kunnu hereftir vera partur av størri SCADA e.l. skipanum, sum senda dátur yvir net við brúk av einari av nógvum møguligum protokollum. At taka sær atgongd til telemetriina er ein spurningur um at sambinda við røttum protokollum.

Goymsla, backup og trygd. Tá ið dáturnar eru savnaðar, er neyðugt at goyma tær trygt og trygdareintøk takast, síðani dátumissur altíð er møguligur. Øll stigini frá innsavnan til goymslu hava síni egnu trygdarkrøv.

Tulking og dátusamantrýsting (datacompression). Sekund fyri sekund sensor útlestur skapar stórar mongdir av dátum yvir tíð. Sjálvt um dátugoymsla er lutfalsliga bílig, kunnu dátur frá einum stórum tali av eindum blíva dýrar at goyma og at taka trygdareintøk av. Vanligar dátu samantrýstingar (compression) algoritmur hava avmarkaðan virknað. Tulking og skilnaður av dátum loyvir mangan ultra kompakta samantrýsting, hvar t.d. tíðarseriur (time series) kunnu samantrýstast nógvar ferðir meiri.

Undantilvirking (pre-processing) og klárgerð. Ideelt sæð, er tað skjótt og lætt at tilganga dátur. T.d. um ein verkfrøðingur hevur tørv á at krossávísa (cross reference) útlestur frá fleiri eindum fyri at greina og rapportera, er neyðugt at taka fleiri stig, frá at innlesa útlestrarnar til at umseta dáturnar til rættar eindir og tíðir.

Atgongd, tilgongd og forbrúk. Endamálið við teimum útlisnu dátunum er at geva organisatiónini brúkbarar upplýsingar, sum kunnu nýtast uppá ymsar mátar. Hvørt tað er til beinleiðis eygleiðing, planlegging av viðlíkahaldi, framløgur, greining ella onnur endamál. Dáturnar kunnu tilgangast á ymsar háttir av ymsum fólki frá ymsum pørtum av organisatiónini. Ymiskar flutnings mannagongdir eru fyritrektar til ymisk sløg av uppgávum. T.d. verður API atgongd við OData, JSON, XML o.s.fr. mest brúkt av mennarum, ímeðan beinleiðis SQL kann geva meiri nágreiniligt ræði, og starvsfólk uttanfyri tær tøkniligu greinarnar hava tørv á at taka niður .csv ella excel fílur.

Dátugreining á teldu
Endamálið við DatCon er at geva øllum pørtum av virkinum lætta atgongd til brúkbarar dátur

DatCon einfaldar dátustroymarnar hjá fyritøkuni til eina einstaka keldu, hvarfrá starvsfólk hava lætta atgongd til at forbrúka dátur eftir tørvi. Hetta gevur organisatiónini fleiri møguleikar í sínum dátu drivna arbeiði.

Data Stream Consolidator yvirlit
Illustratión: Yvirlit yvir hvussu dátur floyma frá ymsum eindum til software hjá kundanum ígjøgnum Data Stream Consolidator. Illustratiónir eru á enskum, síðani vit upprunaliga mentu konseptið saman við internationalum fólki.

Inntak frá ymsum eindum koma í ymiskum formatum, við ymiskum flutnings protokollum og sum ymiskar dátutypur.

Eindir, tíðarsonur, encoding og tal- og karakterformat finnast í ymsum frábrigdum, alt eftir nýtslu, stað og øðrum fyribrigdum. Hesar dátur verða tillagaðar til algongda atgongd (universal access) og verða goymd til lestur frá eksternum skipanum.

Dátu úrdráttur og góðkenning virkar til automatiskt at tryggja rein dátusett, sum eru klár til brúk av high-performance skipanum, Big Data, Machine Learning og beinleiðis greining. Direct-from-storage SQL gevur fullan fleksibilitet, ímeðan API (Application Programming Interface) loyvir fyrispurningum um serskilta formattering og harvið loyvir starvsfólki við ymsum førleikum at tilganga, visualisera og gagnnýta dátur.

Dømi um sensor output processing við Data Stream Consolidator
Dømi um sameining ímillum annars ókompatiblar eindir.

Illustratión: Útlestur frá temperatur sensorum ymsastaðni í verðini verða send í ymsum formatum, við ymiskum eindum. Útlesturin verður sameindur, og gevur brúkaranum møguleikan at samanbera sensor dátur á einum grafi, bert við brúk av einkultum API calls ígjøgnum teirra visualiserings-software.

DatCon gevur organisatiónini møguleikan at brúka sínar dátur við neyvleika og ger tilgongdina einfaldari fyri allar persónar í virkinum. Enn víðari reinsar og fyrireikar skipanin dáturnar til forbrúk í avanseraðum nýggjum tøknum, so sum Machine Learning, Predictive Maintenance, Big Data Drilling o.s.fr.

DatCon flowchart dømi
Dømi um dátu floymin frá keldu til málið ígjøgnum DatCon skipanina

Illustratión: Útlestur frá eindum verður móttikin og klárgjørdur til goymslu og fyrispurningar frá klient-skipanum. ERP (Enterprise Resource Planning) software og aðrar kunda prosessir hava atgongd til dátur við brúk av teirra egnu protokollum. Dátukeldur kunnu sameinast við hvørja aðra og útvortis keldur um tørvur er á tí.

Vit hava gjørt eina demo skipan, sum kann síggjast við at klikkja her. Gevið gætur: tað tekur eina løtu at innlesa skipanina. Hendan skipanin varð ment sum ein demo til brúk við fjarstaddum verkløgum.