18 iulie 2023

T17:Aplicatie "IoT data engineering"/ETL utilizand Node Red

Extragerea, transformarea și încărcarea (ETL) reprezintă procesul pe care organizațiile bazate pe date îl folosesc pentru a colecta date din mai multe surse și pentru a le aduna apoi în scopul de a sprijini descoperirea, raportarea, analiza și luarea deciziilor. 

Ingineria datelor este practica de a proiecta și construi sisteme pentru colectarea, stocarea și analizarea datelor la scară.


Aplicatia realizeaza o conducta de date utilizand platforma Node Red.

Datele sunt preluate cu ajutorul unui API  de pe site ul www.weatherapi.com si 

sunt introduse intr o baza de date postgresql dupa care sunt exportate intr un fisier .csv pentru prelucrare de tip data science.

Datele sunt vizualizate/interogate cu cu microsoft access(odbc) si afisate grafic cu Microsoft Power BI.

Sunt preluate date despre temperatura estimata pentru orasul Pucioasa.