T20:Aplicatie ETL : transfer date postgresql - bigquery cu PYTHON

 Am utilizat limbajul de programare PYTHON pentru a realiza transferul de date

din baza in date Postgresql in "lacul de date" BigQuery.

T19:Aplicatie ETL : Raport in Looker Studio(google) cu sursa de date BigQuery(google)

 Am utilizat datele depozitate in BigQuery pentru a crea sursa de date in Locker.

Pe baza sursei de date am creat 2 rapoarte : un raport cu valorile temperaturilor in

fiecare ora din zi si un alt raport cu tempertaura medie/zi.

Al doilea raport este utilizat pentru filtru(dupa data zilei) pentru primul raport. 

T18:Aplicatie ETL : transfer date postgresql - bigquery cu dataddo.com

 Aplicatia utilizeaza baza de date postgres formata la aplicatia nr. 17.

Datele din tabelul senzori din baza de date postgresql se va replica in "lacul de date" bigquery utilizand aplicatia dataddo.com

T17:Aplicatie "IoT data engineering"/ETL utilizand Node Red

Extragerea, transformarea și încărcarea (ETL) reprezintă procesul pe care organizațiile bazate pe date îl folosesc pentru a colecta date din mai multe surse și pentru a le aduna apoi în scopul de a sprijini descoperirea, raportarea, analiza și luarea deciziilor. 

Ingineria datelor este practica de a proiecta și construi sisteme pentru colectarea, stocarea și analizarea datelor la scară.

Aplicatia realizeaza o conducta de date utilizand platforma Node Red.

Datele sunt preluate cu ajutorul unui API  de pe site ul www.weatherapi.com si 

sunt introduse intr o baza de date postgresql dupa care sunt exportate intr un fisier .csv pentru prelucrare de tip data science.

Datele sunt vizualizate/interogate cu cu microsoft access(odbc) si afisate grafic cu Microsoft Power BI.

Sunt preluate date despre temperatura estimata pentru orasul Pucioasa.