T20:Aplicatie ETL : transfer date postgresql - bigquery cu PYTHON

 Am utilizat limbajul de programare PYTHON pentru a realiza transferul de date

din baza in date Postgresql in "lacul de date" BigQuery.

T19:Aplicatie ETL : Raport in Looker Studio(google) cu sursa de date BigQuery(google)

 Am utilizat datele depozitate in BigQuery pentru a crea sursa de date in Locker.

Pe baza sursei de date am creat 2 rapoarte : un raport cu valorile temperaturilor in

fiecare ora din zi si un alt raport cu tempertaura medie/zi.

Al doilea raport este utilizat pentru filtru(dupa data zilei) pentru primul raport. 

T18:Aplicatie ETL : transfer date postgresql - bigquery cu dataddo.com

 Aplicatia utilizeaza baza de date postgres formata la aplicatia nr. 17.

Datele din tabelul senzori din baza de date postgresql se va replica in "lacul de date" bigquery utilizand aplicatia dataddo.com

T17:Aplicatie "IoT data engineering"/ETL utilizand Node Red

Extragerea, transformarea și încărcarea (ETL) reprezintă procesul pe care organizațiile bazate pe date îl folosesc pentru a colecta date din mai multe surse și pentru a le aduna apoi în scopul de a sprijini descoperirea, raportarea, analiza și luarea deciziilor. 

Ingineria datelor este practica de a proiecta și construi sisteme pentru colectarea, stocarea și analizarea datelor la scară.

Aplicatia realizeaza o conducta de date utilizand platforma Node Red.

Datele sunt preluate cu ajutorul unui API  de pe site ul www.weatherapi.com si 

sunt introduse intr o baza de date postgresql dupa care sunt exportate intr un fisier .csv pentru prelucrare de tip data science.

Datele sunt vizualizate/interogate cu cu microsoft access(odbc) si afisate grafic cu Microsoft Power BI.

Sunt preluate date despre temperatura estimata pentru orasul Pucioasa.

T16:Telemetrie - masurare consum energie electrica

 Pentru aplicatia de telemetrie(smart meter ing) am utilizat controllerul LK3 produs de tynicontrol(Polonia) si senznorul de curent : SCT-013-030.

Pentru partea de IoT am utilizat: platforma Node Red , baze de date InfluxDB si grafice realizate pe platforma Grafana.

 Aplicatia realizata in Node Red preia date de la controlerul LK3(la care este conectat senzorul de curent) prin protocol MQTT.Valorile sunt transmise(inserate) catre baze de date InfluxDB.Cu platforma Grafana se preiau datele din bazele de date InfluxDB si se realizeaza grafice cu consumul de energie electrica zilnic si in fiecare ora.

T15:Modbus RTU cu Node Red ( aplicatie cu convertizorul de frecventa E1000-Electrozep)

 Convertizorul de frecventa E1000 are posibilitatea de comunicatie Modbus-RTU.Am configurat in Node Red un nod de citire modbus (care citeste frecventa la care lucreaza convertizorul) si un nod de scriere modbus (care modifica frecventa de lucru).

comanda convertizorului cu frecventa de lucru = 14.35Hz

comanda convertizorului cu frecventa de lucru = 42.37Hz

 Configurarea nodurilor Node Red pentru citire/scriere frecventa

T14:Transmitere date (mqtt) : Node Red -> Controller IoT tinyESP(import mqtt)

Controllerul IoT - tinyESP are posibilitatea de a primi date prin protocolul MQTT ; se utilizeaza optiunea "generic - mqtt import"

In Node Red adaugati 5 obiecte "timestamp" si 4 obiecte "mqtt out"

-apasati "timestamp" cu valoarea 0 si vizualizati "devices"(refresh la pagina web)

-apasati cele 4  "timestamp" cu valori de la 1 la 4 si vizualizati "devices"