Datendownload Auflösung

Hallo,

Ich nutze die Volkszaehler Software auf einem Raspberry Pi und betreibe so meinen eigenen Stromzähler. Ich würde gerne die Daten der BEG/EEG in 15 Minuten Auflösung herunterladen, um sie im Volkszaehler neben meinen Verbrauchs- und Produktionsdaten grafisch darzustellen. Derzeit scheint das nur für Periode “Tag” möglich. “Monatlich” wäre aus meiner Sicht aber sinnvoll, um das rasch und mit geringem Aufwand erledigen zu können. Könnte man diese Änderung andenken?

Martin

1 „Gefällt mir“

Auch ich hätte Interesse, die Daten vor allem vollautomatisch herunterzuladen. Ich habe mir eine influxdb mit den Verbrauchs- und Einspeisungsdaten gebastelt, die ich derzeit händisch einmal im Monat mit den Monatsdaten aus der Energie Steiermark befülle.

Wäre natürlich super, wenn ich die gesammelten Daten mit Viertelstundenwerten inklusive der EEG und BEG Anteile herunterladen könnte. Wenn das händisch erfolgen muss, sollten zumindest monatliche Downloads möglich sein.

Am schönsten wäre es, wenn ich diesen Download automatisieren könnte. Dann könnte es durchaus auch auf Tagesbasis erfolgen.

Ein möglicher Weg wäre, dass in der Anzeige der Daten auch pro Zählpunkt ein Userkey und API-Key abfragbar ist, mit dem es möglich ist, automatisiert per Webservice die Werte eines Tages als csv oder von mir aus auch json oder xml Datei herunterzuladen. Dabei sollte ein Indikator mitkommen, ob schon eine 100%ige Verteilung erfolgt ist, falls wieder mal ein Netzbetreiber mit den Daten säumig ist. Ich stelle mir vor, dass nach einem Monat automatisiert der jeweilige Tag des Vormonats abgefragt wird, bei nicht 100%iger Abdeckung jeweils 1 Woche / Monat später nochmal, bis 100% für jeden Tag erreicht ist.

Dann könnten diese Daten automatisiert in die influxdb eingespeichert werden, sodass alle beliebigen Auswertungen mit Grafana möglich sind. Dabei denke ich an Kostenauswertungen oder z. B. Statistiken zur Verteilung von Prozentwerten, zu welcher Tageszeit die prozentmässig höchste Abnahme durch EEG und BEG gegeben ist, um planmäßig die Entladung des Speichers zu steuern.

Ihr habt ja die genauen Werte und ein Webservice zm Download sollte nicht zu schwer zu programmieren sein. Und mit Userkey, Apikey und Zählpunktnummer sollte auch eine Abfrage hinreichend securitymässig abgesichert sein, sodass Fremdzugriff ausgeschlossen ist. Zur Erhöhung der Sicherheit könnte auch z.B. der Userkey über einen anderen Weg mitgeteilt werden, sodass nicht alle Keys durch Hacken des Zugangs zur Datenanzeige erfahrbar sind.

3 „Gefällt mir“

Genau solche Anfragen mag ich. :slight_smile:
Wir haben inzwischen unsere Timescale Umstellung (SQLite –> PostgreSQL –> Timescale) abgeschlossen und jetzt sind solche Anfragen leichter zu behandeln.

Mal schauen, wann @berhir sich dafür etwas Zeit nehmen kann.

2 „Gefällt mir“

Eine API über die Mitglieder ihre Daten einfach abfragen können ist definitiv etwas das wir anbieten wollen. Aus Zeitgründen wird es aber noch ein bisschen dauern.

So wie ich das lese, haben wir hier einige Mitglieder mit guten technischen Verständnis. Ihr könnt also auch einfach unsere bestehende API verwenden, in dem ihr das Auth Cookie aus dem Browser nehmt. Die Daten werden vermutlich nicht so einfach zu verstehen sein, aber indem man vergleicht was im Mitgliederportal angezeigt wird, sollte es möglich sein. Damit sollten sich alle genannten Anforderungen umsetzen lassen.

Bis es eine sauber dokumentierte API gibt, wird es wie gesagt noch etwas dauern.

6 „Gefällt mir“

Hallo, Danke für den Hinweis mit dem Cookie. Das hat sehr gut funktioniert. Falls jemand interessiert ist, hier die wichtigsten Schritte:

  • Im Browser (bei mir: Firefox) F12 drücken und das Portal aufrufen.
  • Unter Netzwerkanalyse sieht man unter “Datei” die GET Aufrufe, für die jeweiligen Abfragen. Interessant sind die Key=Value Paare.
  • Unter XHR/Kopfzeilen findet man den Eintrag “Cookie: ”, er beginnt mit “portal.jwtToken=…”
  • Mit diesem Wissen kann man nun Abfragen zB mit curl senden. Beispiel:
  • Der Output im JSON Format lässt sich wunderbar verarbeiten.

Vielen Dank

10 „Gefällt mir“

F12 funktioniert auch im EDGE :grin:
Ich binde das ganze gerade in HomeAssistant ein - wird ein nettes experimentelles Dashboard werden :upside_down_face:
@berhir Danke für den Tipp!

1 „Gefällt mir“


Und schaut im ersten Entwurf so aus - aber Achtung - nicht bereinigt um fehlende Abrechnungen o.ä.
Im nächsten Schritt werde ich das bereinigen und liebevoll einer KI zur Prognose der Abdeckung des Eigenverbrauches und Abnahme der Produktion übergeben.
Ist wirklich nett :grin: :upside_down_face:

7 „Gefällt mir“

Das sieht ja cool aus :slight_smile:
Das schreit ja fast nach einem HomeAssistant Addon :wink:

4 „Gefällt mir“