Innovative Energieoptimierung mit Reinforcement Learning, Ein Forschungsprojekt in Zusammenarbeit mit der Hochschule Luzern

Die green4 ag freut sich, eine wegweisende Zusammenarbeit mit der Hochschule Luzern (Departement Informatik) bekanntzugeben. Ramon Stoffel, Student im Studiengang «Artificial Intelligence & Machine Learning» (AI&ML), hat im Rahmen seiner Bachelorarbeit „Energy Management 4.0 – Reinforcement Learning in der Energieoptimierung“ ein innovatives Konzept zur Optimierung des Energieverbrauchs entwickelt.

Die wachsenden Anforderungen an Energieeffizienz und Nachhaltigkeit in Gebäuden stellen eine grosse Herausforderung dar, insbesondere in Gebirgsregionen mit extremen klimatischen Bedingungen wie den Alpen. Ziel dieser Bachelorarbeit war es, ein System zu entwickeln, das Reinforcement Learning (RL) mit Simulationssoftware kombiniert, um den Energieverbrauch im Restaurant Wildspitz auf 1580 Metern Höhe zu optimieren. Das Restaurant verfügt über diverse Energiesysteme wie Photovoltaik, Batteriespeicher und eine Wärmepumpe. In der Untersuchung wurde evaluiert, ob ein RL-Agent, der auf einem realistischen Gebäudemodell trainiert wird, in der Lage ist, Betriebsstrategien zu erlernen, die den Eigenverbrauch maximieren, Lastspitzen reduzieren und den Netzbezug minimieren. Die grösste Schwierigkeit lag in der ganzheitlichen Integration dieser Technologien unter alpinen Bedingungen, die durch wechselhafte Wetterlagen und hohe Spitzenlasten geprägt sind. Die Arbeit diente als Machbarkeitsstudie für den Einsatz von RL im Gebäudemanagement und als Basis für weiterführende Entwicklungen.

Unter der Betreuung von Igor Dremelj und mit Unterstützung durch unsere Experten wurde ein detailliertes Gebäudemodell in SketchUp und OpenStudio entwickelt und anschliessend mit der Simulationssoftware EnergyPlus integriert. Realitätsnahe Energiesysteme wie Photovoltaikanlage, Batteriespeicher, Wärmepumpe und Kühlzellen wurden dabei in das Modell integriert. Reale Wetterdaten (EPW-Files) ermöglichten eine präzise Simulation standortspezifischer Bedingungen.

Parallel entstand eine Reinforcement-Learning-Umgebung, basierend auf dem OpenAI Gym-Standard und der RLlib-Bibliothek. Der RL-Agent erhielt kontinuierlich Zustandsinformationen wie Batterieladestand, aktuellen Energieverbrauch sowie detaillierte Solarprognosen für die nächsten 72 Stunden. Anhand dieser Daten traf der Agent Entscheidungen zur optimalen Lade- und Entladerate der Batterie, um die energetische Effizienz und Nachhaltigkeit zu maximieren.

Zur Umsetzung wurde der Proximal Policy Optimization (PPO) Algorithmus verwendet, der speziell an die Projektanforderungen angepasst und optimiert wurde. Zentrale technische Herausforderungen, wie Kompatibilitätsprobleme zwischen Softwarebibliotheken, die simultane Steuerung mehrerer Aktoren und dynamische Anpassungen der Simulationsbedingungen, wurden erfolgreich gemeistert.

Die Ergebnisse der Arbeit sind beeindruckend: Über 110 Trainings-Episoden hinweg zeigte der RL-Agent eine klare Lernkurve. Anfangs waren die Einsparungen noch minimal (0,1 % gegenüber einer Referenzsimulation ohne RL). Nach kontinuierlichem Training erhöhte sich die Effizienz des Systems deutlich, sodass nach 110 Episoden bereits Einsparungen von 1,1 % pro Monat im Vergleich zur Baseline erreicht wurden. Diese Resultate verdeutlichen das Potenzial des RL-Ansatzes, strategische Entscheidungen für das Batteriemanagement und die Energieoptimierung effektiv zu erlernen und umzusetzen.

Ein weiterer bedeutender Erfolg war die Anpassungsfähigkeit des Systems an unterschiedliche Wetterbedingungen und saisonale Schwankungen. Der RL-Agent bewies die Fähigkeit, zukünftige Solarerträge effektiv in die Entscheidungsfindung einzubeziehen und so die Nutzung erneuerbarer Energien optimal zu steuern.

Wir freuen uns, gemeinsam mit Ramon Stoffel, Igor Dremelj, Thierry Pollet und der Hochschule Luzern, diesen wichtigen Schritt hin zur praktischen Anwendung von Reinforcement Learning gemacht zu haben. Die Ergebnisse dieser Bachelorarbeit sind richtungsweisend und verdeutlichen eindrucksvoll, wie Reinforcement Learning aktiv dazu beitragen kann, die Energiewende effektiv voranzutreiben.

Interessierte, die mehr über diese innovative Methode und die detaillierten Ergebnisse der Bachelorarbeit erfahren möchten, können sich gerne bei uns melden, um die vollständige Arbeit anzufordern.

Kontakt:
green4 ag
Adrian Baumann
Arbachstrasse 2d
6340 Baar
Tel: 041 748 14 44
info@green4.ch