
Sustainable and Human-centered Production Planning and Control Based on Reinforcement Learning Techniques (SUPPORT)
Die Produktionsplanung und -steuerung (PPS) in Unternehmen beeinflusst sowohl die Wirtschaftlichkeit als auch die Materialströme, die Maschinenbelegungen sowie den konkreten Einsatz der Mitarbeiter:innen. Aktuelle Verfahren zur Planungsoptimierung stoßen bei der hohen Komplexität an ihre Grenzen und fokussieren sich zumeist nur auf die Steigerung der Produktivität eines Fertigungsprozesses. Das Ziel des Projekts ist es, die komplexe Produktionsplanung zu vereinfachen. Das soll durch Reinforcement Learning (bestärkendes Lernen) erreicht werden. Reinforcement Learning ist eine Form des maschinellen Lernens und damit der künstlichen Intelligenz (KI) zuzuordnen. Der Vorteil von Reinforcement Learning ist, dass es auch für sehr komplexe Probleme Lösungen finden kann. Dazu wird der KI nicht gezeigt, welche Aktion in welcher Situation die beste ist, sondern sie erhält zu einer bestimmten Zeit eine Belohnung, die auch negativ sein kann. Zum Training wird allerdings ein Simulationsmodell benötigt. Da die manuelle Erstellung aufwendig ist, soll das Modell in SUPPORT automatisiert erstellt werden. Neben den bisherigen Optimierungsgrößen soll auch die Belastung der Mitarbeiter:innen berücksichtigt werden, sodass eine Steigerung der Produktivität im Einklang mit den Mitarbeitenden stattfindet. So soll es möglich sein, mit geringem Aufwand komplexe PPS-Aufgaben effizient und nachhaltig zu lösen.
it's OWL Innovationsprojekte
Maschinelle Intelligenz
Gestaltung sozio-technischer Systeme
Nachhaltigkeit
Details
SUPPORT
Laufend
Ressourceneffizienz
Produktionsmanagement
Smart Factory
Künstliche Intelligenz & Maschinelles Lernen
Digitalisierung der Arbeitswelt
€2,080,000.00
04/2022 - 03/2025
Ministerium für Wirtschaft, Industrie, Klimaschutz und Energie des Landes Nordrhein-Westfalen
it's OWL
Problem


Herausforderungen der Produktionsplanung und -steuerung in produzierenden Unternehmen
Die Produktionsplanung ist ein geschäftskritischer Prozess, der die Wettbewerbsfähigkeit eines Unternehmens maßgeblich beeinflusst. Sie steuert Materialströme, Maschinenbelegungen und Personaleinsatz, um einen ressourceneffizienten Betrieb zu gewährleisten. Angesichts steigender Variantenvielfalt, kurzer Lebenszyklen und Fachkräftemangels wird sie immer komplexer. Eine nachhaltige Planung ist daher entscheidend, um langfristig wettbewerbsfähig zu bleiben und ökologische sowie soziale Verantwortung zu übernehmen. Insbesondere die Feinplanung (Ablaufplanung) spielt eine entscheidende Rolle auf operativer Ebene. Sie umfasst folgende Teilaufgaben: Terminierung von Fertigungsaufträgen, Maschinenbelegungs- und Personaleinsatzplanung, Auftragsfreigabe und Auftragsüberwachung, Vergabe an Fremdfertiger sowie die Losbündelung. Aktuelle Verfahren zur Feinplanung stoßen bei einer hohen Komplexität an ihre Grenzen und fokussieren sich zumeist eindimensional auf die Steigerung der Produktivität eines Fertigungsprozesses. Insbesondere soziale und menschliche Aspekte, die durch den Produktionsplan und die Steuerungsregeln mit beeinflusst werden, bleiben aus Komplexitätsgründen unberücksichtigt. Weiterhin gibt es hohe Aufwände in der Erstellung von Produktionsplänen sowie mangelnde Anpassungs- und Reaktionsfähigkeit bei geänderten oder neuem Produktionsumfeld sowie bei Störungen und äußeren Einflüssen. Als Lösung für Produktionsplanungsprobleme wurden in der Vergangenheit vor allem Metaheuristiken oder Zuteilungsregeln verwendet. Metaheuristiken sind Suchverfahren, welche in der Regel gute Lösungen finden aber möglicherweise lange rechnen. Zuteilungsverfahren sind einfache Entscheidungsregeln, welche schnell Planungsentscheidungen treffen können, aber bei komplexen Problemen häufig schlechte Lösungen produzieren. Daher wird in der Forschung vermehrt mit Reinforcement Learning (RL) experimentiert, um Produktionsplanungsprobleme zu lösen. RL soll schneller bessere Lösungen finden. Allerdings ist RL im praktischen Einsatz noch nicht ausgiebig getestet worden. Im Projekt SUPPORT wurden diese Herausforderungen adressiert und verschiedene Lösungsverfahren entwickelt und getestet.
Ziel und Ansatz


Digitalisierte Feinplanung mit Reinforcement Learning
Zur Erreichung der Projektziele wurden bei den Projektpartner in 3 Pilotprojekten und 3 Use Cases Prototypen für RL-basierte Agenten zur Produktionsplanung entwickelt und gegen bekannte Verfahren aus dem Bereich des Operations Research (OR) getestet. Die prototypischen Umsetzungen der RL- Agenten basierten alle auf der Idee einer sequenziellen Planung, welche iterativ Produkte zu einem Produktionsplan hinzufügt. Dieser Ansatz hat den Vorteil, dass er die Geschwindigkeit der Planung von Zuteilungsregeln, mit der Lösungsqualität von Metaheuristiken kombinieren sollte. In umfangreichen Benchmarks wurden diese Agenten mit Genetischen Algorithmen, einer bekannten und verbreiteten OR-Methode, verglichen.
Die im Projekt entwickelte Vorgehensweise kapselt einen dreistufigen Optimierungsprozess zur Reduktion manueller Planungsaufwände:
1. Datenbereitstellung und Modellerstellung: Im ersten Schritt werden planungsrelevante Daten aus den führenden Systemen gesammelt, um ein Simulationsmodell der Materialflüsse und Prozesse zu erstellen. Besonders geeignet ist eine diskrete Ereignissimulation (DES), die entweder manuell oder aus bestehenden Daten generiert wird. Sie ermöglicht eine realistische und intuitivere Abbildung, bei der klassische mathematische Modelle an ihre Grenzen stoßen.
2. Agenten-Training : Der RL-Agent wird mit dem Simulationsmodell trainiert. Dabei lernt er durch Interaktion, optimale Feinplanungsentscheidungen zu treffen – etwa zur Ablauf- und Ressourcenzuteilung. Produktionsplaner können gezielt Belohnungsstrukturen vorgeben, um gewünschte Ziele zu priorisieren, wie z. B. Rüstzeitminimierung, Einhaltung von Lieferzeiten oder Stressreduktion. Anschließend wird die Performance des Agenten anhand von Use-Case-spezifischen Metriken und Analysen bewertet.
Ergebnisse und Werte
Resümee und Ausblick
Das Ziel des Projekts SUPPORT bestand darin, mithilfe von Reinforcement Learning komplexe Produktionsplanungsprobleme zu vereinfachen und bei der Generierung und Optimierung von Plänen neben ökonomischen auch humanzentrierte Aspekte zu berücksichtigen. Bislang fand der Einsatz von RL vorwiegend im akademischen Kontext statt, ohne Anwendung auf reale Produktionsprobleme. Zudem fokussieren sich die meisten Planungsansätze ausschließlich auf ökonomische Ziele, während menschliche Faktoren aufgrund der hohen Komplexität oft vernachlässigt werden.
In drei Pilotprojekten mit den Industriepartnern Isringhausen und Miele wurden daher exemplarisch RL-basierte Ansätze zur Optimierung von Produktionsplänen implementiert. Diese Pilotprojekte unterschieden sich hinsichtlich ihrer Komplexitätsgrade, Branchen, zugrundeliegenden Optimierungsproblemen, angestrebten Zielen, IT-Infrastrukturen und verwendeten Simulationstools. Durch diese Vielfalt konnten die RL-basierten Ansätze unter verschiedensten Bedingungen getestet werden, was zu einer fundierten und robusten Bewertung ihrer Praxistauglichkeit führte. Ein Benchmark mit Genetischen Algorithmen zeigte, dass RL nach einer initialen Trainingsphase Produktionspläne schneller erzeugen kann und die Qualität der Pläne teilweise sogar höher ist als bei genetischen Algorithmen. Allerdings zeigte sich auch, dass RL bei sehr komplexen Produktionsproblemen an seine Grenzen stößt und dort weiterhin etablierte Methoden bevorzugt werden sollten.
Zukünftige Forschungsarbeiten im Bereich RL sollten sich darauf konzentrieren den Entwicklungsaufwand für praxisrelevante Probleme zu reduzieren, indem beispielsweise robustere, d.h. weniger Hyperparameter-sensitive Algorithmen entwickelt werden.
Beteiligte Partner

Lemgo, Germany
2009
Fraunhofer IOSB-INA

Bielefeld, Germany
1971
Hochschule Bielefeld - University of Applied Sciences and Arts

Lemgo, Germany
1919
ISRINGHAUSEN GmbH & Co. KG

Gütersloh, Germany
1899
Miele & Cie. KG
