1. Es ist ein Fehler aufgetreten. Bitte aktualisiere.

Sustainable and Human-centered Production Planning and Control Based on Reinforcement Learning Techniques (SUPPORT)

Die Produktionsplanung und -steuerung (PPS) in Unternehmen beeinflusst sowohl die Wirtschaftlichkeit als auch die Materialströme, die Maschinenbelegungen sowie den konkreten Einsatz der Mitarbeiter:innen. Aktuelle Verfahren zur Planungsoptimierung stoßen bei der hohen Komplexität an ihre Grenzen und fokussieren sich zumeist nur auf die Steigerung der Produktivität eines Fertigungsprozesses. Das Ziel des Projekts ist es, die komplexe Produktionsplanung zu vereinfachen. Das soll durch Reinforcement Learning (bestärkendes Lernen) erreicht werden. Reinforcement Learning ist eine Form des maschinellen Lernens und damit der künstlichen Intelligenz (KI) zuzuordnen. Der Vorteil von Reinforcement Learning ist, dass es auch für sehr komplexe Probleme Lösungen finden kann. Dazu wird der KI nicht gezeigt, welche Aktion in welcher Situation die beste ist, sondern sie erhält zu einer bestimmten Zeit eine Belohnung, die auch negativ sein kann. Zum Training wird allerdings ein Simulationsmodell benötigt. Da die manuelle Erstellung aufwendig ist, soll das Modell in SUPPORT automatisiert erstellt werden. Neben den bisherigen Optimierungsgrößen soll auch die Belastung der Mitarbeiter:innen berücksichtigt werden, sodass eine Steigerung der Produktivität im Einklang mit den Mitarbeitenden stattfindet. So soll es möglich sein, mit geringem Aufwand komplexe PPS-Aufgaben effizient und nachhaltig zu lösen.

Details

SUPPORT

€2,080,000.00

Ministerium für Wirtschaft, Industrie, Klimaschutz und Energie des Landes Nordrhein-Westfalen

it's OWL

Problem

Das Projekt SUPPORT kombiniert die Ziele der Beschäftigten (linke Seite) mit den ökonomischen Zielen des Unternehmens (rechte Seite)Das Projekt SUPPORT kombiniert die Ziele der Beschäftigten (linke Seite) mit den ökonomischen Zielen des Unternehmens (rechte Seite)

Herausforderungen der Produktionsplanung und -steuerung in produzierenden Unternehmen

Die Produktionsplanung ist ein geschäftskritischer Prozess, der die Wettbewerbsfähigkeit eines Unternehmens maßgeblich beeinflusst. Sie steuert Materialströme, Maschinenbelegungen und Personaleinsatz, um einen ressourceneffizienten Betrieb zu gewährleisten. Angesichts steigender Variantenvielfalt, kurzer Lebenszyklen und Fachkräftemangels wird sie immer komplexer. Eine nachhaltige Planung ist daher entscheidend, um langfristig wettbewerbsfähig zu bleiben und ökologische sowie soziale Verantwortung zu übernehmen. Insbesondere die Feinplanung (Ablaufplanung) spielt eine entscheidende Rolle auf operativer Ebene. Sie umfasst folgende Teilaufgaben: Terminierung von Fertigungsaufträgen, Maschinenbelegungs- und Personaleinsatzplanung, Auftragsfreigabe und Auftragsüberwachung, Vergabe an Fremdfertiger sowie die Losbündelung. Aktuelle Verfahren zur Feinplanung stoßen bei einer hohen Komplexität an ihre Grenzen und fokussieren sich zumeist eindimensional auf die Steigerung der Produktivität eines Fertigungsprozesses. Insbesondere soziale und menschliche Aspekte, die durch den Produktionsplan und die Steuerungsregeln mit beeinflusst werden, bleiben aus Komplexitätsgründen unberücksichtigt. Weiterhin gibt es hohe Aufwände in der Erstellung von Produktionsplänen sowie mangelnde Anpassungs- und Reaktionsfähigkeit bei geänderten oder neuem Produktionsumfeld sowie bei Störungen und äußeren Einflüssen. Als Lösung für Produktionsplanungsprobleme wurden in der Vergangenheit vor allem Metaheuristiken oder Zuteilungsregeln verwendet. Metaheuristiken sind Suchverfahren, welche in der Regel gute Lösungen finden aber möglicherweise lange rechnen. Zuteilungsverfahren sind einfache Entscheidungsregeln, welche schnell Planungsentscheidungen treffen können, aber bei komplexen Problemen häufig schlechte Lösungen produzieren. Daher wird in der Forschung vermehrt mit Reinforcement Learning (RL) experimentiert, um Produktionsplanungsprobleme zu lösen. RL soll schneller bessere Lösungen finden. Allerdings ist RL im praktischen Einsatz noch nicht ausgiebig getestet worden. Im Projekt SUPPORT wurden diese Herausforderungen adressiert und verschiedene Lösungsverfahren entwickelt und getestet.

Ziel und Ansatz

Digitalisierte Feinplanung mit Reinforcement Learning

Zur Erreichung der Projektziele wurden bei den Projektpartner in 3 Pilotprojekten und 3 Use Cases Prototypen für RL-basierte Agenten zur Produktionsplanung entwickelt und gegen bekannte Verfahren aus dem Bereich des Operations Research (OR) getestet. Die prototypischen Umsetzungen der RL- Agenten basierten alle auf der Idee einer sequenziellen Planung, welche iterativ Produkte zu einem Produktionsplan hinzufügt. Dieser Ansatz hat den Vorteil, dass er die Geschwindigkeit der Planung von Zuteilungsregeln, mit der Lösungsqualität von Metaheuristiken kombinieren sollte. In umfangreichen Benchmarks wurden diese Agenten mit Genetischen Algorithmen, einer bekannten und verbreiteten OR-Methode, verglichen. 



Die im Projekt entwickelte Vorgehensweise kapselt einen dreistufigen Optimierungsprozess zur Reduktion manueller Planungsaufwände:

1. Datenbereitstellung und Modellerstellung: Im ersten Schritt werden planungsrelevante Daten aus den führenden Systemen gesammelt, um ein Simulationsmodell der Materialflüsse und Prozesse zu erstellen. Besonders geeignet ist eine diskrete Ereignissimulation (DES), die entweder manuell oder aus bestehenden Daten generiert wird. Sie ermöglicht eine realistische und intuitivere Abbildung, bei der klassische mathematische Modelle an ihre Grenzen stoßen.

 

 2. Agenten-Training : Der RL-Agent wird mit dem Simulationsmodell trainiert. Dabei lernt er durch Interaktion, optimale Feinplanungsentscheidungen zu treffen – etwa zur Ablauf- und Ressourcenzuteilung. Produktionsplaner können gezielt Belohnungsstrukturen vorgeben, um gewünschte Ziele zu priorisieren, wie z. B. Rüstzeitminimierung, Einhaltung von Lieferzeiten oder Stressreduktion. Anschließend wird die Performance des Agenten anhand von Use-Case-spezifischen Metriken und Analysen bewertet.

 

3. Operativer Einsatz:  Nach Abschluss des Trainings kann der RL-Agent für den Produktiveinsatz vorbereitet werden. Er verarbeitet tagesaktuelle Daten und erstellt in kurzer Zeit optimierte Produktionspläne, die flexibel auf Veränderungen reagieren können .

Ergebnisse und Werte

Resümee und Ausblick

Das Ziel des Projekts SUPPORT bestand darin, mithilfe von Reinforcement Learning komplexe Produktionsplanungsprobleme zu vereinfachen und bei der Generierung und Optimierung von Plänen neben ökonomischen auch humanzentrierte Aspekte zu berücksichtigen. Bislang fand der Einsatz von RL vorwiegend im akademischen Kontext statt, ohne Anwendung auf reale Produktionsprobleme. Zudem fokussieren sich die meisten Planungsansätze ausschließlich auf ökonomische Ziele, während menschliche Faktoren aufgrund der hohen Komplexität oft vernachlässigt werden.



In drei Pilotprojekten mit den Industriepartnern Isringhausen und Miele wurden daher exemplarisch RL-basierte Ansätze zur Optimierung von Produktionsplänen implementiert. Diese Pilotprojekte unterschieden sich hinsichtlich ihrer Komplexitätsgrade, Branchen, zugrundeliegenden Optimierungsproblemen, angestrebten Zielen, IT-Infrastrukturen und verwendeten Simulationstools. Durch diese Vielfalt konnten die RL-basierten Ansätze unter verschiedensten Bedingungen getestet werden, was zu einer fundierten und robusten Bewertung ihrer Praxistauglichkeit führte. Ein Benchmark mit Genetischen Algorithmen zeigte, dass RL nach einer initialen Trainingsphase Produktionspläne schneller erzeugen kann und die Qualität der Pläne teilweise sogar höher ist als bei genetischen Algorithmen. Allerdings zeigte sich auch, dass RL bei sehr komplexen Produktionsproblemen an seine Grenzen stößt und dort weiterhin etablierte Methoden bevorzugt werden sollten.



Zukünftige Forschungsarbeiten im Bereich RL sollten sich darauf konzentrieren den Entwicklungsaufwand für praxisrelevante Probleme zu reduzieren, indem beispielsweise robustere, d.h. weniger Hyperparameter-sensitive Algorithmen entwickelt werden.

Beteiligte Partner