Deep reinforcement learning for ad-hoc optimization on process and manufacturing level

• Deep Reinforcement Learning für die Ad-Hoc-Optimierung auf Prozess- und Fertigungsebene

Samsonov, Vladimir; Schmitt, Robert H. (Thesis advisor); Meisen, Tobias (Thesis advisor)

Aachen : RWTH Aachen University (2022)
Doktorarbeit

Dissertation, Rheinisch-Westfälische Technische Hochschule Aachen, 2022

Kurzfassung

Heutzutage reicht es nicht mehr aus, eine einmalige Einrichtung und Feinstimmung der Produktion vorzunehmen, um im Wettbewerb auf den globalen Märkten konkurrieren zu können und die immer strengeren Nachhaltigkeitsvorschriften zu erfüllen. Um gut funktionierende Prozesse auf allen Ebenen der Produktion zu erreichen, müssen Optimierungsprobleme mit ständig wechselnden konkurrierenden Zielen gelöst werden, die von den aktuellen Zielvorstellungen und Herausforderungen des jeweiligen Produktionsunternehmens abhängen. Daraus ergibt sich der Bedarf an automatisierten Optimierungsansätzen, die auf verschiedenen Ebenen der Produktionskette eingesetzt werden und in der Lage sind aus Erfahrungen zu lernen, sich immer wieder ändernden Problemstellungen anzupassen, und Lösungen mit einer Geschwindigkeit zu aktualisieren, die das Tempo der Veränderungen im Produktionssystem übersteigt. Diese Arbeit untersucht die Fähigkeiten neuer Optimierungsmethoden, die sich auf Deep Reinforcement Learning (DRL) stützen, um ein hohes Maß an Effizienz und Flexibilität in der Fertigung zu gewährleisten. Im Rahmen der Arbeit werden zwei praktische Anwendungsfälle betrachtet, welche Optimierungsaufgaben unterschiedlicher Art in der Fertigung darstellen: Auftragsfreigabe und Sequenzierung in einer Werkstattfertigung und Werkstückspannung bei der 5-Achs Bearbeitung. Die daraus resultierenden DRL-basierten Lösungen dienen zur Demonstration des Leistungsniveaus, der Flexibilität und der Produktionstauglichkeit solcher Methoden. Im Rahmen dieser Arbeit wird eine Reihe neuartiger Lösungen für den Aktionsraum, den Zustandsraum und die Belohnungsgestaltung entwickelt, um in beiden Anwendungen eine State-of-the-Art Leistung zu erzielen. Die resultierende DRL-Lösung für Reihenfolgeplanung und Auftragsfreigabe erlernt Lösungsstrategien, die in der Lage sind, auf große Probleminstanzen zu skalieren, während sie gleichzeitig die Fähigkeit demonstriert innerhalb von Sekunden neue Lösungen zu generieren und somit schnell auf Produktionsabweichungen zu reagieren. Die für die Optimierung der Werkstückspannung entwickelte DRL-basierte Lösung ist in der Lage mit komplexen 3D-Konzepten in Bezug auf die Frässtrategie und die resultierende Werkstückgeometrie zu arbeiten. Sie zeigt die Fähigkeit, innerhalb weniger Minuten Rechenzeit nahezu optimale Lösungen zu generieren und damit den Einrichtungsprozess für komplexe Fräsanwendungen zu beschleunigen. Um die in dieser Dissertation durchgeführte Arbeit zu erleichtern und die zukünftige Forschung zu fördern, wurde ein experimentelles Meta-Framework entwickelt, welches die Vergleichbarkeit zwischen mehreren Studien mit erheblichen Unterschieden bei den Bewertungsverfahren, Testinstanzen und Leistungsmetriken gewährleistet. Damit leistet diese Arbeit einen Beitrag zum systematischen Verständnis möglicher Vorteile, Herausforderungen und Umsetzungsansätze für die lernbasierte Optimierung in der Fertigung. Eine Reihe von gut strukturierten Implementierungen mit isolierten Designelementen können als Bausteine für zukünftige Optimierungsmethoden in der Fertigungsdomäne dienen und den Transfer von DRL-basierten Lösungen für neue Optimierungskontexte in der Fertigung erleichtern.