Industrielles Reinforcement Learning zur Qualitätsregelung von Massivumformprozessen – IRLeQuM

 

Instabilitäten in Massivumformprozessen führen aufgrund von externen Einflussgrößen und unbekannten Wirkzusammenhängen zwischen Prozessparametern und Qualitätsmerkmalen von Produkten trotz vorhandener Prozessregelungen zu Ausschuss. Aktuelle Regelkonzepte basieren auf implizitem Bedienerwissen und setzen auf eine manuelle Anpassung der Prozessparameter. Dabei ist es oftmals nicht möglich die Prozesse rechtzeitig anzupassen, um die Fertigungstoleranzen der Produkte einzuhalten. Ein Mittel zur übergreifenden Kompensation von Qualitätsabweichung sind Qualitätsregelkreise (QRK). In Kombination mit Ansätzen des maschinellen Lernens bieten QRK das Potenzial den Ausschuss zu reduzieren.

Das Ziel des Forschungsprojektes IRLeQuM ist die Entwicklung eines Verfahrens zur Implementierung von neuartigen Reglern, basierend auf Reinforcement Learning (RL) und Transfer Learning (TL), in QRK von Massivumformprozessen. Damit eine RL-basierte Regelung überhaupt ermöglicht werden kann, wird zunächst die notwendige IT-Infrastruktur definiert und umgesetzt. Die RL-Regelung bietet die Vorteile, dass zum einen alle qualitätsrelevanten Informationen (z. B. Prozessparameter, Umgebungsbedingungen oder Rohstoffeigenschaften) in die Regelung mit einbezogen werden können. Zum anderen kann das implizite Bedienerwissen der Regelung dauerhaft nutzbar gemacht werden.

Um die Anlernzeit des RL-Algorithmus zu reduzieren und Ressourcen zu schonen, wird der Algorithmus nicht direkt am Realprozess trainiert, sondern an einer stochastischen Prozesssimulation. Die an der Simulation gewonnenen Erkenntnissen werden anschließend mittels TL auf den QRK des Regelkreises übertragen.
Das Ergebnis des Forschungsprojekts wird eine Qualitätsregelung von Massivumformprozessen sein, welche automatisiert, umfassend und in Echtzeit Prozesse regelt und die Qualität der Prozesse optimiert. Die gesteigerte Prozessqualität erhöht die Qualität der Produkte und reduziert den Ausschuss.