Manufacturing of a car
Parameter-Optimierung
Hintergrund
Aufgrund der immer flexibleren Produktionsschemata müssen Anpassungen in den Produktionslinien in kürzeren Zeitabständen vorgenommen werden. Neue Konfigurationen und Parametereinstellungen, die noch nie zuvor in der Produktionslinie durchgeführt wurden, führen zu unsicheren Ergebnissen, die zu Ausfallzeiten oder fehlerhaften Produkten führen können.
Diese Herausforderung ist besonders in Produktionslinien mit schnell wechselnden Produktionsanforderungen und geringen Produktionsvolumina vorherrschend. Ein mathematischer Ansatz zur Parametereinstellung hat das Potenzial, die Effizienz zu verbessern und alternative und optimale Parameterkonfigurationen zu finden, die von Anfang an die bestmöglichen Ergebnisse garantieren.
Herausforderungen
Die meisten Parametereinstellungen sind nicht gut dokumentiert oder in für die Anwendung von machine learning geeigneten Formaten gespeichert. Tatsächlich verlassen sich Fertigungsunternehmen bei der Einstellung von Parametern meist auf die Erfahrung ihrer Mitarbeiter. Dieses stillschweigende Wissen der Mitarbeiter ist nicht reproduzierbar und kann zu Ineffizienzen führen, sobald diese Mitarbeiter das Unternehmen verlassen.
Darüber hinaus können verschiedene Parametereinstellungen nicht zu geringen Kosten implementiert werden, was zu Ineffizienzen führt, da mehrere Optionen nicht miteinander verglichen werden können und die optimalen Parametereinstellungen in den meisten Fällen nicht implementiert werden.
Lösungsansatz
Reinforcement Learning oder (tiefe) Q-Learning-Algorithmen sind ein technischer Ansatz, um Parameter effizient zu optimieren. Beim Reinforcement Learning wird eine Zielfunktion definiert, die von Aktionen und Zuständen abhängt. Die Funktion wird durch Beobachtung approximiert und mit zusätzlichen Trainingsdaten, d.h. Ergebnissen, trainiert. Diese Funktion wird dann so lange optimiert, bis die menschliche Leistungsfähigkeit erreicht oder sogar überschritten wird. Mit zusätzlichen Simulationen kann der Algorithmus seine Erfahrung über den Einfluss oder die Gewichtung verschiedener Parameter erhöhen und weiter optimiert werden.
Reinforcement Learning hat erfolgreich bewiesen, dass es die menschliche Leistung bei komplexen Aufgaben wie z.B. AlphaGo übertrifft, und wird bereits in der Zugplanung und -lenkung angewandt.