Top

Published in:

2021 | OriginalPaper | Chapter

Korrelationsbasierte Erkennung von Montagereihenfolgen mittels 6 DoF-Zeitreihendaten zur Prozessdiagrammerstellung

Authors : Louis Huebser, Sascha Thamm, Thomas Hellebrandt, Ina Heine, Robert H. Schmitt

Published in: Qualitätsmanagement in den 20er Jahren - Trends und Perspektiven

Publisher: Springer Berlin Heidelberg

Activate our intelligent search to find suitable subject content or patents.

search-config

AI-assisted search

Off

Zusammenfassung

Aktuelle Marktentwicklungen bewirken eine kontinuierliche Erhöhung der Produktvarianz und eine damit verbundene erhöhte Produktkomplexität. Um flexibler auf Absatzentwicklungen reagieren zu können, werden Losgrößen in der Produktion reduziert und schnellere Produktlinienwechsel angestrebt. Auf Grund dessen ist ein wirtschaftlicher Einsatz von Automatisierungstechnologien häufig nicht möglich, sodass auch zukünftig manuelle Montagetätigkeiten einen zentralen Anteil der Produktion einnehmen werden. In Kombination mit dem Aufkommen iterativer Produktentwicklungsprozesse steht die Montageplanung vor neuen Herausforderungen, bei denen es einer datengetriebenen Synchronisation bedarf, um Erkenntnisse der Montageplanung frühzeitig an die Produktentwicklung zurückzuführen. Des Weiteren erfordern komplexere Montageprozesse eine bessere Unterstützung der Mitarbeitenden auf dem Shopfloor.

Die Erkennung von Prozessschritten manueller Montagetätigkeiten mittels Algorithmen bietet dabei das Potential, Prozesserkenntnisse frühzeitig für die Montageplanung und Produktentwicklung nutzbar zu machen, Prozessabweichungen während der Montage zu erkennen und prozessspezifische Unterstützung zu gewährleisten.

Ausgehend von Zeitreihendaten der Posen der zu montierenden Bauteile und der Hände der montierenden Person, bezogen auf ein globales Referenzkoordinatensystem, wird ein Algorithmus zur Erkennung von MTM-ähnlichen (Methods-Time Measurement) Prozessschritten sowie des zeitlichen Verlaufs der Montagegruppenbildung der Bauteile präsentiert. Basierend auf einem Transitionsmodell für Montageoperationen werden zeitliche Korrelationen zur Erkennung der gesamten Prozessabfolge genutzt. Der algorithmische Ansatz wird anhand von synthetisch generierten Montagedaten evaluiert und erreicht eine Genauigkeit von 91,79 % bezogen auf die Erkennung der zeitlichen Abfolge einzelner Montageoperationen. Im Gegensatz zu bisherigen Ansätzen können mit dem neu entwickelten Algorithmus Montageprozesse MTM-konform abgebildet werden.

Dont have a licence yet? Then find out more about our products and how to get one now:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

über 102.000 Bücher
über 537 Zeitschriften

aus folgenden Fachgebieten:

Automobil + Motoren
Bauwesen + Immobilien
Business IT + Informatik
Elektrotechnik + Elektronik
Energie + Nachhaltigkeit
Finance + Banking
Management + Führung
Marketing + Vertrieb
Maschinenbau + Werkstoffe
Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

inform now

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

über 67.000 Bücher
über 390 Zeitschriften

aus folgenden Fachgebieten:

Automobil + Motoren
Bauwesen + Immobilien
Business IT + Informatik
Elektrotechnik + Elektronik
Energie + Nachhaltigkeit
Maschinenbau + Werkstoffe

Jetzt Wissensvorsprung sichern!

inform now

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

über 67.000 Bücher
über 340 Zeitschriften

aus folgenden Fachgebieten:

Bauwesen + Immobilien
Business IT + Informatik
Finance + Banking
Management + Führung
Marketing + Vertrieb
Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

inform now

previous chapter Ansätze zur Verbesserung KI-basierter Systeme für das autonome Fahren

next chapter Eye-Tracking zur Kundenanforderungsvalidierung im Produktentwicklungsprozess

Code und weitere Ergebnisse unter: https://gitlab.com/LHuebser/cbag.

Chryssolouris, G., Papakostas, N., Mavrikios, D.: A perspective on manufacturing strategy: Produce more with less. CIRP J. Manuf. Sci. Technol. 1, 45–52 (2008). https://doi.org/10.1016/j.cirpj.2008.06.008CrossRef

Colgate, J.E., Peshkin, M., Klostermeyer, S.H.: Intelligent assist devices in industrial applications: A review. In: 2003 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2003) (Cat. No.03CH37453); Oct. 27–31, 2003; Las Vegas, Nevada, USA. Piscataway, NJ: IEEE. S. 2516–2521. (2003) https://doi.org/10.1109/IROS.2003.1249248

Heilala, J., Voho, P.: Modular reconfigurable flexible final assembly systems. Assem. Autom. 21, 20–30 (2001). https://doi.org/10.1108/01445150110381646CrossRef

Michalos, G., Makris, S., Papakostas, N., Mourtzis, D., Chryssolouris, G.: Automotive assembly technologies review: Challenges and outlook for a flexible and adaptive approach. CIRP J. Manuf. Sci. Technol. 2, 81–91 (2010). https://doi.org/10.1016/j.cirpj.2009.12.001CrossRef

Statista: Average costs of industrial Internet of Things (IoT) sensors from 2004 to 2020. 2016. https://www.statista.com/statistics/682846/vr-tethered-hmd-average-selling-price/. Zugegriffen: 7. Aug. 2020

Statista: Global factory automation market. 2020. https://www.statista.com/statistics/784802/global-factory-automation-market-growth/. Zugegriffen: 7. Aug. 2020

Koren, Y.: The Global Manufacturing Revolution: Product-Process-Business Integration and Reconfigurable Systems. Wiley, Hoboken (2013)

Da Silveira, G., Borenstein, D., Fogliatto, F.S.: Mass customization: Literature review and research directions. Int. J. Prod. Econ. 72, 1–13 (2001). https://doi.org/10.1016/S0925-5273(00)00079-7CrossRef

Lotter, B., Wiendahl, H.-P.: Montage in der industriellen Produktion. Springer, Berlin (2012)

10.

Bovo, R., Binetti, N., Brumby, D.P., Julier, S.: Detecting errors in pick and place procedures. In: Paternò, F., Oliver, N., Conati, C., Spano, L.D., Tintarev, N., (Hrsg.) IUI '20: 25th International Conference on Intelligent User Interfaces; 17 03 2020 20 03 2020; Cagliari Italy. New York, ACM; 03172020. S. 536–545. https://doi.org/10.1145/3377325.3377497

11.

Günther, L.C., Kärcher, S., Bauernhansl, T.: Activity recognition in manual manufacturing: Detecting screwing processes from sensor data. Procedia CIRP. 81, 1177–1182 (2019). https://doi.org/10.1016/j.procir.2019.03.288CrossRef

12.

Kärcher, S., Bauernhansl, T.: Approach to generate optimized assembly sequences from sensor data. Procedia CIRP. 81, 276–281 (2019). https://doi.org/10.1016/j.procir.2019.03.048CrossRef

13.

Müller, R., Hörauf, L., Vette, M., Speicher, C.: Planning and developing cyber-physical assembly systems by connecting virtual and real worlds. Procedia CIRP. 52, 35–40 (2016). https://doi.org/10.1016/j.procir.2016.07.050CrossRef

14.

Steimer, C., Aurich, J.C.: Analysis of information interdependencies between product development and manufacturing system planning in early design phases. Procedia CIRP. 50, 460–465 (2016). https://doi.org/10.1016/j.procir.2016.04.134CrossRef

15.

Kampker, A., Burggräf, P., Deutskens, C., Maue, A., Förstmann, R.: Integrated product and process development: Modular production architectures based on process requirements. Procedia CIRP. 20, 109–114 (2014). https://doi.org/10.1016/j.procir.2014.05.039CrossRef

16.

Johansson, P.E.C., Mattsson, S., Moestam, L., Fast-Berglund, Å.: Multi-variant truck production – Product variety and its impact on production quality in manual assembly. Procedia CIRP. 54, 245–250 (2016). https://doi.org/10.1016/j.procir.2016.05.062CrossRef

17.

Aehnelt, M., Gutzeit, E., Urban, B.: Using activity recognition for the tracking of assembly processes: Challenges and requirements. In: Bieber, G., Aehnelt, M., Urban, B. (Hrsg.) WOAR 2014: Proceedings of the Workshop on Sensor-based Activity Recognition, in Rostock, Germany, March 11, 2014. Fraunhofer, Stuttgart, S. 12–21 (2014)

18.

Blankemeyer, S., Wiemann, R., Raatz, A.: Intuitive assembly support system using augmented reality. In: Schüppstuhl, T., Tracht, K., Franke, J. (Hrsg.) Tagungsband des 3. Kongresses Montage Handhabung Industrieroboter. Springer, Berlin, S. 195–203 (2018). https://doi.org/10.1007/978-3-662-56714-2_22

19.

Meinel, D., Ehler, F., Lipka, M., Franke, J.: Supporting manual assembly through merging live position data and 3D-CAD data using a worker information system. In: Schüppstuhl, T., Tracht, K., Franke, J. (Hrsg.) Tagungsband des 3. Kongresses Montage Handhabung Industrieroboter. Springer, Berlin (2018)

20.

Sochor, R., Kraus, L., Merkel, L., Braunreuther, S., Reinhart, G.: Approach to increase worker acceptance of cognitive assistance systems in manual assembly. Procedia CIRP. 81, 926–931 (2019). https://doi.org/10.1016/j.procir.2019.03.229CrossRef

21.

Thamm, S., Huebser, L., Adam, T., Hellebrandt, T., Heine, I., Barbalho, S., et al.: Concept for an Augmented Intelligence-Based Quality Assurance of Assembly Tasks in Global Value Networks: (in press)

22.

Werkzeugmaschinenlabor WZL der RWTH Aachen University. Intelligentes Montageunterstützungs-system zur einheitlichen Personalquali-fizierung und Intelligentes Montageunterstützungs-system zur einheitlichen Personalquali-fizierung und Qualitätskontrolle inglobalen Wertschöpfungsnetzwerken: Forschungsprojekt AuQuA der Universität São Paulo und dem WZL gestarte. Aachen, 25.06.2020

23.

Di Gironimo, G., Di Martino, C., Lanzotti, A., Marzano, A., Russo, G.: Improving MTM-UAS to predetermine automotive maintenance times. Int. J. Interact Des. Manuf. 6, 265–273 (2012). https://doi.org/10.1007/s12008-012-0158-8CrossRef

24.

Alkan, B., Vera, D., Ahmad, M., Ahmad, B., Harrison, R.: A model for complexity assessment in manual assembly operations through predetermined motion time systems. Procedia CIRP. 44, 429–434 (2016). https://doi.org/10.1016/j.procir.2016.02.111CrossRef

25.

Bures, M., Pivodova, P.: Comparison of time standardization methods on the basis of real experiment. Procedia Engineering. 100, 466–474 (2015). https://doi.org/10.1016/j.proeng.2015.01.392CrossRef

26.

Aldin, L., de Cesare, S.: A literature review on business process modelling: New frontiers of reusability. Enterp. Inf. Syst. 5, 359–383 (2011). https://doi.org/10.1080/17517575.2011.557443CrossRef

27.

Dijkman, R., Hofstetter, J., Koehler, J.: Business Process Model and Notation. Springer, Berlin (2011)

28.

Mutarraf, U., Barkaoui, K., Li, Z., Wu, N., Qu, T.: Transformation of business process model and notation models onto Petri nets and their analysis. Adv. Mech. Eng. 10 (2018). https://doi.org/10.1177/1687814018808170CrossRef

29.

Rosell, J.: Assembly and task planning using Petri nets: A survey. Proceedings of the Institution of Mechanical Engineers, Part B: J. Eng. Manuf. 218, 987–994 (2004). https://doi.org/10.1243/0954405041486019CrossRef

30.

Homem de Mello, L.S., Sanderson, A.C.: Representations of mechanical assembly sequences. IEEE Trans. Robot. Automat. 7, 211–27 (1991) https://doi.org/10.1109/70.75904

31.

Thomas, J.P., Nissanke, N., Baker, K.D.: Boundary models for assembly knowledge representation. IEEE Trans. Robot. Automat. 12, 302–312 (1996). https://doi.org/10.1109/70.488949CrossRef

32.

Browning, T.R.: Applying the design structure matrix to system decomposition and integration problems: a review and new directions. IEEE Trans. Eng. Manage. 48, 292–306 (2001). https://doi.org/10.1109/17.946528CrossRef

33.

Yu, J.-C., Li, Y.-M.: The structure representation for the concurrent analysis of product assembly and disassembly. In: Proceedings of the Ninth International Conference on Computer Supported Cooperative Work in Design; 24.05.2005–26.05.2005; Coventry, UK: IEEE; 24.05.2005–26.05.2005. 893–898, Bd. 2. https://doi.org/10.1109/CSCWD.2005.194305.

34.

Al-Yacoub, A., Zhao, Y., Lohse, N., Goh, M., Kinnell, P., Ferreira, P., Hubbard, E.-M.: Symbolic-based recognition of contact states for learning assembly skills. Front. Robot. AI. 6, 367 (2019). https://doi.org/10.3389/frobt.2019.00099CrossRef

35.

Bader, S., Aehnelt, M.: Tracking assembly processes and providing assistance in smart factories. In: International Conference on Agents and Artificial Intelligence; 06.03.2014–08.03.2014; ESEO, Angers, Loire Valley, France: SCITEPRESS – Science and and Technology Publications; 06.03.2014–08.03.2014. S. 161–168. https://doi.org/10.5220/0004822701610168

36.

Berg, J., Reckordt, T., Richter, C., Reinhart, G.: Action recognition in assembly for Human-Robot-Cooperation using hidden Markov Models. Procedia CIRP. 76, 205–210 (2018). https://doi.org/10.1016/j.procir.2018.02.029CrossRef

37.

Chen, F., Zhong, Q., Cannella, F., Sekiyama, K., Fukuda, T.: Hand gesture modeling and recognition for human and robot interactive assembly using hidden Markov Models. Int. J. Adv. Rob. Syst. 12, 48 (2015). https://doi.org/10.5772/60044CrossRef

38.

Fukuda, K., Ramirez-Alpizar, I.G., Yamanobe, N., Petit, D., Nagata, K., Harada, K.: Recognition of assembly tasks based on the actions associated to the manipulated objects. In: 2019 IEEE/SICE International Symposium on System Integration (SII); 14.01.2019–16.01.2019; Paris, France: IEEE; 14.01.2019–16.01.2019. S. 193–198. https://doi.org/10.1109/SII.2019.8700405.

39.

Hahn, M., Krüger, L., Wöhler, C., Kummert, F.: 3D action recognition in an industrial environment. In: Dillmann, R., Vernon, D., Nakamura, Y., Schaal, S., Ritter, H., Sagerer, G., Buss, M., (Hrsg.) Human Centered Robot Systems. Springer, Berlin, S. 141–150 (2009). https://doi.org/10.1007/978-3-642-10403-9_15

40.

Jones, J., Hager, G.D., Khudanpur, S.: Toward computer vision systems that understand real-world assembly processes. In: 2019 IEEE Winter Conference on Applications of Computer Vision (WACV); 07.01.2019–11.01.2019; Waikoloa Village, HI, USA: IEEE; 07.01.2019–11.01.2019. S. 426–434. https://doi.org/10.1109/WACV.2019.00051

41.

Qingxin, X., Wada, A., Korpela, J., Maekawa, T., Namioka, Y.: Unsupervised factory activity recognition with wearable sensors using process instruction information. Proc. ACM Interact. Mob. Wearable Ubiquitous Technol. 3, 1–23. (2019). https://doi.org/10.1145/3328931

42.

Roitberg, A., Somani, N., Perzylo, A., Rickert, M., Knoll, A.: Multimodal human activity recognition for industrial manufacturing processes in robotic workcells. In: Zhang, Z., Cohen, P., Bohus, D., Horaud, R., Meng, H. (Hrsg.) The 2015 ACM; 09.11.2015–13.11.2015. ACM Press, Seattle, S. 259–266 (2015). https://doi.org/10.1145/2818346.2820738.

43.

Ward, J.A., Lukowicz, P., Tröster, G., Starner, T.E.: Activity recognition of assembly tasks using body-worn microphones and accelerometers. IEEE Trans. Pattern Anal. Mach. Intell. 28, 1553–1567 (2006). https://doi.org/10.1109/TPAMI.2006.197CrossRef

44.

Al-Amin, M., Tao, W., Doell, D., Lingard, R., Yin, Z., Leu, M.C., Qin, R.: Action recognition in manufacturing assembly using multimodal sensor fusion. Procedia. Manuf. 39, 158–167 (2019). https://doi.org/10.1016/j.promfg.2020.01.288CrossRef

45.

Zakka, K., Zeng, A., Lee, J.C., Song, S.: Form2Fit: Learning shape priors for generalizable assembly from disassembly: (in press). In: 2020 International Conference on Robotics and Automation (ICRA). Paris (2020)

46.

Avola, D., Cinque, L., Foresti, G.L., Mercuri, C., Pannone, D:. A practical framework for the development of augmented reality applications by using ArUco markers. In: International Conference on Pattern Recognition Applications and Methods; 24.02.2016–26.02.2016; Rome, Italy: SCITEPRESS – Science and and Technology Publications; 24.02.2016–26.02.2016. S. 645–654. https://doi.org/10.5220/0005755806450654

47.

Hu, X., Jakob, J., Per, K., Jiang, W.: Accurate fiducial mapping for pose estimation using manifold optimization. In: 2018 International Conference on Indoor Positioning and Indoor Navigation (IPIN); 24.09.2018–27.09.2018; Nantes: IEEE; 24.09.2018–27.09.2018. S. 206–212. https://doi.org/10.1109/IPIN.2018.8533854

48.

Romero-Ramirez, F.J., Muñoz-Salinas, R., Medina-Carnicer, R.: Speeded up detection of squared fiducial markers. Image Vis. Comput. 76, 38–47 (2018). https://doi.org/10.1016/j.imavis.2018.05.004CrossRef

49.

Xavier, R.S., da Silva, B.M.F., Goncalves, L.M.G.: Accuracy analysis of augmented reality markers for visual mapping and localization. In: 2017 Workshop of Computer Vision (WVC); 30.10.2017–01.11.2017; Natal: IEEE; 30.10.2017–01.11.2017. S. 73–77. https://doi.org/10.1109/WVC.2017.00020

50.

Jonathan, T., To, T., Sundaralingam, B., Xiang, Y., Fox, D., Birchfield, S.: Deep object pose estimation for semantic robotic grasping of household objects: (preprint). CoRR (2018)

51.

Rambach, J., Deng, C., Pagani, A., Stricker, D.: Learning 6DoF object poses from synthetic single channel images. In: 2018 IEEE International Symposium on Mixed and Augmented Reality Adjunct (ISMAR-Adjunct); 16.10.2018–20.10.2018; Munich, Germany: IEEE; 16.10.2018–20.10.2018. S. 164–169. https://doi.org/10.1109/ISMAR-Adjunct.2018.00058

52.

Wu, J., Zhou, B., Russell, R., Kee, V., Wagner, S., Hebert, M., et al.: Real-Time object pose estimation with pose interpreter networks. In: 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS); 01.10.2018–05.10.2018; Madrid: IEEE; 01.10.2018–05.10.2018. S. 6798–6805. https://doi.org/10.1109/IROS.2018.8593662

53.

Xiang, Y., Schmidt, T., Narayanan, V., Fox, D.: PoseCNN: A convolutional neural network for 6D object pose estimation in cluttered scenes. In: Robotics: Science and Systems 2018; June 26–3, 2018: Robotics: Science and Systems Foundation; June 26–3, 2018. https://doi.org/10.15607/RSS.2018.XIV.019

54.

Xiao, Y., Xuchong, Q., Langlois, P.-A., Aubry, M., Marlet, R.: Pose from shape: Deep pose estimation for arbitrary {3D} objects. In: British Machine Vision Conference 2019; September 9–12. British Machine Vision Association Press, Cardiff (2019)

55.

Garon, M., Lalonde, J.-F.: Deep 6-DOF Tracking. IEEE Trans Vis Comput Graph. 23, 2410–2418 (2017). https://doi.org/10.1109/TVCG.2017.2734599CrossRef

Title: Korrelationsbasierte Erkennung von Montagereihenfolgen mittels 6 DoF-Zeitreihendaten zur Prozessdiagrammerstellung
Authors: Louis Huebser
Sascha Thamm
Thomas Hellebrandt
Ina Heine
Robert H. Schmitt
Publisher: Springer Berlin Heidelberg
Book: Qualitätsmanagement in den 20er Jahren - Trends und Perspektiven
Print ISBN: 978-3-662-63242-0

Electronic ISBN: 978-3-662-63243-7

Copyright Year: 2021
DOI: https://doi.org/10.1007/978-3-662-63243-7_7

Springer Professional

Zusammenfassung

Please log in to get access to your license.

Dont have a licence yet? Then find out more about our products and how to get one now:

Springer Professional "Wirtschaft+Technik"

Springer Professional "Technik"

Springer Professional "Wirtschaft"

Premium Partners