Virtual, Augmented and Mixed Reality: Design and Development
14th International Conference, VAMR 2022, Held as Part of the 24th HCI International Conference, HCII 2022, Virtual Event, June 26 – July 1, 2022, Proceedings, Part I
- 2022
- Buch
- Herausgegeben von
- Jessie Y. C. Chen
- Gino Fragomeni
- Buchreihe
- Lecture Notes in Computer Science
- Verlag
- Springer International Publishing
Über dieses Buch
Diese zweibändige Reihe von LNCS 13317 und 13318 stellt die gründlich referierten Vorträge der 14. Internationalen Konferenz für Virtuelle, Augmented und Mixed Reality, VAMR 2022, dar, die praktisch im Rahmen der 24. Internationalen HCI-Konferenz, HCII 2022, im Juni / Juli 2022 abgehalten wurde. Die insgesamt 1276 Vorträge und 241 Poster in den 39 HCII-2021-Vortragsbänden wurden sorgfältig geprüft und aus 5222 Einreichungen ausgewählt. Die 56 in diesem zweibändigen Satz enthaltenen Vorträge waren wie folgt in thematische Abschnitte gegliedert: Entwicklung von VAMR-Umgebungen; Bewertung von VAMR-Umgebungen; Gestenbasierte, haptische und multimodale Interaktion bei VAMR; Soziale, emotionale, psychologische und überzeugende Aspekte bei VAMR; VAMR bei Lernen, Bildung und Kultur; VAMR in der Luftfahrt; Industrielle Anwendungen von VAMR. Der erste Band konzentriert sich auf Themen im Zusammenhang mit der Entwicklung und Bewertung von VAMR-Umgebungen, gestenbasierter, haptischer und multimodaler Interaktion bei VAMR sowie auf soziale, emotionale, psychologische und überzeugende Aspekte bei VAMR, während der zweite sich auf Themen im Zusammenhang mit VAMR in den Bereichen Lernen, Bildung und Kultur, VAMR in der Luftfahrt und industrielle Anwendungen von VAMR konzentriert.
Mit KI übersetzt
Über dieses Buch
This two-volume set LNCS 13317 and 13318 constitutes the thoroughly refereed proceedings of the 14th International Conference on Virtual, Augmented and Mixed Reality, VAMR 2022, held virtually as part of the 24rd HCI International Conference, HCII 2022, in June/July 2022.The total of 1276 papers and 241 posters included in the 39 HCII 2021 proceedings volumes was carefully reviewed and selected from 5222 submissions.
The 56 papers included in this 2-volume set were organized in topical sections as follows: Developing VAMR Environments; Evaluating VAMR environments; Gesture-based, haptic and multimodal interaction in VAMR; Social, emotional, psychological and persuasive aspects in VAMR; VAMR in learning, education and culture; VAMR in aviation; Industrial applications of VAMR.
The first volume focuses on topics related to developing and evaluating VAMR environments, gesture-based, haptic and multimodal interaction in VAMR, as well as social, emotional, psychological and persuasive aspects in VAMR, while the second focusses on topics related to VAMR in learning, education and culture, VAMR in aviation, and industrial applications of VAMR.
Anzeige
Inhaltsverzeichnis
-
Frontmatter
-
Developing VAMR Environments
-
Frontmatter
-
Integration of Augmented, Virtual and Mixed Reality with Building Information Modeling: A Systematic Review
Ahlem Assila, Amira Dhouib, Ziad Monla, Mourad ZghalDieses Kapitel befasst sich mit der Integration von Augmented Reality (AR), Virtual Reality (VR) und Mixed Reality (MR) mit Building Information Modeling (BIM) im Bereich Architektur, Ingenieurwesen und Bauwesen (AEC). Die systematische Überprüfung umfasst die Phasen des Lebenszyklus von Gebäuden, in denen diese Technologien zum Einsatz kommen, die verwendeten Techniken zur Integration sowie die Beschränkungen und Zukunftsperspektiven. Die Studie zeigt, dass AR überwiegend in Konstruktions- und Betriebsphasen eingesetzt wird, während VR in der Designphase stärker verbreitet ist. MR ist zwar weniger erforscht, aber in allen Stadien vielversprechend. Die Ergebnisse unterstreichen die Notwendigkeit standardisierter BIM-Formate, verbesserter Datenkompatibilität und verbesserter kollaborativer Fähigkeiten, um das Potenzial dieser immersiven Technologien in der AEC-Industrie voll auszuschöpfen.KI-Generiert
Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.
AbstractThanks to the digital revolution, the construction industry has seen a recognizable evolution, where the world has been heading towards modern constructions based on the use of Building Information Modeling (BIM). This evolution was marked by the integration of this paradigm with immersive technologies like Virtual Reality (VR), Augmented Reality (AR), and Mixed Reality (MR). During the last few years, the development of BIM started to emerge. This paper proposes a Systematic Literature Review (SLR) of recent studies about the integration of BIM with immersive environments using VR/AR/MR technologies. Four electronic databases were exploited to search for eligible studies, namely: Google Scholar, ACM Digital Library, IEEE Xplore, and Science direct. From an initial cohort of 239 studies, 28 were retained for analysis. The main findings of this review have been focused on stages of the projects’ life cycle in which the immersive technologies are being implemented, approaches/techniques used to ensure the integration of BIM with the three immersive technologies, along with the current limitations and perspectives. -
Visualization of Macroscopic Structure of Ultra-high Performance Concrete Based on X-ray Computed Tomography Using Immersive Environments
Rajiv Khadka, Mahesh Acharya, Daniel LaBrier, Mustafa MashalDas Kapitel befasst sich mit der Visualisierung der makroskopischen Struktur von Ultrahochleistungsbeton (UHPC) mittels Röntgen-Computertomographie (XCT) und immersiver Umgebungen. Es beginnt mit der Einführung von UHPC als hochentwickeltem Zementverbundwerkstoff mit außergewöhnlicher Festigkeit und Haltbarkeit, der seine Anwendungen in der zivilen Infrastruktur und in der Kernenergie hervorhebt. Anschließend untersucht der Text die hierarchischen Strukturen des Betons und betont die Bedeutung der makroskopischen Ebene für das Verständnis des globalen Verhaltens und der mechanischen Eigenschaften. Die größte Herausforderung besteht in der Entwicklung präziser Modelle für den Informationstransfer zwischen mikroskopischen, mesoskopischen und makroskopischen Skalen. Die Forschung konzentriert sich auf den Einsatz von XCT zur Analyse der makroskopischen Struktur von UHPC, die für Strukturkomponenten in zivilen und kritischen Infrastrukturen relevant ist. Das Kapitel diskutiert die Herausforderungen und Grenzen der Visualisierung von XCT-Daten in immersiven Umgebungen, wie Porositätsanalyse, Identifizierung der Zusammensetzung, Datengenerierung, Auflösung, Rauschen und Artefakte. Es schlägt Lösungen vor, einschließlich des Einsatzes von 3D-immersiven Umgebungen, hochauflösenden Scans und fortschrittlichen Visualisierungstechniken. Der Text schließt mit der Identifizierung der hohen Kosten, die mit UHPC-Qualifikationstests verbunden sind, und dem Potenzial immersiver Visualisierung, diese Kosten zu senken. Die laufenden Forschungsarbeiten an der Idaho State University zielen darauf ab, das Verständnis und die Anwendung von UHPC in verschiedenen Bereichen zu fördern.KI-Generiert
Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.
AbstractUltra-high performance concrete (UHPC) is a cementitious composite material which uses steel fibers, cement, silica fume, fly ash, water, and admixtures to provide better structural performance and durability compared to conventional concrete. UHPC is an attractive novel material because of its higher compressive strength, higher tensile capacity, and ultralow permeability. Currently in the United States, UHPC is batched in smaller quantities on-site with very strict quality control by representatives from the producer. This has significantly increased the cost (more than 15 times higher) of poured UHPC compared to conventional concrete. It is not studied if substituting the representatives from a commercial producer with trained concrete technicians from public and other entities, would actually yield into substantial defects in the structure of poured UHPC. Similar to conventional concrete, mechanical properties of UHPC, a heterogeneous material from various structural scales (microscopic, mesoscopic, and macroscopic) is expected to be different from each other. Past research has shown that defects that exist on smaller scales can dictate the performance of UHPC overtime. However, macroscopic structural analysis may be the most effective method to capture the defects and uncertainties due to quality of on-site workmanship. This research focuses on the X-ray computed tomography (XCT) of macroscopic structures. XCT is an effective analysis tool for structural components (e.g., beam, columns, walls, slabs) in civil and critical infrastructures. This paper presents a detailed overview outlining how the macroscopic structure of concrete characterized by XCT can be visualized in an immersive environment using virtual reality while capturing and recording the details of a scanned object for both current and future analysis. The high resolution two dimensional (2-D) tomographic slices, and 3-D virtual reconstructions of 2-D slices with subsequent visualization, can represent a spatially accurate and qualitatively informative rendering of the internal structure of UHPC components poured by individuals who are not necessarily representatives of a commercial producer. Results from this research are expected to reduce the cost of UHPC by modifying the guidelines for on-site pour. This can contribute to wider adoption of UHPC in future projects. -
Photographic Composition Guide for Photo Acquisition on Augmented Reality Glasses
Wonwoo Lee, Jaewoong Lee, Deokho Kim, Gunill Lee, Byeongwook Yoo, Hwangpil Park, Sunghoon Yim, Taehyuk Kwon, Jiwon JeongDas Kapitel behandelt die einzigartigen Herausforderungen der fotografischen Komposition auf Augmented-Reality-Brillen, bei denen die transparente Anzeige und die Fehlausrichtung zwischen Kamera und Augen traditionelle Kompositionstechniken unwirksam machen. Die vorgeschlagene Methode nutzt ein neuronales Netzwerk zur Erkennung hervorstechender Regionen und zur Beurteilung der ästhetischen Qualität, um optimale Fotopositionen zu empfehlen. Es verwendet eine Kombination aus Mittel- und Drittelkompositionen und berücksichtigt den Szenenkontext, um die Fotoqualität zu verbessern. Die Methode wird durch den Mean Opinion Score-Test validiert, der ihre Wirksamkeit bei der Abstimmung mit den menschlichen Wahrnehmungen ästhetischer Qualität demonstriert. Im Kapitel werden auch die Details der Umsetzung und die experimentellen Ergebnisse diskutiert und das Potenzial dieses Ansatzes im aufstrebenden Bereich der AR-Fotografie hervorgehoben.KI-Generiert
Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.
AbstractCapturing meaningful moments by using cameras is a major application of Augmented Reality Glasses (AR Glasses). Taking photos with head-mounted cameras of AR Glasses bring a new photo acquisition experience to users because there are no viewfinders conventional cameras have. Users may experience difficulties to figure out the region the head-mounted camera will capture on AR Glasses. To address this issue, we propose a photographic composition guide for AR Glasses. The proposed method analyzes video streams from the camera and automatically determine the image region that has a high aesthetic quality score. Photos taken from the recommended position result in a better photographic composition. Our method achieved 4.03 in Mean-Opinion-Score (MOS) test, demonstrating that our method corresponds to human’s expectation on aesthetic quality of photos. -
Method to Create a Metaverse Using Smartphone Data
Daehee Park, Jeong Min Kim, Jingi Jung, Saemi ChoiDieses Kapitel befasst sich mit der Erstellung einer Metaverse mithilfe von Smartphone-Daten, die darauf abzielt, personalisierte virtuelle Räume zu schaffen, die die Erinnerung und emotionale Erfahrungen verbessern. Durch die Analyse von Fotos, Tagebüchern und GPS-Daten extrahiert die Methode aussagekräftige Schlüsselwörter, um immersive 3D-Umgebungen zu konstruieren. Der Einsatz maschineller Lerntechniken wie Szenenerkennung stellt sicher, dass die virtuellen Räume sowohl realistisch als auch einnehmend sind. Das Kapitel hebt auch die Vorteile dieses Ansatzes hervor, darunter verstärkte Interaktivität, Eintauchen und Personalisierung, wodurch die Metaverse attraktiver und zugänglicher wird. Eine Fallstudie zeigt, dass Anwender die metastasierende Anwendung angenehmer und spannender finden als herkömmliche Methoden, was das Potenzial dieses innovativen Ansatzes unterstreicht.KI-Generiert
Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.
AbstractWith the development of internet technology, several IT companies and users have become interested in virtual worlds, called metaverses. However, one of the main problems for a metaverse is the number of resources required to develop it. To reduce the burden of high computing power and other related resources, we propose a method that uses mobile phone functions and data to generate a personal virtual space as there is still a research gap in this area. In this study, we propose a method to intuitively generate a personal virtual space using smartphone data. We propose the development of a new type of metaverse application using the photo data saved on a smartphone. We hypothesized that using the new metaverse application induces more happiness and excitement than using the smartphone gallery application to view memorable photos. To evaluate the new metaverse application, we measured the emotional responses of users and compared the two applications. The results indicate that using the new metaverse application results in higher happiness and excitement. -
Development of Standards for Production of Immersive 360 Motion Graphics, Based on 360 Monoscopic Videos: Layers of Information and Development of Content
Jose Luis Rubio-Tamayo, Manuel Gertrudix, Mario BarroDas Kapitel befasst sich mit der Entwicklung und dem Potenzial von Virtual-Reality-Technologien, wobei der Schwerpunkt auf 360-Grad-Video als boomendes Format innerhalb dieses Mediums liegt. Es überprüft die Literatur zu immersiven Virtual-Reality-Anwendungen und betont die einzigartigen Eigenschaften und Produktionsprozesse von 360 Videos. Die Autoren präsentieren ein Struktur- und Designmodell für die Erstellung immersiver und nicht immersiver 360-Videos und diskutieren die Informationsebenen und die Faktoren der Nutzererfahrung, die berücksichtigt werden sollten. Das Kapitel schließt mit einem Schlaglicht auf die kreativen Möglichkeiten und Grenzen von 360-Grad-Videos und ermutigt zur weiteren Erforschung und Optimierung dieses Mediums.KI-Generiert
Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.
AbstractVirtual reality and immersive technologies are currently in full development. One of the most widely used formats in the medium are the 360 linear videos, which are proliferating thanks to the 360 cameras available today for the user. The forms of production, including filming and post-production, in this new medium have been transformed in many of their technical procedures. But what about computer-generated graphics, such as motion graphics? The creation of linear video content with the motion graphics technique, although increasingly common, requires specific procedures and techniques that differ from formats that do not fall into the category of 360, immersive or otherwise. In this paper, we aim to establish a series of mechanisms and standards, based on the knowledge gained from experience in filmed 360-degree videos, to help facilitate the development of motion graphics proposals, also considering the parameters of usability in virtual reality. -
Multi-user Multi-platform xR Collaboration: System and Evaluation
Johannes Tümler, Alp Toprak, Baixuan YanDas Kapitel geht auf die Fortschritte und Herausforderungen der Multi-User Multi-Plattform-xR-Zusammenarbeit ein und konzentriert sich auf die Bewertung verschiedener xR-Geräte wie AR-Smartphones, VR-Headsets und AR-Brillen. Es wird die Bedeutung der Synchronisierung von Daten zwischen Geräten für eine effektive Zusammenarbeit diskutiert und ein Rahmen für die Erforschung und Optimierung von Mehrbenutzererfahrungen im Bereich XR vorgestellt. Das Kapitel umfasst auch eine Nutzerstudie, die die Akzeptanz und Benutzerfreundlichkeit verschiedener xR-Gerätekombinationen bewertet und wertvolle Einblicke in die Zukunft kollaborativer xR-Technologien bietet.KI-Generiert
Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.
AbstractVirtual technologies (AR/VR/MR, subsumed as xR) are used in many commercial applications, such as automotive development, medical training, architectural planning, teaching and many more. Usually, existing software products offer either VR, AR or a 2D monitor experience. This limitation can be a hindrance. Let’s draw a simple application example: Users at a university shall join an xR teaching session in a mechanical engineering lecture. They bring their own xR device, join the session and experience the lecture with xR support. But users may ask themselves: Does the choice of my own xR device limit my learning success?In order to investigate multi-platform xR experiences, a software framework was developed and is presented here. This allows one shared xR experience for users of AR smartphones, AR/MR glasses and VR-PCs. The aim is to use this framework to study differences between the platforms and to be able to research for better quality multi-user multi-platform xR experiences.We present results of a first study that made use of our framework. We compared user experience, perceived usefulness and perceived ease of use between three different xR device types in a multi-user experience. Results are presented and discussed. -
Using Multi-modal Machine Learning for User Behavior Prediction in Simulated Smart Home for Extended Reality
Powen Yao, Yu Hou, Yuan He, Da Cheng, Huanpu Hu, Michael ZydaDas Kapitel befasst sich mit dem Einsatz multimodalen maschinellen Lernens zur Vorhersage des Nutzerverhaltens in einer simulierten Smart-Home-Umgebung für erweiterte Realität. Es führt eine Methode ein, die räumliche Informationen und natürliche Sprachverarbeitung nutzt, um die Interaktion zwischen Nutzern und Smart-Home-Geräten zu verbessern. Der Ansatz ermöglicht natürlichere und kontinuierlichere Interaktionen, wie etwa die Kombination von Sprache und Gesten zur Steuerung von Geräten. In diesem Kapitel wird auch die Kategorisierung von Smart-Home-Geräten und die verschiedenen Möglichkeiten diskutiert, wie Nutzer diese Geräte gezielt einsetzen können, wobei das Potenzial für die Auflösung von Mehrdeutigkeiten durch maschinelles Lernen hervorgehoben wird. Die Methode wird durch vorläufige Experimente validiert, die die Machbarkeit des vorgeschlagenen Ansatzes belegen. Das Kapitel schließt mit einer Skizze zukünftiger Arbeit und potenzieller Anwendungen in verschiedenen virtuellen Umgebungen.KI-Generiert
Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.
AbstractWe propose a multi-modal approach to manipulating smart home devices in a smart home environment simulated in virtual reality. Our multi-modal approach seeks to determine the user’s intent in the form of the user’s target smart home device and the desired action for that device to perform. We do this by examining information from two main modalities: spoken utterance and spatial information (such as gestures, positions, hand interactions, etc.). Our approach makes use of spoken utterance, spatial information, and additional information such as the device’s state to predict the user’s intent. Since the information contained in the user’s utterance and the spatial information can be disjoint or complementary to one another, we process the two sources of information in parallel using multiple machine learning models to determine intent. The results of these models are ensembled to produce our final prediction results. Aside from the proposed approach, we also discuss our prototype and discuss our initial findings. -
Virtual Equipment System: Toward Bag of Holding and Other Extradimensional Storage in Extended Reality
Powen Yao, Zhankai Ye, Michael ZydaDas Kapitel geht auf den aktuellen Stand der Virtual-Reality-Speicherlösungen (VR) ein und kategorisiert sie in Real World Model, 2D Layout Model und Single Symbolic Model. Anschließend wird das Konzept der Extradimensional Storage (EDS) eingeführt, das von Fantasy-Medien wie Dungeons & Dragons inspiriert wurde, um die Lücke zwischen diesen Modellen zu überbrücken. Der vorgeschlagene Rahmen umfasst fünf Kernkomponenten: Interactor, Access, Container, Storage Space und Stored Item. Jede Komponente wird auf ihre einzigartigen Eigenschaften und Interaktionen hin analysiert und zeigt, wie EDS das VR-Artikelmanagement revolutionieren kann, indem es dem Benutzer ermöglicht, einen Lagerraum als Raum zu betreten, räumlichen Speicher zu nutzen und effiziente Abruf- und Organisationsaufgaben auszuführen. In diesem Kapitel werden auch die praktischen Anwendungsmöglichkeiten von EDS über das Spielen hinaus diskutiert und ihr Potenzial in der Arbeit und in XR-Interaktionen hervorgehoben. Die Einbeziehung von Taxonomien, Interaktionszonen und Beispielen aus der realen Welt bereichert die Diskussion weiter und macht das Kapitel zu einer wertvollen Ressource für VR-Entwickler und -Designer, die Innovationen im Bereich der VR-Speicherung anstreben.KI-Generiert
Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.
AbstractThe term ‘storage’ in real life typically refers to a container that occupies physical space, such as rooms, closets, warehouses, etc. Our interactions with items stored within are constrained by physics in real life. However, Virtual Reality allows us to ignore certain rules. Inspired by a Bag of Holding from Dungeons & Dragons and other entertainment media, we envision a storage which can store more items than the physical space the container occupies by linking it to another dimension. Users can interact with the stored item as they would with containers in VR or physically enter the storage. We refer to this approach as ‘Extradimensional Storage’. During our design and implementation of Extradimensional Storage, we identified five core components of a generic storage system, which are storage space, container, access, stored items and interactor. By altering the properties associated with the core components, we are able to implement Extradimensional Storage. We further applied the five core components to reinterpret the inventory taxonomy proposed by Cmentowski et al. Thus, our contributions include a general framework for storage, an implementation of a specialized version known as Extradimensional Storage, additions to the inventory taxonomy, and how properties of the core storage components can be utilized for different scenarios. -
Virtual Equipment System: First Evaluation of Egocentric Virtual Equipment for Sensory Settings
Powen Yao, Shitong Shen, Michael ZydaDas Virtual Equipment System (VES) ist eine bahnbrechende Schnittstelle für erweiterte Realität, die Hyperphysikalität und Ganzkörperinteraktion nutzt. Dieses Kapitel stellt eine erste Bewertung des VES dar und konzentriert sich auf seine einzigartigen Qualitäten wie egozentrische und exozentrische Ausrüstung und ihre Lagerung im persönlichen, peripersönlichen und extrapersonalen Raum. Die Studie umfasst ein inneres Experiment zur Beurteilung verschiedener Interaktionstechniken, darunter Bewegungsgesten, Oberflächengesten und Alt-Node-Interaktionen. Die Ergebnisse heben die Vorteile von VES in Bezug auf Geschwindigkeit, Benutzerfreundlichkeit und Benutzervorlieben hervor und identifizieren zugleich Verbesserungsbereiche. Das Kapitel schließt mit einer Diskussion über das Potenzial hyperphysikalischer Schnittstellen und die Notwendigkeit weiterer Forschung auf diesem Gebiet.KI-Generiert
Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.
AbstractVirtual Equipment System is a system in extended reality that provides the user with equipment slots and equipment that serve as an interface for further interactions. The equipment slots are storage locations for equipment that is associated with the user spatially (egocentric). Due to the virtual nature of the system, these egocentric equipment slots do not have to be attached to the user’s body; they can instead belong in the user’s personal, peripersonal, or extrapersonal space, which greatly expands the potential space for storage. Virtual Equipment are virtual objects that fulfill specific roles or functions. Their look and feel provide cues for how to interact with them as well as potential functionalities associated with them. In this paper, we present our first results from an experimental evaluation of the Virtual Equipment System. We compare different interaction techniques available in our Virtual Equipment System with the standard technique for adjusting audio volume as well as look at the effect of having the same Virtual Equipment in different egocentric equipment slots located in the three different spaces.
-
- Titel
- Virtual, Augmented and Mixed Reality: Design and Development
- Herausgegeben von
-
Jessie Y. C. Chen
Gino Fragomeni
- Copyright-Jahr
- 2022
- Electronic ISBN
- 978-3-031-05939-1
- Print ISBN
- 978-3-031-05938-4
- DOI
- https://doi.org/10.1007/978-3-031-05939-1
Informationen zur Barrierefreiheit für dieses Buch folgen in Kürze. Wir arbeiten daran, sie so schnell wie möglich verfügbar zu machen. Vielen Dank für Ihre Geduld.