MultiMedia Modeling

Inhaltsverzeichnis

1. Frontmatter

2. MSCANet: Adaptive Multi-scale Context Aggregation Network for Congested Crowd Counting

   Yani Zhang, Huailin Zhao, Fangbo Zhou, Qing Zhang, Yanjiao Shi, Lanjun Liang

   Das Kapitel stellt MSCANet vor, einen bahnbrechenden Ansatz zur Zählung überfüllter Menschenmassen unter Verwendung eines adaptiven, mehrskaligen Kontextaggregationsmoduls (MSCA). MSCANet bewältigt Herausforderungen wie Okklusion und Skalenvariationen effektiv, indem es Kontextinformationen über verschiedene Skalen hinweg adaptiv aggregiert. Diese innovative Methode nutzt eine grauenhafte Faltung mit unterschiedlichen Dilatationsraten und einen Aufmerksamkeitsmechanismus für Kanäle, um reichhaltige, globale Szenendarstellungen zu produzieren. Die Architektur des Netzwerks, bestehend aus mehreren MSCA-Modulen, erlaubt es, Crowddensity-Karten effizient zu verarbeiten und zurückzufahren. Umfangreiche Experimente mit Benchmark-Datensätzen belegen die überlegene Leistung von MSCANet gegenüber modernen Methoden, insbesondere in überfüllten Menschenmengen. Das Kapitel geht auch auf die Konzeption und Effektivität des MSCA-Moduls ein und hebt seine Vorteile gegenüber anderen kontextbasierten Ansätzen hervor.

   KI-Generiert

   Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.

   Originaltext anzeigen

3. Tropical Cyclones Tracking Based on Satellite Cloud Images: Database and Comprehensive Study

   Cheng Huang, Sixian Chan, Cong Bai, Weilong Ding, Jinglin Zhang

   Dieses Kapitel stellt TCTSCI vor, eine bahnbrechende Datenbank zur Verfolgung tropischer Wirbelstürme mithilfe von Satellitenwolkenbildern und umfassenden meteorologischen Daten. Es geht auf die entscheidende Notwendigkeit einer präzisen Vorhersage tropischer Wirbelstürme ein, indem es fortschrittliche Satellitenbilder und meteorologische Daten nutzt. Das Kapitel bewertet verschiedene hochmoderne Tracker auf der TCTSCI-Datenbank und hebt die überlegene Leistung von Deep-Learning-basierten Trackern hervor. Es unterstreicht auch das Potenzial multimodaler datenbasierter Tracker zur Verbesserung der Verfolgung tropischer Wirbelstürme. Die Evaluierungsergebnisse und die einzigartigen Herausforderungen durch die Datenbank bieten wertvolle Erkenntnisse für die zukünftige Forschung in diesem interdisziplinären Bereich.

   KI-Generiert

   Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.

   Originaltext anzeigen

4. Image Registration Improved by Generative Adversarial Networks

   Shiyan Jiang, Ci Wang, Chang Huang

   Das Kapitel "Image Registration Improved by Generative Adversarial Networks" widmet sich den Herausforderungen bei der Registrierung von Bildern, die von Mobiltelefonen aufgenommen wurden, die häufig von Verzerrungen wie Rauschen, Unschärfe und ungleichmäßiger Verschlechterung geplagt sind. Traditionelle Methoden der Bildregistrierung, einschließlich templatebasierter, domänenbasierter und funktionsbasierter Ansätze, werden diskutiert und als unzureichend für den Umgang mit diesen Verzerrungen befunden. Die Autoren schlagen eine neuartige GAN-Architektur vor, die pixelweisen Verlust und Content-Verlust kombiniert, um die Bildqualität für eine bessere Registrierung zu verbessern. Das Kapitel führt auch eine synthetische Verlustfunktion und eine robuste Netzwerkstruktur ein, einschließlich eines Generator- und Diskriminator-Netzwerks, um ein Wettbewerbsgleichgewicht zu erreichen. Experimente sowohl mit synthetischen als auch mit realen Datensätzen zeigen die überlegene Leistung der vorgeschlagenen Methode bei der Verbesserung der Bildqualität und der Erhöhung der Anzahl der Matching-Punkte für die Registrierung. Das Kapitel schließt mit der Hervorhebung der praktischen Anwendungen der verbesserten Bildregistrierung in der Bildgebung von Mobiltelefonen.

   KI-Generiert

   Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.

   Originaltext anzeigen

5. Deep 3D Modeling of Human Bodies from Freehand Sketching

   Kaizhi Yang, Jintao Lu, Siyu Hu, Xuejin Chen

   Das Kapitel vertieft sich in die fortgeschrittenen Techniken der 3D-Modellierung menschlicher Körper anhand von Skizzen aus freier Hand und geht auf die Herausforderungen ein, die sich aus der nicht starren Beschaffenheit und Artikulation menschlicher Körper ergeben. Durch den Einsatz tiefer neuronaler Netzwerke schlagen die Autoren eine skelettbewusste Interpretation neuronaler Netzwerke vor, die grobe und spärliche Skizzen effektiv zu hochwertigen Körpernetzen abbilden. Die Methode kombiniert nichtparametrische Gelenkregression mit parametrischer Körperrepräsentation und nutzt das SMPL-Modell, um natürlich aussehende 3D-Modelle zu erstellen. In diesem Kapitel wird auch die Erstellung eines umfangreichen Datensatzes zur Schulung und Bewertung des Modells hervorgehoben, der die Wirksamkeit des Systems durch quantitative und qualitative Tests nachweist. Der innovative Ansatz ermöglicht es gängigen Anwendern, interaktiv hochwertige 3D-Körpermodelle zu erstellen und zu bearbeiten, was das Potenzial für praktische Anwendungen in verschiedenen Bereichen aufzeigt.

   KI-Generiert

   Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.

   Originaltext anzeigen

6. Two-Stage Real-Time Multi-object Tracking with Candidate Selection

   Fan Wang, Lei Luo, En Zhu

   Das Kapitel geht auf die entscheidenden Herausforderungen der Echtzeit-Verfolgung von Multiobjekten (MOT) in der Computervision ein und betont die Notwendigkeit effizienter Datenverknüpfung, Objekterkennung und der Einbettung des Erscheinungsbildes. Es führt ein zweistufiges, tiefes Netzwerk ein, das nicht nur Objekterkennung und Einbettung gleichzeitig durchführt, sondern auch ein Kandidatenauswahlverfahren anwendet, um die Auswirkungen unzuverlässiger Erkennungsergebnisse abzumildern. Die vorgeschlagene Methode nutzt eine Kaskadenstrategie zur Datenassoziation, die räumliche Informationen und tief erlernte Merkmale zur Wiedererkennung von Personen nutzt, um eine genaue und Echtzeitverfolgung zu erreichen. Das Kapitel hebt auch die experimentellen Ergebnisse des MOT16-Datensatzes hervor und zeigt die überlegene Leistung der Methode in Metriken wie MOTA und IDF1 im Vergleich zu anderen hochmodernen Trackern. Zusätzlich zeigen Ablationsstudien die Effektivität der Kandidatenauswahl und die Einbettung von Merkmalskomponenten bei der Verbesserung der Nachverfolgungsleistung. Insgesamt bietet das Kapitel einen umfassenden und innovativen Ansatz zum TÜV in Echtzeit, was es zu einer wertvollen Lektüre für Spezialisten auf diesem Gebiet macht.

   KI-Generiert

   Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.

   Originaltext anzeigen

7. Tell as You Imagine: Sentence Imageability-Aware Image Captioning

   Kazuki Umemura, Marc A. Kastner, Ichiro Ide, Yasutomo Kawanishi, Takatsugu Hirayama, Keisuke Doman, Daisuke Deguchi, Hiroshi Murase

   Das Kapitel "Tell as You Imagine: Sentence Imageability-Aware Image Captioning" stellt eine bahnbrechende Methode zur Erzeugung von Bildunterschriften mit unterschiedlichem Grad an visueller Beschreibbarkeit dar. Durch die Einbeziehung des psycholinguistischen Konzepts der "Bildbarkeit" kann das vorgeschlagene Modell Bildunterschriften auf verschiedene Anwendungen wie Nachrichtenartikel oder Sehbehindertenhilfe zuschneiden. Die Methode umfasst die Erweiterung von Bildunterschriften-Datensätzen, die Berechnung von Satzbildergebnissen und die Modifizierung bestehender Bildunterschriften-Modelle, um unterschiedliche Bildunterschriften zu generieren. Experimente zeigen die Effektivität dieses Ansatzes und zeigen, dass die erzeugten Bildunterschriften den gewünschten Bildwertungen entsprechen und von menschlichen Bewertern als solche wahrgenommen werden. Diese Arbeit eröffnet neue Wege für kontextbewusstere und anwendungsspezifischere Bildbeschriftungssysteme.

   KI-Generiert

   Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.

   Originaltext anzeigen

8. Deep Face Swapping via Cross-Identity Adversarial Training

   Shuhui Yang, Han Xue, Jun Ling, Li Song, Rong Xie

   Dieses Kapitel geht auf die neuesten Entwicklungen in der Face-Swapping-Technologie ein und beleuchtet die Herausforderungen und Grenzen bestehender Auto-Encoder-basierter Methoden. Es führt einen bahnbrechenden identitätsübergreifenden Ausbildungsrahmen ein, der darauf ausgelegt ist, diese Probleme anzugehen. Durch die Einbeziehung räumlicher Aufmerksamkeitsmechanismen und robuster Trainingsstrategien erreicht der vorgeschlagene Ansatz selbst unter komplexen Beleuchtungsbedingungen höchst realistische Ergebnisse beim Gesichtsaustausch. Das Kapitel stellt umfangreiche Experimente und quantitative Analysen vor, die die überlegene Leistung der vorgeschlagenen Methode gegenüber den modernsten Techniken demonstrieren. Darüber hinaus untersucht es die Robustheit des Modells in herausfordernden Szenarien wie dem geschlechter- und rassenübergreifenden Gesichtsaustausch und zeigt sein Potenzial in vielfältigen Anwendungen in verschiedenen Branchen.

   KI-Generiert

   Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.

   Originaltext anzeigen

9. Res2-Unet: An Enhanced Network for Generalized Nuclear Segmentation in Pathological Images

   Shuai Zhao, Xuanya Li, Zhineng Chen, Chang Liu, Changgen Peng

   Das Kapitel geht den Herausforderungen und Fortschritten bei der nuklearen Segmentierung innerhalb der digitalen Pathologie nach. Es stellt Res2-Unet vor, eine verbesserte U-Net-Architektur, die darauf ausgelegt ist, die Genauigkeit und Verallgemeinerung der nuklearen Segmentierung in pathologischen Bildern zu verbessern. Die Autoren sprechen die Komplexität der nuklearen Segmentierung an, wie unterschiedliche Färbungen, sich überlappende Kerne und Tumorheterogenität. Res2-Unet enthält fortschrittliche Restmodule und Aufmerksamkeitsmechanismen, um die Extraktion und Fusion von Merkmalen zu verbessern, was zu überlegener Leistung bei Segmentierungsaufgaben führt. In diesem Kapitel werden umfangreiche Experimente mit öffentlichen Datensätzen vorgestellt, die die Wirksamkeit von Res2-Unet bei der Erreichung einer präzisen und generalisierten nuklearen Segmentierung zeigen. Die Ergebnisse unterstreichen das Potenzial von Deep-Learning-Techniken zur Förderung der digitalen Pathologie und der medizinischen Bildgebung.

   KI-Generiert

   Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.

   Originaltext anzeigen

10. Automatic Diagnosis of Glaucoma on Color Fundus Images Using Adaptive Mask Deep Network

    Gang Yang, Fan Li, Dayong Ding, Jun Wu, Jie Xu

    Das Kapitel befasst sich mit dem kritischen Thema der Glaukomdiagnose, einer weltweit führenden Ursache für Sehverlust. Er hebt die Herausforderungen der manuellen Diagnose und das Potenzial der KI bei der Lösung dieser Probleme hervor. Die Autoren stellen AMNet vor, ein Deep-Learning-Modell, das einen Aufmerksamkeitsmechanismus enthält, um sich auf wichtige diagnostische Bereiche wie die Papille und die Nervenfaserschicht der Netzhaut zu konzentrieren. Die Methode wird durch Experimente mit mehreren Datensätzen validiert und zeigt ihre Wirksamkeit bei der Verbesserung der diagnostischen Genauigkeit und Robustheit. Das Kapitel bietet auch einen umfassenden Überblick über verwandte Techniken und Vergleiche mit anderen Modellen, was es zu einer wertvollen Ressource für Fachleute auf diesem Gebiet macht.

    KI-Generiert

    Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.

    Originaltext anzeigen

11. Initialize with Mask: For More Efficient Federated Learning

    Zirui Zhu, Lifeng Sun

    Das Kapitel befasst sich mit dem kritischen Problem der Datenheterogenität beim föderierten Lernen, das die Konvergenz verlangsamt und die Modellleistung verschlechtert. Es wird Federated Mask (FedMask) eingeführt, ein neuartiger Ansatz, der wichtige lokale Parameter während der Initialisierung mithilfe der Fisher Information Matrix beibehält. Darüber hinaus setzt es maximale mittlere Diskrepanzen ein, um den Trainingsprozess zu stabilisieren. Experimente mit dem MNIST-Datensatz zeigen, dass FedMask die Basismethoden übertrifft und eine 55% schnellere Konvergenzgeschwindigkeit und eine 2% ige Verbesserung der Modellleistung unter heterogenen Datenbedingungen erreicht. Das Kapitel schlägt außerdem eine neue allgemeine Bewertungsmethode für föderales Lernen vor, die es zu einer wertvollen Ressource für Fachleute macht, die den Stand der Technik in diesem Bereich vorantreiben wollen.

    KI-Generiert

    Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.

    Originaltext anzeigen

12. Unsupervised Gaze: Exploration of Geometric Constraints for 3D Gaze Estimation

    Yawen Lu, Yuxing Wang, Yuan Xin, Di Wu, Guoyu Lu

    Das Kapitel geht den Herausforderungen traditioneller Methoden zur Blickeinschätzung nach, die häufig auf aufdringlichen Geräten wie Head-Mounted Cameras beruhen. Es führt eine innovative, unbeaufsichtigte Deep-Learning-Pipeline ein, die geometrische und photometrische Beschränkungen nutzt, um 3D-Blickvektoren präzise abzuschätzen. Die vorgeschlagene Methode simuliert 3D-Rekonstruktion und Ego-Motion-Schätzung, wobei Mehrfachbilder verwendet werden, um Tiefenkarten und Blickeinschätzungen zu verfeinern. Experimentelle Ergebnisse zeigen die Effektivität und Verallgemeinerungsfähigkeit dieses Ansatzes und zeigen eine vergleichbare Leistung wie überwachte Methoden ohne die Notwendigkeit umfangreicher kommentierter Daten.

    KI-Generiert

    Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.

    Originaltext anzeigen

13. Median-Pooling Grad-CAM: An Efficient Inference Level Visual Explanation for CNN Networks in Remote Sensing Image Classification

    Wei Song, Shuyuan Dai, Dongmei Huang, Jinling Song, Liotta Antonio

    Das Kapitel geht den Herausforderungen bei der Interpretation von Deep-Learning-Modellen nach, insbesondere bei der Klassifizierung von Fernerkundungsbildern. Es führt Median-Pooling Grad-CAM ein, eine Methode, die die Lokalisierung von Objekten in Hervorhebungskarten verbessert und gleichzeitig die Rechenleistung aufrechterhält. Zusätzlich schlägt sie eine neue Messgröße vor, den Vertrauensrückgang%, um die Präzision visueller Erklärungen zu bewerten. Das Kapitel vergleicht Median-Pooling Grad-CAM mit anderen hochmodernen Techniken und demonstriert seine Wirksamkeit durch umfangreiche Experimente an verschiedenen Datensätzen und CNN-Modellen. Diese Arbeit zielt darauf ab, den Bereich der visuellen Erklärungsmethoden für Deep-Learning-Modelle voranzutreiben, um sie besser interpretierbar und zuverlässiger zu machen.

    KI-Generiert

    Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.

    Originaltext anzeigen

14. Multi-granularity Recurrent Attention Graph Neural Network for Few-Shot Learning

    Xu Zhang, Youjia Zhang, Zuyu Zhang

    Das Kapitel stellt ein Multigranularity Recurrent Attention Graph Neural Network (MRA-GNN) vor, das darauf ausgelegt ist, die Herausforderungen des wenig scharfen Lernens in Deep-Learning-Modellen anzugehen. Wenige-Schritte-Lernen zielt darauf ab, neue Klassen mit begrenzten Daten zu erkennen, ein Problem, das gelöst wird, indem man Vorkenntnisse aus gut gekennzeichneten Quellklassen nutzt. Das MRA-GNN nutzt ein Saliency Network, um Vordergrundbilder zu extrahieren, und ein Local Proposal Network, um lokale Bilder mit Ähnlichkeiten innerhalb eines Clusters und Unähnlichkeiten zwischen Clustern zu erzeugen. Diese lokalen Bilder, kombiniert mit Originalbildern, sind in ein neuronales Netzwerk mit mehreren Granularitäten eingebettet. Die Architektur des Modells ermöglicht die Verbreitung von Etiketteninformationen von markierten Proben zu nicht markierten Abfragebildern, was die Verallgemeinerungsfähigkeit deutlich verbessert und das Risiko einer Überanpassung verringert. Das Kapitel enthält auch umfangreiche experimentelle Ergebnisse zu Benchmark-Datensätzen, die die überlegene Leistung von MRA-GNN im Vergleich zu modernen Methoden belegen. Ablationsstudien bestätigen die Wirksamkeit der vorgeschlagenen Methode weiter und heben ihr Potenzial für Anwendungen in der realen Welt und zukünftige Forschungsrichtungen hervor.

    KI-Generiert

    Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.

    Originaltext anzeigen

15. EEG Emotion Recognition Based on Channel Attention for E-Healthcare Applications

    Xu Zhang, Tianzhi Du, Zuyu Zhang

    Das Kapitel geht der Bedeutung der Emotionserkennung in der künstlichen Intelligenz und ihren Anwendungen im elektronischen Gesundheitswesen nach. Er hebt die Vorteile von EEG-Signalen gegenüber anderen physiologischen Signalen hervor und überprüft bestehende Methoden der EEG-Emotionserkennung. Der primäre Fokus liegt auf einem neuartigen Deep-Learning-Modell, Channel Attention-based Emotion Recognition Networks (CAERN), das effiziente Kanalaufmerksamkeitsmechanismen nutzt, um die Funktionsextraktion zu verbessern und die Genauigkeit der Emotionserkennung zu verbessern. Die Studie umfasst umfangreiche Experimente mit zwei emotionalen EEG-Datenbanken, DEAP und SEED, die die überlegene Leistung des Modells im Vergleich zu herkömmlichen und hochmodernen Methoden aufzeigen. Das Kapitel schließt mit der Betonung des Potenzials von CAERN bei der Bewältigung der Herausforderungen der EEG-basierten Emotionserkennung und ihrer Implikationen für Anwendungen im elektronischen Gesundheitswesen.

    KI-Generiert

    Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.

    Originaltext anzeigen

16. The MovieWall: A New Interface for Browsing Large Video Collections

    Marij Nefkens, Wolfgang Hürst

    Die MovieWall-Schnittstelle wurde entwickelt, um die Beschränkungen aktueller Schnittstellen für Filmstreamingdienste zu beheben, die sich häufig auf gezielte Suche und Empfehlungen konzentrieren. Durch die Bereitstellung eines großen Netzwerks von Filmplakaten, die die Benutzer mittels Zoom- und Schwenkgesten erkunden können, bietet die MovieWall ein fesselnderes und erforschlicheres Surferlebnis. Das Konzept wurde durch eine Pilotstudie und eine detaillierte Nutzerstudie validiert, die ergab, dass die Nutzer die Möglichkeit schätzten, nebenbei zu surfen und neue Filme zu entdecken. Die Studie untersuchte auch verschiedene Anordnungen der Filmsammlung, einschließlich zufälliger, geclusterter und halb geclusterter Layouts, um deren Auswirkungen auf die Nutzererfahrung und -zufriedenheit zu verstehen. Die Ergebnisse deuten darauf hin, dass die Benutzer zwar die Benutzeroberfläche genossen, der Einfluss unterschiedlicher Arrangements auf das Surfverhalten jedoch weniger offensichtlich war als erwartet. Die meisten Nutzer bevorzugten jedoch die gruppierte Anordnung, was auf einen Wunsch nach einem gewissen Maß an Struktur in ihrem Surferlebnis hindeutet.

    KI-Generiert

    Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.

    Originaltext anzeigen

17. Keystroke Dynamics as Part of Lifelogging

    Alan F. Smeaton, Naveen Garaga Krishnamurthy, Amruth Hebbasuru Suryanarayana

    Das Kapitel vertieft sich in das Konzept des Lifelogging, das die automatische Erfassung digitaler Aufzeichnungen über tägliche Aktivitäten beinhaltet. Es unterstreicht das Potenzial der Tastendruckdynamik als wertvolle Datenquelle im Lifelogging und bietet nicht-aufdringliche Einblicke in Verhalten und Trends. Die Autoren präsentieren einen Datensatz mit Tastatureingaben und Schlafdaten von vier Teilnehmern über einen Zeitraum von sechs Monaten, in dem sie die Konsistenz und Variabilität des Tastatureingangs analysieren. In diesem Kapitel werden auch die Anwendungen der Tastendruckdynamik bei der Stressmessung, der Erkennung von Emotionen und der Identifizierung von Schreibstrategien diskutiert. Obwohl keine Korrelation zwischen dem Timing von Tastenanschlägen und dem Schlafwert festgestellt wurde, unterstreicht die Studie die Notwendigkeit feinkörnigerer Messgrößen für Müdigkeit. Das Kapitel schließt mit dem Plädoyer für den verstärkten Einsatz der Tastendruckdynamik im multimedialen Lifeogging und schlägt zukünftige Forschungsrichtungen vor.

    KI-Generiert

    Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.

    Originaltext anzeigen

18. HTAD: A Home-Tasks Activities Dataset with Wrist-Accelerometer and Audio Features

    Enrique Garcia-Ceja, Vajira Thambawita, Steven A. Hicks, Debesh Jha, Petter Jakobsen, Hugo L. Hammer, Pål Halvorsen, Michael A. Riegler

    In diesem Kapitel wird HTAD vorgestellt, ein neuartiger Datensatz zur Erkennung von Tätigkeiten zu Hause mittels Handgelenkbeschleunigungsmesser und Audiodaten. Es beschreibt den Prozess der Datenerfassung, die Extraktionstechniken und die Struktur des Datensatzes, der Aktivitäten wie Fegen, Zähneputzen und Fernsehen umfasst. Die Autoren präsentieren Basisexperimente, die die Effektivität der Kombination von Beschleunigungssensor und Audio-Features für die Klassifizierung der Aktivität demonstrieren. Der Datensatz soll die Reproduzierbarkeit in der Aktivitätserkennungsforschung unterstützen und bietet eine Grundlage für die Entwicklung fortschrittlicher Sensordatenfusionsmethoden.

    KI-Generiert

    Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.

    Originaltext anzeigen