nach oben

Erschienen in:

2019 | OriginalPaper | Buchkapitel

10. Nächste-Nachbarn-Verfahren und Dimensionsreduktion

verfasst von : Gerhard Sartorius

Erschienen in: Erfassen, Verarbeiten und Zuordnen multivariater Messgrößen

Verlag: Springer Fachmedien Wiesbaden

Einloggen

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config

KI-gestützte Suche

Aus

Zusammenfassung

NN-Verfahren und Verfahren zur Dimensionsreduktion sind eng miteinander verwandt. Gemeinsam haben Sie die Eigenschaft, dass der geometrische Abstand zweier Neuronen als Wert der Verbindung zwischen diesen Neuronen angesehen wird. Mit diesen Verbindungen werden Wichtungsanteile bestimmt, die NN-Verbindungen und damit die relative Postion eines Neurons zu seinen NN repräsentieren. Dargestellt wird nicht das Neuron selbst, sondern die Rekonstruktion aus den Wichtungsanteilen der NN-Neuronen. Somit ist es irrelevant, ob ein Trainingspunkt X_i in der Trainingsphase oder ein Anfragepunkt X_a in der Arbeitsphase rekonstruiert wird. Punktmengen, die als geometrische Gebilde aufgefasst werden, liegen oft auf einer Mannigfaltigkeit (MF), deren Einbettungsdimension viel höher ist als die innere Dimension des zugrunde liegenden Gebildes. Mit der Dimensionsreduktion (DR) soll ein isometrisches Abbild einer im hochdimensionalen Eingangsraum befindlichen MF ermittelt werden, um anschließend mit den gefundenen Gesetzmäßigkeiten die Grundinformation dieser MF in einem geeigneten Raum zu entfalten.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

über 102.000 Bücher
über 537 Zeitschriften

aus folgenden Fachgebieten:

Automobil + Motoren
Bauwesen + Immobilien
Business IT + Informatik
Elektrotechnik + Elektronik
Energie + Nachhaltigkeit
Finance + Banking
Management + Führung
Marketing + Vertrieb
Maschinenbau + Werkstoffe
Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

über 67.000 Bücher
über 390 Zeitschriften

aus folgenden Fachgebieten:

Automobil + Motoren
Bauwesen + Immobilien
Business IT + Informatik
Elektrotechnik + Elektronik
Energie + Nachhaltigkeit
Maschinenbau + Werkstoffe

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Vorheriges Kapitel Wavelet-Transformation

Nächstes Kapitel Modellbildung

Verallgemeinerung des Flächenbegriffs. Geometrische Gebilde werden in der Differenzialgeometrie als auf Koordinaten bezogene Punktmengen aufgefasst. Die Dimension eines Gebildes wird durch die Anzahl der Koordinaten bestimmt, die notwendig sind, um das Gebilde zu fixieren, d. h., dass alle Freiheitsgrade an Einheitsvektoren linear unabhängig gebunden sind [40, S. 423].

NN-Punkte und Ermittlung des Zugehörigkeitsgrades in Abschn. 15.3 und Abb. 14.4.

Die NOP-Methode ist eine Erweiterung der ONPP-Methode zur Dimensionsreduktion. Beide sind in Tab. 10.2 aufgeführt. Die NOP-Methode ist in fünf Schritten in Abschn. 10.7 erklärt und wurde in Verfahren und Vorrichtung zur Detektion von Kampfstoffen eingesetzt [26], Patent DE 10 2008 054 345 B4 [27]. Beide Methoden bauen auf der LLE-Methode von Roweis und Saul auf [45, 44].

Tab. 10.2

Charakteristische Eigenschaften der Basismethoden. In Spalte Numerischer Aufwand steht +, …, ++++++ für den Bereich wenig …viel

Nr.	Modell	Strukturerhaltung	Größte/ kleinste Eigenwerte	Matrix dünn/dicht besetzt	Numerischer Aufwand	Zeigt Dimension an	Skalierung
1	MDS	global	größte	dicht	++++	(ja)	\(\sqrt {d}\)
2	Kernel-PCA	global	größte	dicht	+++++	(ja)	\(\sqrt {d}\)
3	ISOMAP	global	größte	dicht	++++	ja	\(\sqrt {n}\)
4	LLE	lokal	kleinste	dünn	++	nein	\(\sqrt {n}\)
5	Laplacian	lokal	kleinste	dünn	+++	nein	\(\sqrt {n}\)
	Eigenmaps
6	MVU	lokal	größte	dicht	++++++	ja	\(\sqrt {d}\)
7	ONPP	lokal	kleinste ohne Mode 1	dünn	+++	nein	\(\sqrt {n}\)
8	NOP	lokal	kleinste mit Mode 1	dünn	+++	ja	\(\sqrt {n}\)

Ein Beispiel dafür ist die Abbildung der Erdkugel auf Landkarten, die ja auch in der nächsten Umgebung die Verhältnisse der Orte zueinander ausreichend genau darstellt. Referenzstrecken zur Messung der Distanzen sind bei nautischem Kartenmaterial in der Nähe des Ortes, in dem navigiert wird, aufgedruckt und gelten für diesen Bereich, damit die Verzerrung durch die Dimensionsreduktion bei der Navigation berücksichtigt werden kann.

Verschiedene Anwendungen: Steuerungen, deren Aktoren in Abhängigkeit von einer großen Anzahl Sensorsignalen angesteuert werden, Rauschminderung, Verbesserung der Messunsicherheit und Anzeigegenauigkeit bei Messungen durch die Bündelung vieler Sensoren [43]. Verschiedene Projekte wurden zu diesem Thema an der FernUni Hagen im Rahmen von Masterarbeiten durchgeführt. Dabei kamen verschiedene Systeme (Mikrokontroller, SPS-Steuerung, PC und FPGA) mit unterschiedlicher Rechenkapazität zum Einsatz.

Große Ungenauigkeiten bei der Distanzbestimmung mit der Euklidischen Distanz treten schon bei einer Dimensionalität < 100 auf. Abstandsmessung und Anzahl der Dimensionen in Abschn. 6.1.6, Fluch der Dimensionen [4].

,,A metric space (χ, d) can be embedded isometrically into a Hilbert space if and only if the function − d² is conditionally positive definite, that is \(-\sum _{i,j=1}^{l}c_i c_j d^2(x_i,x_j) \geq 0 \) for all l \(\in \mathbb {N}, x_i, x_j \in \chi, \) and for all \(c_i, c_j \in \mathbb {R}\) with ∑_ic_i = 0. Such a metric is called Euclidian metric.“ [53].

,,Ist H ein (komplexer oder reeller) Vektorraum und 〈⋅, ⋅〉 ein Skalarprodukt auf H, so nennen wir das Paar (, 〈⋅, ⋅〉) einen Vektorraum mit Skalarprodukt oder einen Prä-Hilbert-Raum; …Ist ∥⋅∥eine Norm auf H, so nennen wir das Paar (H, ∥⋅∥) einen normierten Raum; …Nach Satz 1.5 ist auf jedem Prä-Hilbert-Raum in natürlicher Weise eine Norm (∥f∥ = 〈f, f〉^1∕2) erklärt.“ [60, S. 19].

Siehe Glossar im Anhang K.7

Vorgehensweise bei der KLT siehe Ähnlichkeitstransformation im Anhang K.7.

,,Theorem (polarisation): As positive (resp. non-negative) \( \underline {A}\) is projected to necessively lower ranks \( \underline {A}_{(D-1)},\underline {A}_{(D-2)}, \ldots, \underline {A}_{(d)}, \ldots, \underline {A}_{(1)}\), the sum of squared angle-cosines ∑_{i ≠ j}(cosΘ_ij)² (equivalently squared correlations) \(\| \underline {Y}_{(d)}^T\underline {Y}_{(d)}\|{ }_F^2\) is strictly increasing (resp. non-decreasing).“ [10, Kap. 2].

Referenzskala zur Zuordnung der Trainingsdatenpunkte TPi in Abschn. 4.4, 12.2.2, 12.6 und Abb. 7.1.

In der Literatur wird die Anzahl der erforderlichen Dimensionen anhand der Größe der Eigenwerte entschieden. Dieser Sachverhalt ist in Abschn. 10.7.6 erörtert.

Die Anforderungen bezüglich numerischer Stabilität und Präzision bei NN-Verfahren sind in Abschn. 12.3 und 12.4 genannt und für das MAE-Verfahren in Tab. 4.3 dargestellt.

Für Messdaten, die von Sensoren stammen, kann in der Regel eine multidimensionale Gauß-Verteilung angenommen werden.

Kerntrick [55, S. 37]. Kernfunktionen transformieren einen Datensatz, der nicht linear trennbar ist, vom Eingaberaum in einen neuen Raum \(\mathscr {H}\) höherer Dimension, um lineare Trennbarkeit zu erreichen bzw. lineare Strukturen zu erhalten, die die Anwendung von PCA ermöglichen.

Definition der Laplace-Matrix siehe Anhang K.7.

Laplacian Eigenmaps und Spektral-Clustering sind ähnliche Verfahren [10, Kap. 5].

Die Gram-Matrix beinhaltet alle möglichen Skalarprodukte von \( \underline {X}\) z. B. \(G_{ij}=X_i^T\cdot X_j\). Siehe auch Glossar im Anhang K.7.

Optimierungsproblem mit schwacher Dualität [32, 1, 22].

Diesen Effekt nutzt man beim spektralen Gruppieren, auch Spectral Clustering genannt, aus. Kurz: Der nichtlinearen Dimensionsreduktion und dem Spectral Clustering liegt der gleiche Prozess zugrunde [10, Kap. 5].

Beispielhaft für den allgemeinsten Fall: Methode Nr. 2 in Tab. 10.2.

Überbestimmtes lineares Gleichungssystem, welches unter bestimmten Voraussetzungen aus vielen Lösungen die beste liefert (Moore-Penrose-Pseudoinverse).

,,The inverse operator. The Green’s function …since \(\mathscr {B}(Hw,v)=\mathscr {U}(w,v)\), we have \(\mathscr {B}(u,v)=\mathscr {U}(H^{-1} u,v)=(K u,v)\), where u = Hw and K = H⁻¹. Thus we are led to an eigenvalue problem for the inverse operator K. But if Hu_r = λ_ru_r, then, by operating with K on both sides, we get Ku_r, with μ_r = 1∕λ_r, which means that the eigenvectors of K are identical with those of H. So we are required to find the eigenvalues of H, we may, if we wish, first find those of K and then take reciprocals.“ [23, S. 41].

,,Ist \( \underline {A}\) eine reguläre Matrix und λ ein Eigenwert von \( \underline {A}\) zum Eigenvektor u, dann ist 1∕λ Eigenwert zum Eigenwert von \( \underline {A}^{-1}\). Ist λ betraglich der größte Eigenwert von \( \underline {A}\), so ist 1∕λ der betraglich kleinste Eigenwert von \( \underline {A}^{-1}\)“ [29, S. 140].

Die Methode ist in Abschn. 10.7.6 beschrieben.

Zwar wird in [36] ein Verfahren zur Bestimmung der optimalen Anzahl K der NN durch Abschätzen des Einbettungsfehlers ε gezeigt und damit indirekt d ermittelt, jedoch ist der erforderliche numerische Aufwand hoch, da diese Abschätzung für jeden lokalen Bereich durchzuführen ist.

Nyström-Formel [5, S. 27], [7, S. 25].

Auch erwähnt in [6, Abschn. 4.4]

Kreuzvalidierung in Abschn. 11.5.2 bzw. Cross-Validierung in Kapitel Glossar im Anhang K.7.

In [36, Kap. 3] wird eine Adaption des Einbettungsraumes für neue Datenpunkte angegeben. Handelt es sich jedoch um Punkte außerhalb des rezeptiven Bereiches, die in das System integriert werden müssen (Erweiterung des rezeptiven Bereiches), muss das Eigensystem auch hier neu durchgerechnet werden, um möglichst genau abbilden zu können.

In [9, Kap. 2] wird z. B. vorgeschlagen, die innere Dimension d durch Anwendung von PCA in den lokalen NN-Bereichen, die durch eine n-dimensionale Kugel mit Radius r bestimmt werden, zu schätzen.

Detailliert beschrieben in [47].

Kovarianzmatrix, siehe Glossar im Anhang K.7.

Bereits in Abschn. 10.4 in Absatz Zusammenhänge und Besonderheiten erwähnt.

In Abschn. 14.4 wird auf diese Kompensation näher eingegangen.

Einerseits ist bei der Vorverarbeitung der Daten sicherzustellen, dass genügend Punkte in den gekrümmten Bereichen vorhanden sind, und andererseits muss dafür gesorgt sein, dass in Bereichen hoher Punktedichte nur solche Punkte ausgewählt werden, die die MF wesentlich repräsentieren, um nur hinreichend viele Trainingsdaten zu verwenden, die Struktur der MF möglichst glatt zu halten und das Rauschen zu eliminieren.

In einem anderen Ansatz wird geprüft, ob sich genügend NN im Bereich einer n-dimensionalen Kugel mit definiertem Radius r befinden. Gemessen wird die Zunahme der Datenpunkte in der Hauptrichtung der Datenwolke innerhalb einer n-dimensionalen Kugel [9].

Dort wird die Nyström-Formel genutzt, um den Eigenvektor für einen untrainierten Datenpunkt zu bestimmen und Lücken zu schließen.

Eine Entfernung von Ausreißerdaten wird für lokales nichtlineares MF-Lernen (local linear smoothing for nonlinear manifold learning) in [68] vorgeschlagen.

Vergleich zum Abtasttheorem (spectral properties of the kernelmatrix) [12, S. 77]. Die Realisierung bzw. Berücksichtigung dazu wird in Abschn. 7.2 behandelt.

Dies wird mit der in Kap. 7 vorgestellten Glättung sichergestellt.

In Matrix M sind die Korrelationswerte der Datenstruktur gespeichert. Bei ONPP in M und bei MVU in G.

,,Formally, two Riemannian manifolds are said to be isometric if there is a diffeomorphism such that the metric on one pulls back to the metric on the other …Note that the local isometry between neighborhoods will exist if and only if the distances and angles between points and their neighbors are preserved.“ [62, Abschn. 3.1].

Die Software der Originalversion von LLE steht als Matlab-Code in [44] zur Verfügung. Sie ist dort in drei Teilen organisiert:

Bestimmung der nächsten Nachbarpunkte (NN-Punkte).

Bestimmung der Rekonstruktionsgewichte (W_ij).

Rekonstruktion im niedrigdimensionalen Raum.

Summe der Hauptdiagonalelemente der Matrix \( \underline { \underline {G}}\).

Die Matrix \( \underline {\eta }_{j}\) muss in der Trainingsphase für jeden Trainingspunkt X_i und in der Arbeitsphase für jeden Arbeitspunkt X_a (Anfragepunkt) bestimmt werden.

Um die lokale Topologie bei der Transformation zu erhalten, werden zwei Strecken und der Winkel zwischen den Strecken oder drei Strecken benötigt. Bei MVU wird wegen des geringeren numerischen Aufwandes die Methode mit drei Strecken gewählt.

Bei der Nutzung des Standardmathematikprogramms Matlab wird der Rechenaufwand reduziert, wenn im Falle von dünn besetzten Matrizen mit dem Supplement sparse gearbeitet wird [50, 41, 24].

Um die Rekonstruktionsgewichte W_aj des Anfragepunktes X_a bestimmen zu können, ist die Bildung der lokalen Gram-Matrix \( \underline {G}\) erforderlich.

Zum Zusammenhang zwischen Singulärwert- und Eigenwertanalyse siehe Anhang K.7.

Siehe dazu Quadratisches Problem im Anhang C.1.

Verwiesen sei auch auf Neighborhood Preserving Projections (NPP). NPP hat die gleiche Zielfunktion wie ONPP, jedoch wird keine Orthonormalität für die Spalten von \( \underline {V}, sondern \underline {Y} \underline {Y}^T\) gefordert. NPP ist eine lineare Variante von LLE [39].

Vergleich der Optimierungen bei LLE, LPP und ONPP:

Optimierung LLE : \(min_{ \underline {Y} \in \mathbb {R}^{Dxd};\underline {Y} \underline {Y}^T = \underline {I}}\) \(tr[ \underline {Y} \cdot\underline {M} \cdot\underline {Y}^{T}]\)

Optimierung NPP : \(min_{ \underline {Y}= \underline {V}^{T} \underline {X},\underline {V} \in R^{Dxd}; \underline {Y} \underline {Y}^T = \underline {I}}\) \( tr[ \underline {Y} \cdot\underline {M} \cdot\underline {Y}^{T}]\)

Optimierung ONPP : \(min_{ \underline {Y}= \underline {V}^T \underline {X},\underline {V} \in R^{Dxd}; \underline {V} \underline {V}^T =\underline {I}}\) \(tr[ \underline {Y} \cdot\underline {M} \cdot\underline {Y}^T]\)

Im Fall LLE wird der Freiheitsgrad bei der Adaption durch \(\sum {\mathbf {y}}_{i}\,=\,0 {}\) weiter eingeschränkt, da nur d+1 Eigenvektoren zur Darstellung im niedrigdimensionalen Raum genutzt werden. Ermöglicht wird dies, weil alle untersten Eigenvektoren gleich sind (Mode 1, Eigenwert = 0 bei d=1) und somit als freie Translation auf die Punkte im Raum wirken. Auf diese Weise werden alle y_i um den Ursprung zentriert. Da die Kostenfunktion Φ(y) die Summe aller Momente darstellt, wird sie davon nicht beeinflusst (Translationsinvarianz).

\(tr[\tilde { \underline {M}}] = \sum evals\) als Lösung des Optimierungsproblems. Innerhalb des tr-Arguments ist das Kommutativgesetz zulässig [42, S. 1]. Deshalb gilt \(tr[ \underline {V}^T \underline {X} \underline {M} \underline {X}^T \underline {V}]\) = \(tr[ \underline {V}^T \underline {V} \underline {X} \underline {M} \underline {X}^T ]\) = \(tr[ \underline {X} \underline {M} \underline {X}^T ]\) mit \( \underline {V}^T \underline {V} =\underline {I}\).

Wie bereits in Abschn. 10.4 erwähnt, sind kleinste Eigenwerte in \( \underline {K}^{-1}\) reziprok zu größten Eigenwerten in \( \underline {K}\). Der numerische Aufwand entscheidet letztendlich darüber, welche Eigenwerte zur Rekonstruktion genutzt werden.

,,The Rayleigh-Ritz method consists of imposing upon the vibrating system certain additional constraints, so that the set of admissible vectors forms a subspace \(\mathscr {L}'\)of the original space \(\mathscr {L}\).“ [23, S. 40].

Siehe dazu Gl. (C.4) im Anhang C.1 und [29, S. 140].

Das Mathematikprogramm Matlab verfügt über spezielle Befehle für dünn besetzte Matrizen und ermöglicht damit eine beschleunigte Berechnung der Eigenwerte (sparse(M), eigs(M)).

In der Literatur wird die Anzahl der erforderlichen Dimensionen anhand der Größe der Eigenwerte entschieden. Dieser Sachverhalt ist in Abschn. 10.7.6 erörtert.

Alt W (2002) Nichtlineare Optimierung: Eine Einführung in Theorie, Verfahren und Anwendungen. vieweg studium Aufbaukurs Mathematik, Vieweg+Teubner Verlag, Wiesbaden, https://doi.org/10.1007/978-3-322-84904-5, URL http://doi.org/10.1007/978-3-322-84904-5

Belkin M, Niyogi P (2002) Laplacian Eigenmaps and Spectral Techniques for Embedding and Clustering. In Neural Information Processing Systems vol. 14:S. 585–591

Belkin M, Niyogi P (2003) Laplacian Eigenmaps for Dimensionality reduction and Data Representation. In Neural Computation vol. 15:S. 1373–1396CrossRef

Bellmann R (1967) Dynamische Programmierung und selbstanpassende Regelprozesse. R. Oldenbourg Verlag, München

Bengio Y, Delalleau O, Le Roux N, Paiement JF, Vincent P, Ouimet M (2004) Learning eigenfunctions links spectral embedding and kernel PCA. Neural Computation 16(10):2197–2219, https://doi.org/10.11/0899766041732396

Bengio Yea (2003) Out-of-Sample Extensions for LLE, ISOMAP, MDS, Eigenmaps and Spectral Clustering. URL (https://papers.nips.cc/paper/2461-out-of-sample-extensions-for-lle-isomap-mds-eigenmaps-and-spectral-clustering.pdf)

Bengio Yea (2004) Spectral Dimensionality Reduction. URL (https://cirano.qc.ca/files/publications/2004s-27.pdf)

Bernstein M, Silva Vd, Langford JC, Tenenbaum B (2000) Graph approximations to geodesics on embedded manifolds ISOMAP. URL (ftp://ftp-sop.inria.fr/prisme/boissonnat/ImageManifolds/isomap.pdf)

Brand M (2002a) A unifying theorem for spectral embedding and clustering. URL (http://www.merl.com)

10.

Brand M (2002b) Charting a manifold. In Neural Information Processing System vol. 15

11.

Brand M (2004) From Subspaces to Submanifolds. URL (http://www.merl.com/reports/docs/TR2004-134.pdf)

12.

Braun ML (2005) Spectral Properties of the Kernel Matrix and their Relation to Methods in Machine Learning. Dissertation, Mathematisch-Naturwissenschaftliche Fakultät der Rheinischen Friedrisch-Wilhelm-Universität Bonn

13.

Burges CJ (2010) Geometric Methods for Feature Extraction and Dimensional Reduction - A Guided Tour. In: Maimon OZ, Rokach L (eds) Data mining and knowledge discovery handbook, Springer, New York, pp 53–82, https://doi.org/10.1007/978-0-387-09823-4_4 CrossRef

14.

Donoho DL, Grimes C (2003) Hessian Eigenmaps: new locally linear embedding techniques for high-dimensional data. (http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.3.673&rep=rep1&type=pdf)

15.

Faloutsos C (1996) Searching Multimedia Databases by Content. Kluwer Academic Publishers, DordrechtCrossRef

16.

Fiedler M (1973) Algebraic connectivity of graphs. In Czechoslovak Mathematics Journal vol. 23:S. 298–305MathSciNetMATH

17.

Fix E, Hodges JL (1989) Discriminatory Analysis. Nonparametric Discrimination: Consistency Properties. International Statistical Review / Revue Internationale de Statistique 57(3):238, https://doi.org/10.2307/1403797 MATH

18.

Fouss Fea (2006) A novel way of computing dissimilarities between nodes of a graph. URL http://www.isys.ucl.ac.be/staff/marco/Publications/Fouss2004d.pdf

19.

Friedman JH, Bentley JL, Finkel RA (1977) An algorithm for finding best matches in logarithmic expected time. In ACM Transactions on Mathematical Software vol. 3:S. 290–226MATH

20.

Fritzke B (1998) Vektorbasierte Neuronale Netze. Shaker Verlag, Aachen

21.

Garcke J (2004) Maschinelles Lernen durch Funktionsrekonstruktion mit verallgenmeinerten dünnen Gittern. Dissertation, Uni Bonn, Bonn

22.

Geiger C, Kanzow C (2002) Theorie und Numerik restringierter Optimierungsaufgaben. Springer Verlag, Berlin and Heidelberg and New YorkCrossRef

23.

Gould SH (1995) Variational Methods for Eigenvalue Problems. DOVER PUBLICATIONS, INC, New York

24.

Gramlich G (2004) Lineare Algebra: Eine Einführung für Ingenieure. Carl Hanser Verlag, München and WienMATH

25.

Gramlich G, Werner W (2000) Numerische Mathematik mit Matlab. dpunkt.verlag GmbH, Heidelberg

26.

Halang, Wolfgang, A; Sartorius, Gerhard; Talbot Steven: Verfahren und Vorrichtung zur Detektion von Kampfstoffen. Bundesrepublik Deutschland Patentanmeldung Az 10 2008 054 345 4, 03.11.2008

27.

Halang, Wolfgang, A; Sartorius, Gerhard; Talbot, Steven: Verfahren und Vorrichtung zur Detektion von Kampfstoffen, Bundesrepublik Deutschland Patent, DE 10 2008 054 345, 01.08, 2013 URL https://patents.google.com/patent/DE102008054345B4/de

28.

Ham J, Lee DD, Mika S, Schölkopf B (2004) A kernel view of the dimensionality reduction of manifolds. In: Brodley C (ed) Proceedings of the 41st annual Design Automation Conference, ACM, New York, NY, p 47, https://doi.org/10.1145/1015330.1015417

29.

Herrmann N (2007) Höhere Mathematik: Für Ingenieure, Physiker und Mathematiker, 2nd edn. Oldenbourg, München, https://doi.org/10.1524/9783486593518, URL http://www.oldenbourg-link.de/isbn/9783486584479 CrossRef

30.

Hildrum K, Kubiatowicz J, Rao S (2003) Another Way to Find the Nearest Neighbor in Growth-Restricted Metrics: Report No, UCB/CSD-03-1267´Computer Science Division (EECS). PhD thesis, University of California, Berkeley, California 94720, URL http://oceanstore.cs.berkeley.edu/publications/papers/pdf/nn-tr.pdf

31.

Howley T (2004) A Review of the State of the Art in Machine Learning for Spectral Analysis. URL (http://corrib.it.nuigalway.ie/ResearchDay2004/infotech/HowleyTom.pdf)

32.

Jarre F, Stoer J (2004) Optimierung. Springer-Lehrbuch, Springer, Berlin and Heidelberg, https://doi.org/10.1007/978-3-642-18785-8, URL http://doi.org/10.1007/978-3-642-18785-8

33.

Karger DR, Ruhl M (2002) Finding nearest neighbors in growth-restricted metrics. In: Reif J (ed) Proceedings of the thiry-fourth annual ACM symposium on Theory of computing, ACM, New York, NY, p 741, https://doi.org/10.1145/509907.510013

34.

Kayo O (2006) Locally Linear Embedding Algorithm, Extensions and applications. Dissertation, Acta Univ. Oul. C 237, faculty of technology, Oulu

35.

Kokiopoulu E, Saad Y (2005) Orthogonal Neighborhood Preserving Projections. URL (https://infoscience.epfl.ch/record/87294/files/Kokiopoulou2005_1351.pdf?version=1)

36.

Kouropteva Oea (2002) Beyond Locally Linear Embedding Algorithm. Technical Report MVG-01-2002, University of Oulu Finland, Oulu

37.

Lee, John Aldo and Lendasse, Amaury and Verleysen, Michel (2002) Curvilinear Distance Analysis versus ISOMAP. In: Verleysen M (ed) Proceedings / 10th European Symposium on Artificial Neural Networks, ESANN’2002, d-side, Evere, pp 185–192

38.

Lin T, Zha H, Lee SU (2006) Riemannian Manifold Learning for Nonlinear Dimensionality Reduction. In: Leonardis A, Bischof H, Pinz A (eds) Computer vision – ECCV 2006, Lecture Notes in Computer Science, vol 3951, Springer, Berlin, pp 44–55, https://doi.org/10.1007/11744023_4

39.

Pang Yea (2005) Neighborhood Preserving Projections (NPP): A Novel Linear Dimension Reduction Method. In: De-Shuang Huang (ed) Advances in Intelligent Computing : International Conference on Intelligent Computing, pp 117–126

40.

Reinhardt F, Soeder H (1998) dtv-Atlas Mathematik 2, 10th edn. Deutscher Taschenbuch Verlag GmbH & Co. KG, München

41.

Rorres C, Anton H (2000) Elementary Linear Algebra, 8th edn. John Wiley& Sons, Inc, New York, Chichester, Weinheim, Brisbane, Singapore, TorontoMATH

42.

Roweis ST (1999) Matrix identities. URL (https://cs.nyu.edu/~roweis/notes/matrixid.pdf)

43.

Roweis ST (2003) Nonlinear Blind Sensor Fusion and Identifikation. URL (https://cs.nyu.edu/~roweis/papers/sensor.pdf)

44.

Roweis ST (2005) Basissoftware für LLE, Originalversion. URL (https://cs.nyu.edu/~roweis/lle/)

45.

Roweis ST, Saul L (2000) Nonlinear dimensionality Reduction by locally linear embedding. In SCIENCE vol. 290:S.2323–S.2326

46.

Sartorius G (2009) Multivariate Adaption mit modularisierten künstlichen neuronalen Netzen: Zugl.: Hagen, Fernuniv., Fachbereich Elektrotechnik, Diss., 2009, Fortschritt-Berichte VDI Reihe 10, Informatik/Kommunikation, vol 799, als ms. gedr edn. VDI-Verl., Düsseldorf

47.

Saul LK, Roweis ST (2003) Think Globally, Fit Locally: Unsupervised Learning of Low Dimensional Manifolds. In Journal of Machine Learning Research vol. 4:S. 119–S. 155

48.

Saul LK, Weinberger KQ, Fei S, Jihun H, Lee DD (2005) Spectral Methods for Dimensionality Reduction. URL (https://cseweb.ucsd.edu/~saul/papers/smdr_ssl05.pdf)

49.

Scheibl HJ (1990) Numerische Methoden für den Ingenieur: Praktische Anwendungen auf dem PC, Edition expertsoft, vol 1. expert-Verl., Ehningen bei Böblingen

50.

Schlagner S, Strehlau U (2004) Fourier-Analyse versus Wavelet-Analyse: Ein Vergleich von Fourier- und Wavelet-Transformation bei der Signalanalyse von stationären und instationären Zeitfunktionen: Zugl.: Berlin, Techn. Univ., Diplomarbeit, 2004. Shaker, Aachen

51.

Schölkopf B (1997) Support Vector Learning. Dissertation, Fachbereich Informatik der Universität BerlinMATH

52.

Schölkopf B, Burges, Christopher, J C, Smola AJ (1999) Advances in Kernel Methods. The MIT Press, Cambridge, Massachusetts, London, England

53.

Schönberg J (1938) Metric spaces and positive definite functions. In TAMS vol. 44:S. 522–S.536

54.

Shawe-Taylor J, Christiani N (2004) Kernel Methods for Pattern Analysis. Cambridge University Press, CambridgeCrossRef

55.

Suykens JAK, van Gestel T, de Brabanter J, de Moor B, Vanderwalle J (2002) Least Squares Support Vector Machines. World Scientific Publishing Co. Pte. Ltd, New Jersey and London and Singapore and Hong KongCrossRef

56.

Tenenbaum JBa (2000) A global Geometric Framework for Nonlinear Dimensionality Reduction. In SCIENCE vol. 290:S.2319–S.2323

57.

Tsai, F S, Wu Y, Chan KL (2004) Nonlinear Dimensionality Reduction Techniques and their Applications. In EEE Research Bulletin pp S. 52–53

58.

Vandenbergh L, Boyd SP (1996) Semidefinite programming. In SIAM Review 38 vol. 9:S. 49–95MathSciNetCrossRef

59.

Verbeek JJ, Vlassis N (2005) Semi-Supervised Learning with Gaussian Fields. URL http://mlg.eng.cam.ac.uk/zoubin/papers/zgl.pdf

60.

Weidmann J (1976) Lineare Operatoren in Hilberträumen, 1st edn. Teubner, StuttgartMATH

61.

Weinberger KQ, Saul LK (2006) Unsupervised Learning of Image Manifolds by Semidefinite Programming. International Journal of Computer Vision 70(1):77–90, https://doi.org/10.1007/s11263-005-4939-z CrossRef

62.

Weinberger KQ, Sha F, Saul LK (2004) Learning a kernel matrix for nonlinear dimensionality reduction. In: Brodley C (ed) Proceedings of the 41st annual Design Automation Conference, ACM, New York, NY, p 106, https://doi.org/10.1145/1015330.1015345

63.

Weinberger, Kilian Q and Packer, Benjamin D and Saul Lawrence K (2006) Nonlinear Dimensionality Reduction by Semidefinite Programming and Kernel Matrix Factorization. In: Robert G Cowell and Zoubin Ghahramani (ed) Proceedings of the Tenth International Workshop on Artificial Intelligence and Statistics, Society for Artificial Intelligence and Statistics

64.

Weinberger, Kilian Q and Saul, Lawrence K (2006) An introduction to nonlinear dimensionality reduction by maximum variance unfolding. In: Cohn Anthony (ed) Proceedings / The Twenty-First National Conference on Artificial Intelligence (AAAI-06), Eighteenth Innovative Applications Artificial Intelligence (IAAI-06), AAAI Press, Menlo Park, Calif.

65.

Xiao L, Sun J, Boyd S (2006) A duality view of spectral methods for dimensionality reduction. In: Cohen WW, Moore A (eds) Proceedings / Twenty-Third International Conference on Machine Learning, ACM, New York, NY, pp 1041–1048, https://doi.org/10.1145/1143844.1143975

66.

Zhang C, Wang J, Zhao N, Zhang D (2004) Reconstruction and analysis of multi-pose face images based on nonlinear dimensionality reduction. Pattern Recognition, The journal of the pattern recognition society vol. 37:S.325–336CrossRef

67.

Zhang Z, Zha H (2002a) Local Linear Smoothing for Nonlinear Manifold Learning. URL (zha@cse.psu.edu.)

68.

Zhang Z, Zha H (2002b) Principal Manifolds and Nonlinear Dimension Reduction via Local Tangent Space Alignment. SIAM Journal of Scientific Computing (26):313–338CrossRef

Titel: Nächste-Nachbarn-Verfahren und Dimensionsreduktion
verfasst von: Gerhard Sartorius
Verlag: Springer Fachmedien Wiesbaden
Buch: Erfassen, Verarbeiten und Zuordnen multivariater Messgrößen
Print ISBN: 978-3-658-23575-8

Electronic ISBN: 978-3-658-23576-5

Copyright-Jahr: 2019
DOI: https://doi.org/10.1007/978-3-658-23576-5_10

Neuer Inhalt

Bildnachweise

VDI-Icon, Profil Icon, inhalt2, Springer Professional Modul/© Springer Fachmedien Wiesbaden GmbH, Nachhaltigkeitsaward Key Visual/© Cometis AG/Global ESG Monitor | Daniel Rupp | Generiert mit KI, Search Icon, Banner Hanser, Arbeitszeit/© granata68 / Fotolia, E-Autos im Fuhrpark: Lohnt sich das noch?/© Petair / stock.adobe.com, Kryptowährungen/© gopixa / Getty Images / iStock, Zeitschrift Wissensmanagement Cover, PatentFit-Logo/© Springer Fachmedien Wiesbaden GmbH, Sustainibility Finance/© Robert Kneschke / stock.adobe.com / Springer Fachmedien Wiesbaden GmbH, Zukunftswerkstatt Sales Excellence 2024/© AndreyPopov / Getty Images / iStock, 2023_Antrieb/© supervisuell

Springer Professional

Zusammenfassung

Bitte loggen Sie sich ein, um Zugang zu Ihrer Lizenz zu erhalten.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Springer Professional "Technik"

Neuer Inhalt

Bitte loggen Sie sich ein, um Zugang zu Ihrer Lizenz zu erhalten.

Bitte loggen Sie sich ein, um Zugang zu Ihrer Lizenz zu erhalten.