Skip to main content

2017 | OriginalPaper | Buchkapitel

Talk to Your Neighbour: A Belief Propagation Approach to Data Fusion

verfasst von : Eleonora Laurenza

Erschienen in: Soft Methods for Data Science

Verlag: Springer International Publishing

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

Data fusion is a major task in data management. Frequently, different sources store data about the same real-world entities, however with conflicts in the values of their features. Data fusion aims at solving those conflicts in order to obtain a unique global view over those sources. Some solutions to the problem have been proposed in the database literature, yet they have a number of limitations for real cases: for example they leave too many alternatives to users or produce biased results. This paper proposes a novel algorithm for data fusion actually addressing conflict resolution in databases and overcoming some existing limitations.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Fußnoten
1
Notice that for a given \(i\), different candidates for a variable can also derive from the same sensor, in case of duplicate measures.
 
Literatur
1.
Zurück zum Zitat Bernstein PA (2003) Applying model management to classical meta data problems. CIDR 2003:209–220 Bernstein PA (2003) Applying model management to classical meta data problems. CIDR 2003:209–220
2.
Zurück zum Zitat Bilke A, Bleiholder J, Böhm C, Draba K, Naumann F, Weis M (2005) Automatic data fusion with hummer. Proc VLDB Bilke A, Bleiholder J, Böhm C, Draba K, Naumann F, Weis M (2005) Automatic data fusion with hummer. Proc VLDB
3.
Zurück zum Zitat Bleiholder J, Naumann F (2008) Data fusion. ACM Comput Surv (CSUR) Bleiholder J, Naumann F (2008) Data fusion. ACM Comput Surv (CSUR)
4.
Zurück zum Zitat Budd EC (1971) The creation of a microdata file for estimating the size distribution of income. Rev Income Wealth 17(4):317–333CrossRef Budd EC (1971) The creation of a microdata file for estimating the size distribution of income. Rev Income Wealth 17(4):317–333CrossRef
5.
Zurück zum Zitat Christen P (2012) Data matching: concepts and techniques for record linkage, entity resolution, and duplicate detection. Springer Christen P (2012) Data matching: concepts and techniques for record linkage, entity resolution, and duplicate detection. Springer
6.
Zurück zum Zitat Fujii T, van der Weide R (2011) Two-sample cross-tabulation Fujii T, van der Weide R (2011) Two-sample cross-tabulation
7.
Zurück zum Zitat Galindo-Legaria C (1994) Outerjoins as disjunctions. In: SIGMOD conference Galindo-Legaria C (1994) Outerjoins as disjunctions. In: SIGMOD conference
8.
Zurück zum Zitat Gilula Z, McCulloch RE, Rossi PE (2006) A direct approach to data fusion. J Mark Res 43(1):73–83CrossRef Gilula Z, McCulloch RE, Rossi PE (2006) A direct approach to data fusion. J Mark Res 43(1):73–83CrossRef
9.
Zurück zum Zitat Halevy AY (2001) Answering queries using views: a survey. VLDB J (4) Halevy AY (2001) Answering queries using views: a survey. VLDB J (4)
10.
Zurück zum Zitat Hall DL (2004) Mathematical techniques in multisensor data fusion Hall DL (2004) Mathematical techniques in multisensor data fusion
11.
Zurück zum Zitat Kamakura WA, Wedel M (1997) Statistical data fusion for cross-tabulation. J Mark Res 485–498 Kamakura WA, Wedel M (1997) Statistical data fusion for cross-tabulation. J Mark Res 485–498
12.
Zurück zum Zitat Koller D, Friedman N (2009) Probabilistic graphical models. The MIT Press Koller D, Friedman N (2009) Probabilistic graphical models. The MIT Press
13.
Zurück zum Zitat Pearl J, Russel S (2011) Bayesian networks Pearl J, Russel S (2011) Bayesian networks
14.
Zurück zum Zitat Raghavan S, Garcia-Molina H (2001) Integrating diverse information management systems: a brief survey. IEEE Data Eng Bull 24(4):44–52 Raghavan S, Garcia-Molina H (2001) Integrating diverse information management systems: a brief survey. IEEE Data Eng Bull 24(4):44–52
15.
Zurück zum Zitat Rahm E, Do HH (2000) Data cleaning: problems and current approaches. IEEE Data Eng Bull 23(4):3–13 Rahm E, Do HH (2000) Data cleaning: problems and current approaches. IEEE Data Eng Bull 23(4):3–13
16.
Zurück zum Zitat Rässler S (2012) Statistical matching: a frequentist theory, practical applications, and alternative Bayesian approaches, vol 168. Springer Rässler S (2012) Statistical matching: a frequentist theory, practical applications, and alternative Bayesian approaches, vol 168. Springer
17.
Zurück zum Zitat Rubin DB (1986) Statistical matching using file concatenation with adjusted weights and multiple imputations. J Bus Econ Stat 4(1):87–94MathSciNet Rubin DB (1986) Statistical matching using file concatenation with adjusted weights and multiple imputations. J Bus Econ Stat 4(1):87–94MathSciNet
18.
Zurück zum Zitat Ullman JD (1997) Information integration using logical views. In Database theory ICDT’97. Springer, pp 19–40 Ullman JD (1997) Information integration using logical views. In Database theory ICDT’97. Springer, pp 19–40
19.
Zurück zum Zitat Van der Puttan P, Kok JN, Gupta A (2002) Data fusion through statistical matching. Alfred P. Sloan School of Management, Massachusetts Institute of Technology Van der Puttan P, Kok JN, Gupta A (2002) Data fusion through statistical matching. Alfred P. Sloan School of Management, Massachusetts Institute of Technology
20.
Zurück zum Zitat Vantaggi B (2008) Statistical matching of multiple sources: a look through coherence. Int J Approximate Reasoning 49(3):701–711MathSciNetCrossRefMATH Vantaggi B (2008) Statistical matching of multiple sources: a look through coherence. Int J Approximate Reasoning 49(3):701–711MathSciNetCrossRefMATH
21.
Zurück zum Zitat Yan L, Tamer M (1999) Conflict tolerant queries in aurora. In: CoopIS. IEEE Computer Society, pp 279–290 Yan L, Tamer M (1999) Conflict tolerant queries in aurora. In: CoopIS. IEEE Computer Society, pp 279–290
Metadaten
Titel
Talk to Your Neighbour: A Belief Propagation Approach to Data Fusion
verfasst von
Eleonora Laurenza
Copyright-Jahr
2017
DOI
https://doi.org/10.1007/978-3-319-42972-4_38

Premium Partner