Skip to main content
Top

2016 | OriginalPaper | Chapter

On the Evaluation of Tweet Timeline Generation Task

Authors : Walid Magdy, Tamer Elsayed, Maram Hasanain

Published in: Advances in Information Retrieval

Publisher: Springer International Publishing

Activate our intelligent search to find suitable subject content or patents.

search-config
loading …

Abstract

Tweet Timeline Generation (TTG) task aims to generate a timeline of relevant but novel tweets that summarizes the development of a given topic. A typical TTG system first retrieves tweets then detects novel tweets among them to form a timeline. In this paper, we examine the dependency of TTG on retrieval quality, and its effect on having biased evaluation. Our study showed a considerable dependency, however, ranking systems is not highly affected if a common retrieval run is used.

Dont have a licence yet? Then find out more about our products and how to get one now:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Footnotes
1
1 for a relevant tweet and 2 for a highly-relevant tweet.
 
Literature
1.
go back to reference Buckley, C., Voorhees, E.M.: Evaluating evaluation measure stability. In: SIGIR (2000) Buckley, C., Voorhees, E.M.: Evaluating evaluation measure stability. In: SIGIR (2000)
2.
go back to reference Fan, F., Qiang, R., Lv, C., Xin Zhao, W., Yang, J.: Tweet timeline generation via graph-based dynamic greedy clustering. In: AIRS (2015) Fan, F., Qiang, R., Lv, C., Xin Zhao, W., Yang, J.: Tweet timeline generation via graph-based dynamic greedy clustering. In: AIRS (2015)
3.
go back to reference Hasanain, M., Elsayed, T.: QU at TREC-2014: Online clustering with temporal and topical expansion for tweet timeline generation. In: TREC (2014) Hasanain, M., Elsayed, T.: QU at TREC-2014: Online clustering with temporal and topical expansion for tweet timeline generation. In: TREC (2014)
4.
go back to reference Hasanain, M., Elsayed, T., Magdy, W.: Improving tweet timeline generation by predicting optimal retrieval depth. In: AIRS (2015) Hasanain, M., Elsayed, T., Magdy, W.: Improving tweet timeline generation by predicting optimal retrieval depth. In: AIRS (2015)
5.
go back to reference Lin, J., Efron, M., Wang, Y., Sherman, G.: Overview of the TREC-2014 microblog track. In: TREC (2014) Lin, J., Efron, M., Wang, Y., Sherman, G.: Overview of the TREC-2014 microblog track. In: TREC (2014)
6.
go back to reference Magdy, W., Gao, W., Elganainy, T., Wei, Z.: QCRI at TREC 2014: Applying the KISS principle for the TTG task in the microblog track. In: TREC (2014) Magdy, W., Gao, W., Elganainy, T., Wei, Z.: QCRI at TREC 2014: Applying the KISS principle for the TTG task in the microblog track. In: TREC (2014)
7.
go back to reference Sanderson, M., Soboroff, I.: Problems with Kendall’s tau. In: SIGIR (2007) Sanderson, M., Soboroff, I.: Problems with Kendall’s tau. In: SIGIR (2007)
8.
go back to reference Voorhees, E.M.: Evaluation by highly relevant documents. In: SIGIR (2001) Voorhees, E.M.: Evaluation by highly relevant documents. In: SIGIR (2001)
9.
go back to reference Xu, T., McNamee, P., Oard, D.W.: HLTCOE at TREC 2014: Microblog and clinical decision support. In: TREC (2014) Xu, T., McNamee, P., Oard, D.W.: HLTCOE at TREC 2014: Microblog and clinical decision support. In: TREC (2014)
10.
go back to reference Yilmaz, E., Aslam, J.A., Robertson, S.: A new rank correlation coefficient for information retrieval. In: SIGIR (2008) Yilmaz, E., Aslam, J.A., Robertson, S.: A new rank correlation coefficient for information retrieval. In: SIGIR (2008)
Metadata
Title
On the Evaluation of Tweet Timeline Generation Task
Authors
Walid Magdy
Tamer Elsayed
Maram Hasanain
Copyright Year
2016
Publisher
Springer International Publishing
DOI
https://doi.org/10.1007/978-3-319-30671-1_48