Skip to main content
Fachgebiete
Automobil + Motoren Bauwesen + Immobilien Business IT + Informatik Elektrotechnik + Elektronik Energie + Nachhaltigkeit Finance + Banking Management + Führung Marketing + Vertrieb Maschinenbau + Werkstoffe Versicherung + Risiko
DE
EN
Bücher
Zeitschriften
Themenseiten
Organisationspsychologie Projektmanagement Marketing Smart Manufacturing
Weitere Formate
Podcasts Webinare Technik Webinare Wirtschaft Kongresse Veranstaltungskalender Awards
Jetzt Einzelzugang starten
Zugang für Unternehmen
Referenzkunden
SLX-Digitalkonferenz: Zukunftswerkstatt 2024

Mehr Umsatz mit Top-Kontakten

Am 7. Mai erfahren Sie, wie Vertriebsteams Leadgenerierung, Leadnurturing und Leadstrategien effizient steuern können.
Erweiterte Suche
Anmelden
nach oben
Erschienen in:
SoRTESum: A Social Context Framework for Single-Document Summarization Kapitel lesen Erstes Kapitel lesen

2016 | OriginalPaper | Buchkapitel

Adaptive Effort for Search Evaluation Metrics

verfasst von : Jiepu Jiang, James Allan

Erschienen in: Advances in Information Retrieval

Verlag: Springer International Publishing

Einloggen

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

We explain a wide range of search evaluation metrics as the ratio of users’ gain to effort for interacting with a ranked list of results. According to this explanation, many existing metrics measure users’ effort as linear to the (expected) number of examined results. This implicitly assumes that users spend the same effort to examine different results. We adapt current metrics to account for different effort on relevant and non-relevant documents. Results show that such adaptive effort metrics better correlate with and predict user perceptions on search quality.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Jetzt informieren
Vorheriges Kapitel Modeling User Interests for Zero-Query Ranking
Nächstes Kapitel Evaluating Memory Efficiency and Robustness of Word Embeddings
Fußnoten
1
The dataset and source code for replicating our experiments can be accessed at https://​github.​com/​jiepujiang/​ir_​metrics/​.
 
Literatur
1.
Carterette, B.: System effectiveness, user models, and user utility: a conceptual framework for investigation. In: SIGIR 2011, pp. 903–912 (2011)
2.
Chapelle, O., Metlzer, D., Zhang, Y., Grinspan, P.: Expected reciprocal rank for graded relevance. In: CIKM 2009, pp. 621–630 (2009)
3.
Cooper, W.S.: Expected search length: a single measure of retrieval effectiveness based on the weak ordering action of retrieval systems. Am. Documentation 19(1), 30–41 (1968)CrossRef
4.
De Vries, A.P., Kazai, G., Lalmas, M.: Tolerance to irrelevance: a user-effort oriented evaluation of retrieval systems without predefined retrieval unit. RIAO 2004, 463–473 (2004)
5.
Dunlop, M.D.: Time, relevance and interaction modelling for information retrieval. In: SIGIR 1997, pp. 206–213 (1997)
6.
Järvelin, K., Kekäläinen, J.: Cumulated gain-based evaluation of IR techniques. ACM Trans. Inf. Syst. 20(4), 422–446 (2002)CrossRef
7.
Järvelin, K., Price, S.L., Delcambre, L.M.L., Nielsen, M.L.: Discounted cumulated gain based evaluation of multiple-query IR sessions. In: Macdonald, C., Ounis, I., Plachouras, V., Ruthven, I., White, R.W. (eds.) ECIR 2008. LNCS, vol. 4956, pp. 4–15. Springer, Heidelberg (2008)CrossRef
8.
Jiang, J., Hassan Awadallah, A., Shi, X., White, R.W.: Understanding and predicting graded search satisfaction. In: WSDM 2015. pp. 57–66 (2015)
9.
Jiang, J., He, D., Allan, J.: Searching, browsing, and clicking in a search session: Changes in user behavior by task and over time. In: SIGIR 2014, pp. 607–616 (2014)
10.
Kanoulas, E., Carterette, B., Clough, P.D., Sanderson, M.: Evaluating multi-query sessions. In: SIGIR 2011, pp. 1053–1062 (2011)
11.
Kazai, G., Lalmas, M.: Extended cumulated gain measures for the evaluation of content-oriented xml retrieval. ACM Trans. Inf. Syst. 24(4), 503–542 (2006)CrossRef
12.
Kelly, D., Belkin, N.J.: Display time as implicit feedback: Understanding task effects. In: SIGIR 2004, pp. 377–384 (2004)
13.
Moffat, A., Zobel, J.: Rank-biased precision for measurement of retrieval effectiveness. ACM Trans. Inf. Syst. 27(1), 2:1–2:27 (2008)CrossRef
14.
Robertson, S.E.: A new interpretation of average precision. In: SIGIR 2008, pp. 689–690 (2008)
15.
Robertson, S.E., Kanoulas, E., Yilmaz, E.: Extending average precision to graded relevance judgments. In: SIGIR 2010, pp. 603–610 (2010)
16.
Sakai, T., Dou, Z.: Summaries, ranked retrieval and sessions: a unified framework for information access evaluation. In: SIGIR 2013, pp. 473–482, (2013)
17.
Smucker, M.D., Clarke, C.L.: Time-based calibration of effectiveness measures. In: SIGIR 2012, pp. 95–104(2012)
18.
Smucker, M.D., Jethani, C.P.: Human performance and retrieval precision revisited. In: SIGIR 2010, pp. 595–602 (2010)
19.
Villa, R., Halvey, M.: Is relevance hard work?: Evaluating the effort of making relevant assessments. In: SIGIR 2013, pp. 765–768 (2013)
20.
Yilmaz, E., Shokouhi, M., Craswell, N., Robertson, S.E.: Expected browsing utility for web search evaluation. In: CIKM 2010, pp. 1561–1564 (2010)
21.
Yilmaz, E., Verma, M., Craswell, N., Radlinski, F., Bailey, P.: Relevance and effort: an analysis of document utility. In: CIKM 2014, pp. 91–100 (2014)
Metadaten
Titel
Adaptive Effort for Search Evaluation Metrics
verfasst von
Jiepu Jiang
James Allan
Copyright-Jahr
2016
Verlag
Springer International Publishing
Buch
Advances in Information Retrieval

Print ISBN: 978-3-319-30670-4

Electronic ISBN: 978-3-319-30671-1

Copyright-Jahr: 2016

DOI
https://doi.org/10.1007/978-3-319-30671-1_14

Neuer Inhalt

    Bildnachweise