Scientific fraud in 20 falsified anesthesia papers

Abstract

Data from natural sources show counter-intuitive distribution patterns for the leading digits to the left of the decimal point and the digit 1 is observed more frequently than all other numbers. This pattern, which was first described by Newcomb and later confirmed by Benford, is used in financial and tax auditing to detect fraud. Deviations from the pattern indicate possible falsifications. Anesthesiology journals are affected not only by ghostwriting and plagiarism but also by counterfeiting. In the present study 20 publications in anesthesiology known to be falsified by an author were investigated for irregularities with respect to Benford’s law using the χ²-test and the Z-test. In the 20 retracted publications an average first-digit frequency of 243.1 (standard deviation SD ±118.2, range: 30–592) and an average second-digit frequency of 132.3 (SD ±72.2, range: 15–383) were found. The observed distribution of the first and second digits to the left of the decimal point differed significantly (p< 0.01) from the expected distribution described by Benford. Only the observed absolute frequencies for digits 3, 4 and 5 did not differ significantly from the expected values. In an analysis of each paper 17 out of 20 studies differed significantly from the expected value for the first digit and 18 out of 20 studies varied significantly from the expected value of the second digit. Only one paper did not vary significantly from expected values for the digits to the left of the decimal. For comparison, a meta-analysis using complex mathematical procedures was chosen as a control. The analysis showed a first-digit distribution consistent with the Benford distribution. Thus, the method used in the present study seems to be sensitive for detecting fraud. Additional statements of specificity cannot yet be made as this requires further analysis of data that is definitely not falsified. Future studies exploring conformity might help prevent falsified studies from being published.

Zusammenfassung

In natürlichen Datensätzen weisen die Anfangsziffern links des Dezimalzeichens ein kontraintuitives Verteilungsmuster auf; die Ziffer 1 taucht deutlich häufiger auf als alle anderen. Erstbeschreiber dieser Gesetzmäßigkeit war Newcomb; bestätigt wurde sie später von Benford. Im Financial Auditing wird sie zur Aufdeckung von Betrug verwendet, denn Abweichungen von dem Verteilungsmuster weisen auf mögliche Fälschungen hin. Anästhesiezeitschriften sind nicht nur von Ghostwriting und Plagiaten, sondern auch von Manuskripten mit gefälschten Datensätzen betroffen. In der vorgestellten Untersuchung wurden 20 als gefälscht bekannte Publikationen mit dem χ²- und dem Z-Test im Hinblick auf das Benford-Gesetz untersucht. In diesen Veröffentlichungen wurden die durchschnittlichen Anfangszifferhäufigkeiten mit 243,1 [Standardabweichung (SD) 118,2, „range“ 30–592] für die erste und 132,3 (SD 72,2, Range 15–383) für die zweite Ziffer ermittelt. Die beobachteten Häufigkeiten der ersten und zweiten Ziffern links des Dezimalzeichens wich signifikant (p < 0,01) von der nach Benford erwarteten ab. Lediglich die beobachteten absoluten Häufigkeiten der Ziffern 3, 4 und 5 unterschieden sich nicht signifikant von den erwarteten Werten. Nach der Einzelanalyse jeder Publikation wich in 17 von 20 Studien die beobachtete Häufigkeit der ersten Ziffer signifikant von der erwarteten ab; in 18 von 20 traf dies auf die Häufigkeit der zweiten Ziffer zu. Nur in einer Veröffentlichung zeigten sich keine signifikanten Unterschiede zwischen beobachteten und erwarteten Werten für die Ziffern links des Dezimalzeichens. Die Anfangsziffernverteilung in einer zu Kontrollzwecken herangezogenen Metaanalyse mit komplexen mathematischen Verfahren entsprach der Benford-Verteilung. Damit scheint die Methode, die in der hier vorgestellten Untersuchung verwendet wurde, sensitiv für die Aufdeckung von Datenbetrug zu sein. Weitergehende Aussagen zur Spezifität sind noch nicht möglich; dazu sind mehr definitiv nichtgefälschte Datensätzen zu untersuchen. Künftige Konformitätsstudien können möglicherweise dazu beitragen, dass gefälschte Studien nicht veröffentlicht werden.