Controlled Uncertainty

Summary

Usually it is required for a multiple test procedure that the multiple level α is controlled, i.e. the probability of one or more false significances is at most α. Since this requirement is often very restrictive, Victor (1982) has proposed that one should allow (for z> 1 given) up to (z−1) false significances and only ensure that the probability of z or more false significances is at most α.

By means of Rüger’s (1978) inequality one can easily find a general multiple test procedure satisfying this condition; moreover, it is possible to sequentialize it, in analogy to Holm’s (1979) procedure. Furthermore, “two-stage” multiple test procedures are investigated. These procedures consist of the combination of two well-matched multiple test procedures, for which it is to be ensured that the probability of obtaining one or more false rejections by the first procedure or z or more false rejections by the second one, is at most α. It is possible to find a corresponding generalisation to “multistage” procedures.

More details of some proofs can be found in Hoffmann (1987).

Zusammenfassung

An eine multiple Testprozedur wird blicherweise die Forderung gestellt, daß sie das multiple Niveau α kontrolliert, d.h. die Wahrscheinlichkeit für eine oder mehr falsche Signifikanzen soll höchstens a betragen. Da diese Forderung oft sehr restriktiv ist, schlug Victor (1982) vor, man solle (bei gegebenem z> 1) bis zu (z−1) falsche Signifikanzen tolerieren und nur sichern, daß die Wahrscheinlichkeit für z oder mehr falsche Signifikanzen höchstens α beträgt.

Mittels der Ungleichung von Rüger (1978) läßt sich leicht eine allgemeine multiple Testprozedur finden, die diese Bedingung erfüllt; weiterhin ist eine Sequentialisierung dieser Prozedur, analog zur Prozedur von Holm (1979), möglich.

Schließlich werden “zweistufige” multiple Testprozeduren untersucht. Diese entstehen aus der Kombination zweier zueinander passender multipler Testprozeduren, wobei gesichert werden soll, daß die Wahrscheinlichkeit, bei der ersten dieser Prozeduren eine oder mehr falsche Ablehnungen oder bei der zweiten Prozedur z oder mehr falsche Ablehnungen zu erhalten, kleiner oder gleich α ist. Eine entsprechende Verallgemeinerung auf “mehrstufige” Prozeduren ist möglich.

Genauere Ausführungen zu einigen Beweisen finden sich bei Hoffmann (1987).