Die „Multilevel Theory“ weist darauf hin, dass die Aggregation von Individualdaten auf Gruppenebene zur Erhebung eines Gruppenkonstruktes wie Kohäsion oder Normen nur dann gerechtfertigt ist, wenn eine hohe Übereinstimmung
in den Ratings der Gruppenmitglieder besteht. Zur Schätzung der Übereinstimmung von Ratingdaten in Gruppen wurde bisher meist der rwg Koeffizient angewandt, der jedoch mit erheblichen methodischen Problemen behaftet ist. Als Alternative entwickelten wir den ad Koeffizienten, dessen
Herleitung auf der Grundlage des Objektivitätskonzepts der klassischen Testtheorie detailliert beschrieben wird. Für den Signifikanztest wurde die Binomialverteilung als Modell für die zufällige Verteilung der Ratings um den wahren Wert des Konstruktes in einer Gruppe herangezogen. Durch diese
Spezifikation der Nullhypothese auf die zufällige Verteilung der Ratings um den geschätzten wahren Wert in einer Gruppe, konnte das in der Literatur diskutierte Problem vermieden werden, dass signifikante Übereinstimmungswerte nicht notwendigerweise auf eine substanzielle Übereinstimmung hinweisen. Ein Vergleich des ad Koeffizienten mit den Koeffizienten aus der rwg Familie zeigt, dass die mit dem neuen Koeffizienten erzielten Werte am sinnvollsten im Hinblick auf das Ausmaß der Übereinstimmung der Ratings in einer Gruppe zu interpretieren sind.