Stell dir vor, du musst die Qualität komplexer Arbeit bewerten, zum Beispiel die von Forschungsprojekten, Softwareentwicklung oder kreativen Dienstleistungen. Wie misst du das? Oft greifen Controller zu Hilfskonstruktionen: messbare Kennzahlen, die Qualität indirekt abbilden sollen. Doch genau hier lauert eine Gefahr, die jedes Controllingsystem untergraben kann. Ein aktuelles Beispiel aus der Wissenschaft zeigt das Problem deutlich.
Der Versuch, Qualität zu automatisieren
Forscher entwickelten ein Machine-Learning-Modell, das vorhersagen sollte, ob wissenschaftliche Studien belastbar und damit auch replizierbar sind. Die Idee dahinter ist aus Controlling-Sicht bestechend: Ein teurer, langsamer und subjektiver manueller Prozess mittels Prüfung durch Experten soll durch einen schnellen, skalierbaren und scheinbar objektiven Algorithmus ersetzt werden. Das Ziel: eine effizientere Allokation von Ressourcen, indem man nur vielversprechende Studien danach genauer prüft.
Der Algorithmus prüft jedoch nicht die wissenschaftliche Methode selbst. Stattdessen analysiert er oberflächliche Merkmale wie die Wortwahl und den Stil des Textes. Aus diesen Mustern leitet er eine Wahrscheinlichkeit für die Replizierbarkeit ab. Das ist, als würde man die Qualität eines Produkts nur an seiner Verpackung messen.
Goodharts Gesetz in Aktion
An diesem Punkt greift eine Regel: das Goodhart'sche Gesetz. Es besagt: »Wenn eine Kennzahl zu einem Ziel wird, hört sie auf, eine gute Kennzahl zu sein.« Sobald die Forscher wissen, dass ein Algorithmus ihre Texte anhand bestimmter Stilmerkmale bewertet, werden sie genau diese Merkmale optimieren, um eine gute Bewertung zu erhalten. Die eigentliche Qualität der Forschung rückt in den Hintergrund. Die Kennzahl wird bespielt.
Dieses Prinzip ist im Unternehmensalltag allgegenwärtig. Bewertet man einen Vertriebler nur nach der Anzahl geführter Telefonate, wird er viele kurze, irrelevante Anrufe tätigen. Misst man Softwareentwickler nur an der Anzahl geschriebener Codezeilen, produzieren sie aufgeblähten, ineffizienten Code. Im Wissenschafts-Beispiel führt es dazu, dass Studien den algorithmischen Test bestehen, obwohl sie methodisch mangelhaft sind. Das Ziel – die Verbesserung der Forschungsqualität – wird konterkariert. Die Kosten-Nutzen-Analyse des automatisierten Systems fällt negativ aus, da die Folgekosten durch schlechte Investitionsentscheidungen den eingesparten Prüfaufwand bei Weitem übersteigen.
Was Controller daraus lernen können
Das Beispiel zeigt eine entscheidende Erkenntnis für die Steuerung von Unternehmen:
- Erstens: Sei extrem vorsichtig bei der Verwendung von Ersatzkennzahlen (Proxies) für komplexe Qualitätsdimensionen.
- Zweitens: Jedes Kennzahlensystem muss auf mögliche Fehlanreize und Gaming-Strategien überprüft werden.
- Drittens: Quantitative Messungen können qualitative, expertenbasierte Bewertungen ergänzen, aber niemals vollständig ersetzen.
Für das Controlling bedeutet das, nicht blind auf vereinfachte Dashboards zu vertrauen. Man muss die Logik hinter den Zahlen verstehen und hinterfragen, ob die gemessenen Indikatoren tatsächlich das gewünschte Ergebnis fördern. Manchmal ist die aufwändige, qualitative Analyse am Ende die kostengünstigere, weil sie teure Fehlentscheidungen verhindert.