Online Forschung - das Wiki

Ein sehr schönes Klassifikationsschema verstaubte seit 1997 auf meiner Festplatte. Damals 1997 machte ich mir mit einer universitären Arbeitsgruppe viele Gedanken zur Qualitätssicherung von WWW-Fragebögen. Aus dieser Zeit sind einige Vorträge und Artikel von mir bekannt geblieben, die internen Ansätze zur Entwicklung eines Pretest-Standards sind aber bis heute unbekannt geblieben. Die Lektüre der Details lohnt sich.

Klassifikation von Fragebogenfehlern in WWW Umfragen
(Ein Vorschlag der Webpretest-Arbeitsgruppe, Version 3.2 Quelle)

Metafragen:

1. Hat der Befragte Schwierigkeiten die Frage oder Teile
der Frage zu verstehen?

2. Kann oder will der Befragte die Frage nicht beantworten?

3. Hat der Befragte Schwierigkeiten mit den vorgegebenen
Antworten?

4. Sind Validitäts- oder Reliabilitätsprobleme
zu erwarten (Response-Set, Kontext)?

5. Probleme mit der Realisierung?

6. Handelt es sich um einen Verbesserungsvorschlag?

Klassifikation

(100) Semantische Probleme:
Schwierigkeiten mit dem Verständnis oder der Erinnerung einer Frage

(110) Zu große Informationsmenge
(120) Struktur bzw. Organisation der Frage
(130) Stellung bzw. des Kontexts der Frage(n)
(140) Abgrenzung der Frage
(150) Ungenügendes Wissen

(151) Unbekannte technische Begriffe
(152) Unbekannte Verwendung eines ansonsten bekannten
Begriffs

(160) Mehrfache Bezüge/Fragen

(200) Probleme der Befragten:
Schwierigkeiten des Befragten Information abzurufen

(210) Es ist schwer oder unmöglich die Frage
zu beantworten
(220) Die Frage ist redundant, Befragte haben den Eindruck,
daß sie die Antwort bereits bei einem früherem Item gegeben
haben
(230) Die Frage ist heikel, es wird nach einer nicht-legalen
Handlung gefragt oder die Frage unterstellt dem Befragten etwas, das dieser
nicht annehmen will/kann.
(240) Fehlender Filter
(250) Die Frage ist hypothetisch gestellt

(300) Probleme der Befragten
durch Defekte in den Antwortvorgaben

(310) Überlappung der Antwortkategorien (nicht
ausschließend, redundant)
(320) Fehlende Antwortkategorien (nicht vollständig)
(330) Die Abgrenzung der Antwortkategorien ist nicht
eindeutig
(340) Die Antwortkategorien passen nicht zur Frage

(341) Besser offen abfragen (auch für Restkategorien)
(342) Besser geschlossen abfragen (auch für Restkategorien)

(350) Inkonsistente Skalierung
(360) Mangelhafte Abstufung der Antwortkategorien

(361) Zu fein abgestufte Antwortkategorien
(362) Zu grob abgestufte Antwortkategorien

(370) Mehrfachantworten erforderlich (empirische Vielfalt
wird bisher nicht zugelassen)
(380) Antwortkategorie kann empirisch nicht vorkommen

(400) Validitäts-
und Reliabilitätsprobleme (Probleme bei der Datenanalyse)

(410) Frage wird von allen Befragten in gleicher Weise
beantwortet (erzeugt keine Variation)
(420) Response-Set

(421) Zustimmungstendenz
(422) Reihenfolge der Antwortkategorien (primacy- oder
recency-Effekt)
(423) Ausstrahlungseffekt (Halo-Effekt)
(424) Suggestivfragen
(425) Aussagekraft bzw. Verwertbarkeit der Frage
(426) Layout-Effekt

(430) Kontexteffekt; eine Frage, die nach dem natürlichen
Fluß der Konversation zu erwarten wäre, wird nicht gestellt
(440) Probleme mit der Reihenfolge der Fragen
(450) Aufgrund der vorangehenden Fragen rechnet man mit gleichen Antwortkategorien

(500) Probleme
mit der Realisierung

(510) Layout
(520) Programmier- oder Browserfehler

(600) Verbesserungsvorschläge

(700) Probleme mit dem Anschreiben

(710) Vertrauen
(720) Institution/Auftraggeber
(730) Anreiz
(740) Ziel

(900) Keine Probleme

(990) Sonstiges

(999) Nicht klassifizierbar

Beispiele

100 Beispiele und Erläuterungen

(110) Informationsmenge: Die Frage
enthält zu viel Text

(120) Struktur bzw. Organisation
der Frage

Bsp.: "Bevor Sie geheiratet haben: Wie lange haben Sie in Maryland
gewohnt nachdem Sie das College verlassen haben?"

(130) Stellung bzw. des Kontexts
der Frage(n)

Bsp.: "Wie zufrieden sind Sie mit der Sicherheit in Ihrer Nachbarschaft?"

"Wie zufrieden sind Sie mit den Schulen in Ihrer Nachbarschaft?"

"Wie zufrieden sind Sie mit den Einkaufsmoeglichkeiten in der Nachbarschaft
Ihres Arbeitsplatzes?"

(140) Abgrenzung der Frage

Befragte haben unterschiedliche Auffassungen darüber, was die Frage
ein- oder ausschließt, oder sind unsicher, worauf sich die Frage
bezieht.
Bsp.: "Wie lange haben Sie in Suelz gewohnt?" Diese Frage bereitet
denjenigen Probleme, die immer mal wieder in Suelz gewohnt haben, zwischendurch
aber ausserhalb von Suelz.

(150) Ungenügendes Wissen

(151) Unbekannte technische Begriffe

Bsp.: "Wie beurteilen Sie §116 AFG?"

(152) Unbekannte Verwendung eines
ansonsten bekannten Begriffs
Bsp.: "Welche der folgenden Dinge trennen Sie von Ihrem gewoehnlichen
Muell?" Hier kann es zu der Frage kommen, was denn `gewoehnlicher
Muell’ ist.

(160) Mehrfache Bezüge/Fragen

Bsp.: "Wie beurteilen Sie die Arbeit der Polizei und Gerichte?"

---

200 Beispiele und Erläuterungen

(210) Es ist schwer oder unmöglich
die Frage zu beantworten
Bsp.: "Wie häufig haben Sie im letzten Jahr eingekauft?"

Bsp.: "Wie viele Kilometer sind Sie letztes Jahr mit dem Auto gefahren?"

(220) Die Frage ist redundant (bzw.
wird als solche wahrgenommen) Befragte haben den Eindruck, daß sie
die Antwort bereits bei einem früherem Item gegeben haben

(230) Die Frage ist heikel, es
wird nach einer nicht-legalen Handlung gefragt oder die Frage unterstellt
dem Befragten etwas, das dieser nicht annehmen will/kann.
Bsp.: "Wie oft ueberschreiten Sie bei Ihrer Fahrt zur Arbeit die Geschwindigkeitsbegrenzung?"

(240) Fehlender Filter

(250) Die Frage ist hypothetisch
gestellt

---

300 Beispiele und Erläuterungen

---

400 Beispiele und Erläuterungen

---

500 Beispiele und Erläuterungen

Quellen

Dieses Schema entstand 1997 im Kontext einer universitären Arbeitsgruppe zur Qualitätssicherung von Online-Fragebögen. Für die Mitarbeit bei der Erstellung des Schemas danke ich Christof Wolf und Frank Messerschmidt. Die Inhalte der Klassifikation greifen Gedanken von Presser und Stanley auf. Siehe hierzu die nachfolgende Literaturangabe.

Presser, Stanley und Johnny Blair, 1994: Survey Pretesting: Do Different Methods Produce Different Results? Sociological Methodology 24, 73-103.