Marktforschung ist eine merkwürdige Disziplin. Ihre Vertreter geben sich immer sehr seriös und wissenschaftlich, und es ist darum für die Kunden extrem schwierig, zwischen seriösen Forschern und Scharlatanen zu unterscheiden. Und wer schon in der Praxis mit Marktforschung zu tun hatte, weiss: Für fast jede Behauptung findet man eine passende Studie. Und zur Not lässt man sich eine anfertigen.

Die Marktforschungsfirma ArgYou.com hatte ich hier vor längerer Zeit schon einmal aufgrund ihrer Methoden kritisiert, die meiner Meinung nach ausgesprochen fragwürdig sind. Ich hatte in meiner Zeit als Berater schon einige Male mit den Arbeitsresultaten von ArgYou zu tun und war immer erstaunt darüber, wie man so etwas als seriöse Forschung (zumindest mit den von der Firma angepriesenen Aussagen) verkaufen kann.

ArgYou misst technische Dinge wie die Häufigkeit von Begriffen oder Dokumentenformaten (PDF, html, …) auf Websites und leitet daraus Aussagen über die Zielgruppengerechtigkeit einer Website ab. Beispiel: Einmal hat die Firma festgestellt, dass e-Government-Websites mehr PDFs und e-Mail-Adressen enthalten als früher und aus dieser weitgehend belanglosen Tatsache messerscharf geschlossen, dass diese Sites jetzt bürgernaher geworden sind. Das ist etwa so, wie wenn man den nächsten Fussballweltmeister aufgrund der Trikotfarben der Mannschaften vorhersagen wollte.

ArgYou tritt in der Öffentlichkeit meist in Erscheinung mit einer regelmässig durchgeführten Studie über die “Wirksamkeit von Kantonswebsites”. Während diese Untersuchungen am Anfang bei den Kantonen noch viel Aufmerksamkeit fanden, stehen inzwischen viele den Resultaten äusserst kritisch gegenüber. Die Fachzeitschrift Netzwoche berichtete in ihrer Ausgabe 03/2006 ausführlich über diese Studien (Artikel leider nicht online zugänglich) und deckte unter anderem auf, dass die von ArgYou behauptete Zusammenarbeit mit Google gar nicht existiert.

Heute liess die Firma ArgYou die Presse von ihrer neusten Untersuchung wissen: Pikanterweise hat man die Internetauftritte von Schweizer Web-Dienstleistern untersucht, also der Firmen, die eigentlich meisterliche Websites für sich selbst produzieren sollten.

Gewonnen hat dabei unter anderem die Firma Aseantic, die laut Aussage der Newssite inside-channels.ch interessanterweise die Studie auch in Auftrag gegeben hat.

(DISCLAIMER: Ich bin Verwaltungsrat der Firma namics AG, die in dieser Studie (laut Pressemitteilung) auf dem letzten Platz gelandet ist — was mich nicht überrascht, da sich namics-Leute schon mehrfach öffentlich negativ über ArgYou geäussert haben. Aber ich bin, wie gesagt, nicht erst seit heute kritisch eingestellt gegenüber ArgYou.)

Natürlich kann man die Studie nicht runterladen, und aus der dürren Pressemitteilung kann man nur erahnen, was die Kriterien gewesen sein könnten. Irgendwie geht es um die Auffindbarkeit der Firmen aufgrund der meistverwendeten Begriffe auf Suchmaschinen, wobei man sich fragt, woher ArgYou letztere kennen will, da z.B. Google wie erwähnt der Firma keine Daten gibt. Und auch ziemlich rätselhaft ist das Kriterium “wie häufig und wie gut der jeweilige Marken- oder Firmenname auf den Webseiten von aussen zu erkennen ist”. Was wird da bitte gemessen? Wie oft der Firmenname auf der Homepage vorkommt? Wie gesagt, solche Dinge haben mit der Effektivität einer Website wirklich nichts zu tun, nicht mal mit der Auffindbarkeit.

Machen wir mal ein anderes Experiment und schauen nach, wie für typische Suchbegriffe, mit denen jemand nach Leistungen von Web-Dienstleistern suchen könnte, die vier erwähnten Firmen bei Google auffindbar sind (eingestellt auf “nur Seiten aus der Schweiz”, getestet am 8.2.07):

• “Content Management”: namics auf Platz 13, aseantic auf 14, Unic auf 27, Garaio nicht unter den Top 30.
• “Webdesign”: Keiner unter den ersten 30.
• “Web-Dienstleister”: namics auf 1, Unic auf 14, die anderen nicht unter den Top 30.
• “Microsoft Sharepoint”: namics auf 3, übrige nicht unter Top 30.
• “Day Communiqué”: namics auf 4, Unic auf 6, andere nicht unter Top 30.
• “Microsoft CMS”: aseantic auf 1, namics auf 3, von den anderen keine Spur.
• “Web Analytics”: Unic auf 1, namics auf 3, Aseantic auf 10, andere nicht unter Top 30.
• “Online-Werbung”: namics auf 22, andere nicht unter Top 30
• Die angeblich ebenfalls siegreiche Firma Garaio liegt nicht mal bei Suche nach ihrem eigenen Firmennamen auf Platz 1, was bei den anderen Firmen selbstverständlich der Fall ist.

Dieser kurze Versuch ist natürlich nicht repräsentativ, aber widerspricht den von ArgYou behaupteten Ergebnissen schon mal sehr deutlich, was mich, wie erwähnt, keineswegs überrascht.

Die Aussagen von ArgYou sind also recht problemlos widerlegbar. Etwas schade ist nur, dass die Fachpresse solche Pseudostudien immer wieder kritiklos aufgreift.