AI: Tatsächliche Intelligenz!

Wieder landet ein Artikel in meinem Posteingang, in dem über weitere Fortschritte bei der Vorhersagegenauigkeit eines KI-Modells berichtet wird. Dieses Modell namens Centaur, das von Forschern des Helmholtz-Zentrums München entwickelt wurde, behauptet, das menschliche Denken nachzuahmen und Entscheidungen mit "verblüffender Genauigkeit" vorherzusagen.¹.

Dieser Beitrag ist keine Bewertung dieses Modells, das in der Tat beeindruckend ist, wenn man die Trainingsdaten betrachtet, die der Algorithmus verwendet: ein Datensatz namens "Psych-101"der mehr als 10 Millionen Entscheidungen von 60 092 Teilnehmern an 160 Verhaltensexperimenten umfasst.

Klingt toll, nicht wahr? Aber genau an dieser Stelle möchte ich Sie bitten, einen Moment innezuhalten und nachzudenken. Jeder, der schon einmal eine psychologische Forschungsstudie gelesen hat, weiß, dass die meisten Teilnehmer an einer akademischen Studie Psychologiestudenten sind - das ist einer der Standardkritikpunkte, die man bei der Kritik von Arbeiten im Rahmen des Psychologiestudiums zu erwähnen lernt.

Warum ist das wichtig?

Einfach ausgedrückt: Psychologiestudenten sind beim besten Willen nicht repräsentativ für die Allgemeinheit.² Dies ist einer der Gründe, warum viele laborbasierte Studien nicht einmal in verschiedenen Labors repliziert werden können, geschweige denn in der realen Welt — Die Ergebnisse vieler Psychologiestudien hängen direkt mit den Teilnehmern und den genauen Bedingungen zusammen, die für die betreffenden Studien verwendet wurden.

Die Welt der Aufmerksamkeitsforschung, sei es für Medien, Shopper, Wegfindung, menschliche Leistung oder Anwendungs-/Oberflächenoptimierung, hat in den drei Jahren, seit ChatGPT Version 1.0 auf die Welt losgelassen wurde, unweigerlich den gleichen Anstieg der Popularität von KI-Vorhersagemodellen erlebt wie fast jeder andere Lebensbereich.Tatsächlich gibt es Vorhersagemodelle für die Aufmerksamkeit schon viel länger, und insbesondere Modelle für die visuelle Aufmerksamkeit (Visual Salience), wie das erstmals von Itti & ^Koch3 vorgeschlagene Modell, erfreuen sich seit 2001 zunehmender Beliebtheit und Zahl.Interessanterweise waren diese Modelle nie dazu gedacht, Augenbewegungen vorherzusagen, ein Punkt, auf den ich später zurückkomme, aber sie waren und sind immer noch Vorhersagen über die wahrscheinliche Zuweisung von Aufmerksamkeit, meist visualisiert in einer räumlichen Karte, die einer Eye Tracking Heatmap sehr ähnlich sieht.

Ich will ganz ehrlich sein: Meine Erfahrungen mit vielen dieser frühen Modelle haben mich nicht sonderlich beeindruckt, da sie zwar die unwillkürliche Aufmerksamkeit in den ersten 1-2 Sekunden des Betrachtens gut abbilden konnten, aber bei der Abbildung der freiwilligen Aufmerksamkeit oder der damit verbundenen Augenbewegungen kläglich versagten. Augenbewegungen Die freiwillige Aufmerksamkeit, von der wir seit Jahrzehnten wissen, dass sie in erster Linie aufgaben- und nicht reizgesteuert ^ist3. Neuere Entwicklungen, einschließlich der Ausweitung der Datentypen auf EEG, die tiefere Einblicke in die Aufmerksamkeit geben können als die meisten einfachen Eye Tracking haben dank KI-Algorithmen, die auf riesigen Datensätzen mit einer Reihe biometrischer und verhaltensbezogener Marker trainiert wurden, zu einem deutlich verbesserten Niveau an Raffinesse geführt.

Kommen wir also nach dieser recht langen Vorrede zur Hauptfrage dieses Beitrags...

Das Gute

Zunächst einmal werde ich keine bestimmten Modelle oder Algorithmen hervorheben. Im Rahmen meiner Recherchen für diesen Beitrag habe ich mit vielen der führenden Algorithmen gespielt und mit Vertretern mehrerer wichtiger kommerzieller Anbieter gesprochen. Stattdessen werde ich erörtern, wofür sie im Allgemeinen gut sind.

Wie bei jeder künstlichen Intelligenz sind die Algorithmen nur so gut wie die Daten, auf denen sie trainiert werden. Wenn es in den Daten Verzerrungen gibt, dann werden sich diese mit ziemlicher Sicherheit in den Ergebnissen des Algorithmus widerspiegeln, daher lohnt es sich, diese Frage jedem Anbieter zu stellen, bevor Sie in ihn investieren.

Dennoch sind diese Algorithmen im Allgemeinen sehr gut in der Vorhersage von "durchschnittliche"Die Algorithmen eignen sich hervorragend für die Vorhersage der durchschnittlichen Aufmerksamkeit, d. h. der Aufmerksamkeit ohne spezifische Teilnehmersegmentierung und ohne spezifische Aufgaben. Ich bin der festen Überzeugung, dass jeder Designer seine Konzepte damit testen sollte, bevor er sie einem Kunden vorstellt. Im Grunde genommen gleichen sie das Spielfeld aus, d. h. Sie können sowohl Ihre eigenen als auch die Entwürfe anderer Leute anhand von "Allgemeinwissen"Ich habe noch nie eine Vorhersage von einem dieser Algorithmen gesehen, die ein Experte für Seh- und Aufmerksamkeitswissenschaften nicht schon allein aufgrund seines Wissens über die Forschung hätte treffen können, aber Leute wie ich sind nicht billig und stehen nicht immer zur Verfügung, was bedeutet, dass KI einem Start-up-Unternehmen die Möglichkeit bietet, Vorabtests auf die gleiche Weise durchzuführen wie ein großes FMCG-Unternehmen.

Aber hier liegt ein Problem...

Das Schlechte

...nun, eigentlich mehrere Probleme.

• Aktuelle KI-Modelle stützen ihr gesamtes Wissen auf das, was bereits bekannt ist, was bedeutet, dass sie höchstwahrscheinlich keine weltbewegenden Einblicke in Ihre Entwürfe liefern werden. Diese Art von Einblicken kommt normalerweise nur von innovativen Forschungsparadigmen, mit den richtigen Teilnehmern und, fast sicher, einer qualitativen Komponente sowie einer objektiven Methodik wie Eye Tracking oder sogar EEG.

• Die "was bereits bekannt ist"Denken Sie daran, dass prädiktive Aufmerksamkeitsmodelle auf der Grundlage von Teilnehmerdaten trainiert werden, und um für Sie relevant zu sein, müssen diese Teilnehmer mit Ihrer Nutzerbasis oder Zielgruppe übereinstimmen. Dies kann schwer zu erreichen sein, wenn Sie beispielsweise ein neues Produkt auf den Markt bringen und Ihre Frage lautet: "Wie kann ich meinen Kundenstamm vergrößern, ohne meine bestehenden Kunden zu verprellen?"Fragen wie diese erfordern in der Regel Tests mit bestimmten Teilnehmergruppen, die in der Marktforschung üblicherweise als Zellen bezeichnet werden, und einen Vergleich der Ergebnisse. Dies ist etwas, was KI-Modelle derzeit einfach nicht leisten können, und in der Tat würden Sie wahrscheinlich eine lokal trainierte Version dieser Modelle benötigen, die auf Ihrem Kundenstamm basiert.

• Wie bereits in der Einleitung erwähnt, haben Algorithmen zur Vorhersage der Aufmerksamkeit ihre Wurzeln in Modellen zur visuellen Aufmerksamkeit, die sehr gut in der Lage waren, unwillkürliche Aufmerksamkeit vorherzusagen –, d. h. die Art von Aufmerksamkeit, die automatisch von Dingen erregt wird, die hervorstechen oder auffällig sind, weil sie unerwartet sind. Der Einfluss von Helligkeit, Farbe, Bewegung und sogar Lautstärke und Tonhöhe bei Audiostimuli wurde also in der Regel von diesen Modellen gut vorhergesagt ³ Leider übersehen viele dieser Modelle die Rolle der freiwilligen Aufmerksamkeit, die etwas länger braucht, bis sie einsetzt, typischerweise langfristig (d. h. nach etwa 2 Sekunden) die Aufmerksamkeitszuweisung dominiert und von übergeordneten kognitiven Prozessen wie Aufgabenzielen, Absicht, Belohnung, Vorlieben und Wünschen gesteuert wird.Diese sind natürlich in hohem Maße kontextabhängig in Bezug auf Ihre Forschungsfragen und Ihre Teilnehmer und können im Laufe der Zeit und bei wiederholter Exposition variieren, was bedeutet, dass eine einfache Vorhersage ohne Wissen über die Aufgabe, basierend auf einer verallgemeinerten Gruppe von Teilnehmern, wirklich nicht viel aussagen wird!

• Wie bereits erwähnt, waren prädiktive Aufmerksamkeitsmodelle nie dazu gedacht, Augenbewegungen vorherzusagen, und um ehrlich zu sein, tun sie das auch heute noch nicht. Das heißt, wenn es um die tatsächlichen Augenbewegungen geht (z. B. die Abfolge von Fixationen, ihre Dauer, die Rückkehr zu Interessengebieten oder Regressionen bei der Textverarbeitung), werden diese Modelle nicht helfen. Eye Tracker Für viele von Ihnen mag dies kein Problem sein, weil Sie sich für das übergeordnete Konzept der Aufmerksamkeit interessieren, aber der Grund, warum Eye Tracking und Aufmerksamkeit oft im gleichen Satz verwendet werden, ist, dass Messungen wie die oben genannten oft wesentlich sind, um zu verstehen, wo Probleme wie Mehrdeutigkeit oder Verwirrung in einem Design auftreten. In Studien zur menschlichen Leistung ist es oft der automatisierte Einsatz von unbewussten Augenbewegungen, der den Unterschied zwischen einem Anfänger und einem Experten ausmachen kann.

Die Chance

Vielleicht fragen Sie sich jetzt: "Lohnt es sich, sich mit diesen Modellen zur Vorhersage der Aufmerksamkeit zu beschäftigen?" Wie ich eingangs erwähnte, hätte meine Antwort, als ich vor einigen Jahren mit der Erforschung dieser Modelle begann, "Nein" gelautet, aber wir sprechen hier von Technologie, und die steht niemals still. Einige dieser Algorithmen haben sich in den letzten fünf Jahren fast bis zur Unkenntlichkeit verbessert, aber die oben genannten Einschränkungen gelten häufig noch immer. In einem neuen Buch, das gemeinsam mit Roger Jackson von Shopper Intelligence verfasst wurde, heißt es "The Nursery Rhyme Conundrum"⁴ erörtern wir die Autorität, die der KI als Werkzeug verliehen wird, und ich bin der festen Überzeugung, dass wir sie auch weiterhin nur als ein Werkzeug und nicht als vollständige Lösung betrachten sollten. Wie können Sie also das Beste, was diese Algorithmen zu bieten haben, nutzen, um sich einen Wettbewerbsvorteil zu verschaffen?

1. Die Algorithmen sind da draußen. Das bedeutet, dass jeder Wettbewerber sie nutzen kann, um etwas über Ihre Produkte zu erfahren. Warum sollten Sie ihnen diesen Vorteil geben, wenn Sie ihn nicht selbst nutzen? Sehen Sie, wie Ihre Entwürfe im Vergleich zur Konkurrenz aus der Perspektive der "allgemeinen Aufmerksamkeit" abschneiden — Die daraus gewonnenen Erkenntnisse könnten entscheidend sein, insbesondere angesichts der Dynamik des Marktes. JEDESMAL wenn ein Wettbewerber ein Produktdesign ändert, sollten Sie diesen Vergleich erneut durchführen, denn wenn es um Aufmerksamkeit geht, ist der Erfolg stark kontextabhängig.

2. Bleiben Sie nicht dabei stehen. Einer der besten Wege, Ihre Kunden anzusprechen, ist zu zeigen, wie gut Sie WISSEN Ihre Kunden kennen. Tests auf der Grundlage allgemeiner Teilnehmer und insbesondere Modelle, die an Psychologiestudenten trainiert wurden, werden Ihnen niemals den Einblick geben, den Sie erhalten, wenn Sie die Aufmerksamkeit mit Ihrem einzigartigen Kundenstamm testen. Wir wissen zum Beispiel, dass die Aufmerksamkeitsverteilung je nach Alter, Geschlecht und Nationalität variieren kann. Die einzige Möglichkeit zu zeigen, dass Sie Ihre Kunden kennen, besteht darin, an Ihren Kunden zu testen.

3. Seien Sie der Beste. Wenn Sie eine Luxusmarke sind, reicht es nicht aus, generisch zu sein. Sie müssen anders sein. Ein Blick auf die endlosen LinkedIn-Posts, die Vorschläge für die Neugestaltung von Anzeigen, Benutzeroberflächen und Verpackungen auf der Grundlage von KI-Algorithmen zeigen, wird Ihnen bestätigen, dass diese aussehen EXAKT als wären sie von einer KI generiert und nicht von einem Designer entworfen worden. Das ist genau das, was eine Luxusmarke vermeiden muss, es sei denn natürlich, sie versucht, ironisch zu sein. Immer häufiger wird vorgeschlagen, dass KI sogar als Teilnehmer an einer Studie fungieren kann, aber diese "Teilnehmer" werden sicherlich keine High-End-Kunden repräsentieren.

4. Das Unerwartete zählt. Jeder mag eine gute Eye Tracking-Heatmap, und es ist kein Zufall, dass Algorithmen zur Vorhersage der Aufmerksamkeit ein ähnlich aussehendes Ergebnis liefern. Ich bin seit langem ein Kritiker ihres Missbrauchs beim Eye Tracking, und deshalb werde ich hier ganz klar auf ein Hauptproblem hinweisen, das sie haben. Ausreißer in Eye Tracking-Studien, die in der Regel von Heatmaps ausgeschlossen werden, weil sie die Darstellung verzerren können, gehören häufig zu den aufschlussreichsten, wenn es um nicht offensichtliche Erkenntnisse geht. Ein klassisches Beispiel, auf das ich schon früh in meiner Doktorandenzeit gestoßen bin, war ein scheinbar vollständiger Zusammenbruch meiner "Erkennung unbewusster Präferenzen"Algorithmus, der als Ergebnis ein optimales Design liefern sollte. Als ich ihn an meinem Partner testete, lieferte er mir zwei gleich wahrscheinliche Entwürfe, von denen einer überwiegend rot und der andere überwiegend grün war. Er ist natürlich rot/grün farbenblind, und so waren die beiden Entwürfe eigentlich das gleiche Ergebnis, was ein ganz neues Potenzial für meinen Algorithmus eröffnete! Ohne die tatsächlichen Eye Tracking-Ergebnisse eines Ausreißers wird man nie erfahren, dass es ihn geben könnte und vor allem, warum er sich so verhalten hat. Wenn man sich ausschließlich auf einen auf der allgemeinen Bevölkerung basierenden Algorithmus zur Vorhersage der Aufmerksamkeit verlässt, entfällt jegliches Potenzial, aus dem Verhalten von Ausreißern zu lernen, und das ist besonders wichtig für UX und menschliche Leistung Forschung.

Ganz einfach, nichts kann im Moment das Testen echter Entwürfe mit echten Menschen, die echte Aufgaben ausführen, ersetzen. Das ist keine künstliche Intelligenz, sondern tatsächliche Intelligenz.

Referenzen

1. Binz, M., Akata, E., Bethge, M.et al.Ein Grundlagenmodell zur Vorhersage und Erfassung menschlicher Kognition.Natur(2025).

2. Hanel, P. H., & Vione, K. C. (2016). Do Student Samples Provide an Accurate Estimate of the General Public? PloS one, 11(12), e0168354.

3. Itti, L., Koch, C. Computergestützte Modellierung der visuellen Aufmerksamkeit.Nat Rev Neurosci 2, 194–203 (2001).

4. Jackson, R., & Holmes, T. (2025). The Nursery Rhyme Conundrum. Pantheon Verlag.