Weiß Bard, wie oft der Buchstabe „e“ in „Ketchup“ vorkommt?

Eines der Dinge, die mir am maschinellen Lernen am meisten gefallen, ist, dass es ziemlich genau zeigt, dass Ingenieure nicht wissen, wie Menschen arbeiten. Nehmen wir zum Beispiel große Sprachmodelle. Mir wurde gesagt, dass sie mir mein Geschäft wegnehmen würden, was mich überflüssig machen würde; Sie sind schlau. Sie würden die perfekte Reiseroute für meine Reise nach Paris planen, mit Highlights rund um Bars und Restaurants Es ist auf jeden Fall korrekt und vollständig.

Inspiriert von Tweeten Sie über MayonnaiseJetzt haben Sie sich vorgenommen, ein unterhaltsames Experiment mit Google Bard durchzuführen.

Ich entscheide mich aus zwei Gründen dafür. Erstens ist diese Art von Test etwas, das man mit kleinen Kindern durchführt, während man ihnen das Lesen beibringt. Bringen Sie ihnen die Buchstaben und die Laute näher, die sie erzeugen. Aber zweitens habe ich den starken Verdacht, dass diese gemeinsame Aktivität in den Daten, die Bard abruft, nicht aufgezeichnet ist, weil es sich nicht um die Art handelt, die Sie schreiben.

Natürlich ist das absurd, aber es ist absurd, weil Wir können uns das Wort „Ketchup“ ansehen und deutlich das „e“ erkennen. Bard kann das nicht tun. Es lebt in einer völlig geschlossenen Welt von Trainingsdaten.

Diese Art von Problem gibt es bei LLMs. Sprache ist eine sehr alte menschliche Technologie, aber unsere Intelligenz ist älter als sie. Wie alle sozialen Tiere müssen wir den Überblick über Statusbeziehungen behalten, weshalb unser Gehirn so groß und seltsam ist. Sprache ist ein sehr nützliches Werkzeug – hey, ich verdiene meinen Lebensunterhalt mit dem Schreiben! – Aber es ist nicht dasselbe Wissen. Es schwebt über einer Reihe anderer Dinge, die wir für selbstverständlich halten.

Ich denke oft an den Artikel von Rodney Brooks aus dem Jahr 1987: „Intelligenz ohne Repräsentation„, was relevanter ist als je zuvor. Ich würde nicht leugnen, dass Sprachgebrauch und Intelligenz zusammenhängen – aber Intelligenz geht der Sprache voraus. Wenn man sich mit Sprache beschäftigt, ohne dass Intelligenz vorhanden ist, wie wir es in LLMs sehen, erhält man seltsame Ergebnisse. Brooks vergleicht, was mit LLMs passiert, mit einer Gruppe von Forschern, die versuchten, ein Flugzeug zu bauen, indem sie sich auf Sitze und Fenster konzentrierten.

Ich bin mir sicher, dass er damit immer noch recht hat.

Ich verstehe die Versuchung, ein komplexes Gespräch mit dem MA zu führen. Viele Menschen wünschen sich unbedingt, dass wir einen intelligenten Computer bauen können. Diese Fantasien kommen oft in der Science-Fiction vor, dem von Nerds am häufigsten gelesenen Genre, und zeugen von der Sehnsucht, zu wissen, dass wir nicht allein im Universum sind. Es ist derselbe Impuls, der unsere Versuche antreibt, mit außerirdischen Geheimdiensten Kontakt aufzunehmen.

Aber so zu tun, als könnten LLM denken, ist eine Fantasie. Sie können sich nach dem Unterbewusstsein erkundigen, wenn Sie möchten, aber Sie wären stolz. Es ist nichts da. Ich meine, Schauen Sie sich ihre Versuche der ASCII-Kunst an!

Wenn Sie so etwas erledigen – eine Aufgabe, die ein durchschnittlicher Fünfjähriger in einem Master-Studium in Englisch übertreffen und durchfallen lässt –, beginnen Sie zu erkennen, wie klug es ist in Wahrheit Arbeiten. Sicher, es gibt Leute, die glauben, LLM habe Bewusstsein, aber Diese Menschen scheinen mir in der Gesellschaft auf tragische Weise zu fehlennicht in der Lage, genau zu verstehen oder einzuschätzen, wie klug normale Menschen sind.

Ja, Bard kann Funken erzeugen. Tatsächlich zeichnet er sich, wie die meisten Chatbots, durch die automatische Vervollständigung von Marketingtexten aus. Möglicherweise spiegelt dies wider, wie viel Anzeigentext in den Trainingsdaten enthalten ist. Bard und seine Ingenieure würden es wahrscheinlich nicht so sehen, aber was für ein vernichtender Kommentar zu unserem täglichen Online-Leben.

Werbung ist eine Sache. Aber die Fähigkeit, Werbetexte zu erstellen, ist kein Zeichen von Intelligenz. Es gibt viele Dinge, über die wir uns nicht die Mühe machen, sie aufzuschreiben, weil wir es nicht müssen, und andere Dinge, die wir wissen Du kannst nicht Typ – wie man Fahrrad fährt. Wir nutzen viele Abkürzungen, wenn wir miteinander reden, weil die Menschen im Großen und Ganzen auf der gleichen Informationsbasis über die Welt arbeiten. Dafür gibt es einen Grund: Das sind wir alle In die Welt. Ein Chatbot ist es nicht.

Ich bin sicher, dass jemand auftauchen und mir sagen wird, dass Chatbots besser werden, und ich bin nur gemein. Zunächst einmal: Es ist Vaporware bis zum Versand, Baby. Aber zweitens wissen wir wirklich nicht, wie schlau wir sind oder wie wir denken. Wenn es einen wirklichen Nutzen für Chatbots gibt, dann ist es, die Dinge an unserer Intelligenz aufzuhellen, die wir für selbstverständlich halten. Oder wie jemand, der klüger ist als ich, es ausdrückt: Die Karte ist nicht das Territorium. Sprache ist die Karte. Wissen ist der Bereich.

Es gibt eine ganze Menge Dinge, die Chatbots nicht wissen und nicht wissen können. Die Wahrheit ist, dass es nicht viel Aufwand erfordert, den Turing-Test LLM zu bestehen, solange Sie die richtigen Fragen stellen.