Orakelmaschinen und Menschen
"Ich bin ein Verfechter der Sichtweise, dass wir Menschen uns als Analog- und Digitalmaschinen begreifen sollten." Sagt Klaus Mainzer. Im Gespräch mit Matthias Eckoldt erklärt er, warum das Bewusstsein nicht die zentrale Stellung innehat, die man ihm gemeinhin beimisst. Dabei geht es um Hunde, Orakelmaschinen und den Menschen als eine Zwischenstufe der Evolution.
Klaus Mainzer, geboren 1947, arbeitet über Grundlagen der Mathematik, Informatik, Technik- und Wissenschaftsphilosophie und ist Autor zahlreicher Sach- und Fachbücher. Bis 2016 hatte er den Lehrstuhl für Philosophie und Wissenschaftstheorie an der Technischen Universität München (TUM) inne, war Direktor der Carl von Linde-Akademie und Gründungsdirektor des Munich Center for Technology in Society. Seit 2016 ist er Emeritus of Excellence an der TUM. Letzte Publikation zum Thema: Künstliche Intelligenz - Wann übernehmen die Maschinen? (2016).
Matthias Eckoldt: Warum und wie ist Bewusstsein für Sie überhaupt interessant geworden?
Klaus Mainzer: Ich muss Sie gleich zu Anfang enttäuschen: Das Bewusstsein hat nicht die zentrale Stellung, die man ihm in der Öffentlichkeit und vor allem in der Philosophiegeschichte zuordnet. Ich habe sehr viele Entwicklungen von Intelligenz im Rahmen der Informatik und der künstlichen Intelligenz gesehen, die hervorragend ohne Bewusstsein funktionieren. Deshalb frage ich mich, welche Gewichtung das Bewusstsein mit Blick auf die Natur als Ganzes überhaupt hat? Dass wir Menschen Bewusstsein für etwas Zentrales halten, ist klar.
Matthias Eckoldt: Für Sie ist Intelligenz das entscheidende Thema. Und da es Intelligenz auch ohne Bewusstsein gibt, ist Bewusstsein für Sie nicht sonderlich interessant.
Klaus Mainzer: Das würde ich so nicht sagen. Bewusstsein ist durchaus spannend. Vor allem, weil es mit dem Menschsein entscheidend zu tun hat. Das möchte ich um Gottes Willen nicht in Abrede stellen. Aber für mich steht der Mensch mit Blick auf die Evolution nicht im Vordergrund. Da sind wir ein Ergebnis unter vielen.
Matthias Eckoldt: Nun ja, aber dass wir so etwas wie künstliche Intelligenz überhaupt entwickeln können, scheint mir schon eine Bewusstseinsleistung zu sein, die keinem anderen Ergebnis der Evolution gelungen ist.
Klaus Mainzer: Als Initiator war da das menschliche Bewusstsein sicherlich notwendig, aber wir werden im Laufe unseres Gespräches noch sehen, wie sich diese Entwicklung verselbständigt. Außerdem gibt es ja nicht nur das eine Bewusstsein, sondern es gibt unterschiedliche Arten von Bewusstsein.
Warum soll also der Mensch Maßstab aller Dinge sein? Der vorsokratische Philosoph Xenophanes hat dem Sinne nach gesagt: Wenn sich die Ochsen eine eigene Religion schaffen würden, dann hätten ihre Götter Hufe und Hörner wie die Ochsen. So sehen unsere Götter menschenähnlich aus.
Tierisches Bewusstsein
Matthias Eckoldt: Welche anderen Formen von Bewusstseinsentwicklung in der Natur sind für Sie interessant?
Klaus Mainzer: Ich bin als Kind mit Hunden und Katzen groß geworden. Ich mochte sie gerne und sie mich. Deshalb waren sie für mich vom Stellenwert her gleichberechtigt mit meinen menschlichen Freunden. Dann hörte ich im Religionsunterricht, dass meine tierischen Freunde nicht mit in die Kirche dürften, weil sie keine Seele hätten - das hat mir das sehr wehgetan. Natürlich habe ich bemerkt, dass da etwas anders war. Mein Hund war zum Beispiel in Mathematik sehr schlecht. Aber all das, was wir herausstellen, wenn wir von Bewusstsein sprechen, Emotionalität, Ängste, Freude - all das haben diese Tiere auch. Insofern sollten wir auch keine besonderen Rechte aus der Existenz unseres Bewusstseins ableiten.
Matthias Eckoldt: Da stellen sich ethische Fragen. Ganz offensichtlich nehmen wir uns ja Sonderrechte heraus, wenn in den letzten fünfzig Jahren die Hälfte aller Arten ausgerottet wurden, während sich die Anzahl der Erdbewohner mehr als verdoppelt hat.
Klaus Mainzer: In der Tat!
Die Stufen menschlichen Bewusstseins
Matthias Eckoldt: Was Sie im Hinblick auf Ihre nichtmenschlichen Freunde beschreiben, lässt keinen Zweifel daran, dass diese Tiere über phänomenales Bewusstsein verfügen. Kennzeichen des phänomenalen Bewusstseins ist nach dem US-amerikanischen Philosophen Thomas Nagel, dass es sich für den Organismus irgendwie anfühlt, dieser Organismus zu sein. Aber höherstufiges Bewusstsein würde man dann Tieren eher nicht zusprechen. Sie sagen ja selbst, dass Ihr Hund in Mathematik nicht sonderlich gut war. Wie ist also das menschliche Bewusstsein aus Ihrer Sicht zu gewichten?
Klaus Mainzer: Erst mal verfügen wir über die Wahrnehmungsfähigkeit - eine Fähigkeit, die wir mit vielen anderen Lebewesen teilen. Auf der nächsten Stufe kommen die Emotionen dazu. Den Ingenieursstudenten stelle ich gerne die Frage: Was glauben Sie, warum die Evolution so etwas wie Emotionen entwickelt hat? Die geläufige Antwort lautet dann: Das sind Verschaltungen, die dafür sorgen, dass wir in Alarmzustand versetzt werden, ohne dass wir die Situation umständlich mit dem Bewusstsein analysieren müssen. Diesen Mechanismus sehen wir bei Tieren bereits auf frühen Evolutionsstufen. Ähnlich ist es mit Freude. Ich werde unmittelbar in einen Zustand versetzt, der mich in einer besonderen Weise öffnet. Nun kommt die nächste Stufe: Menschen sind ab einem bestimmten Alter fähig, sich selber wahrzunehmen.
Matthias Eckoldt: Man kann dann Ich zu sich sagen, weswegen diese Perspektive in der Bewusstseinsdebatte auch die Erste-Person-Perspektive genannt wird.
Klaus Mainzer: Für mich ist Bewusstsein deswegen auf der ersten Stufe zunächst einmal Selbstwahrnehmung. Man kann bei Kleinkindern sehr genau beobachten, wie sich diese Erste-Person-Perspektive bildet. Die nächste Stufe des Bewusstseins ist die Grundvoraussetzung für alle Sozialität: dass ich nämlich beginne, mich in den anderen hineinzuversetzen. Der dritte Schritt wäre dann zu erkennen, dass es auch eine dritte Person gibt. Jemand, der möglicherweise im Moment gar nicht da ist. Der Punkt ist folgender: Diese drei Stufen sind wesentlich mit Entwicklungsstufen des Gehirns verbunden. Man nennt das in der Neuropsychologie die Theory of Mind. Zu den drei Bewusstseinsebenen kommt noch das Gedächtnis hinzu, ein Gedächtnis meiner Historie.
Matthias Eckoldt: Das, was Gedächtnisforscher autobiografisches Gedächtnis nennen.
Klaus Mainzer: Und das mir sagt, ich bin derjenige, der an diesem Tag geboren wurde und der all diese Sachen erlebt hat. Beim gesunden Menschen ist das alles ganz normal. Allerdings erleben wir in der heutigen Zeit, in der die Menschen immer älter werden und die Gefahr einer Demenzerkrankung steigt, dass all diese einzelnen Module auseinanderfallen können. Insofern können wir recht genau alle Einzelteile studieren, die zusammengenommen Bewusstsein bilden.
Künstliche Intelligenz
Matthias Eckoldt: Wo liegt nun Ihr Hauptinteresse?
Klaus Mainzer: Ganz klar auf dem, was wir künstliche Intelligenz nennen. Wir erleben zurzeit auf diesem Gebiet enorme Fortschritte. Angefangen hat ja alles mit einer berühmten Arbeit von Alan Turing, in der er das theoretische Fundament für die Informatik legte. Die Turing-Maschine ist ein sehr einfaches logisch-mathematisches Modell einer programmgesteuerten Maschine, die bis heute sowohl jedem Smartphone wie auch jedem Supercomputer zugrunde liegt. Es ist ein Modell, auf dessen Grundlage wir all diese Maschinen simulieren können. Das ist erstaunlich. Diese Arbeit stammt nämlich vom Ende der dreißiger Jahre des vorigen Jahrhunderts, einer Zeit also, in der es die heutigen Superrechner noch nicht gab. Die Turing-Maschine ist also eine logisch-mathematische Definition von Berechenbarkeit, unabhängig von möglichen technischen Realisierungen.
Matthias Eckoldt: Turing hat sich ja auch den berühmten Test für künstliche Intelligenzen ausgedacht, in dem er Imitation Game erfand, in dem ein Programm menschliches Antwortverhalten nachempfindet.
Klaus Mainzer: Wenn eine menschliche Testperson das Verhalten eines solchen Programms nicht von dem eines Menschen unterscheiden kann, dann muss dieses System nach Turing als intelligent bezeichnet werden. Der Test findet auf verschiedenen Feldern statt, da geht es um Gedichte ebenso wie um Schachstellungen. Wenn eine komplizierte Matheaufgabe zu schnell gelöst wird, ist das eher ein Hinweis darauf, dass da eine Maschine dahintersteckt.
Auch Turing machte also zunächst in seinem Test den Menschen zum Maßstab von Intelligenz. Der große Nachteil ist: Immer dann, wenn eine Maschine eine Aufgabe intelligenter löst, als Menschen das tun, kommt der Einwand, dass dieses System irgendetwas anderes, was Menschen können, nicht bewältigt. Praktisch lässt sich so der Turing-Test nahezu für jede intelligente Leistung eines technischen Systems aushebeln. Zudem gibt es clevere Lösungen und Verfahren von Organismen, die nicht erfasst würden.
Matthias Eckoldt: Wie definieren Sie dann künstliche Intelligenz?
Klaus Mainzer: Meine Arbeitsdefinition von künstlicher Intelligenz lautet: Ein System heißt intelligent, wenn es selbständig und effizient Probleme lösen kann. Es gibt aber nicht "die" Intelligenz. Vielmehr gibt es Grade von Intelligenz, die vom Grad der Selbständigkeit eines Systems, dem Grad der Effizienz eines Problemlösungsverfahrens und dem Grad der Komplexität eines Problems abhängen. All das lässt sich messen. Diese Arbeitsdefinition deckt viele Beispiele aus Natur und Technik (zum Beispiel Expertensysteme) ab. Aber auch eine Zecke hat nach dieser Definition einen (vielleicht geringen) Grad von Intelligenz, da sie einen cleveren Weg des Blutfindens und Aufnehmens entwickelt hat. Von unserem Hund Filou mit all seiner Cleverness ganz zu schweigen. Wir können die Arbeitsdefinition gerne erweitern, wenn wir auf nicht erfasste Phänomene stoßen.
Sieg der Maschinen
Matthias Eckoldt: Dann lassen Sie uns doch gleich mal einen größeren Zeitsprung tun. 1997 gewinnt Deep Blue gegen den amtierenden Schachweltmeister Garri Kasparow und liefert damit einen eindrucksvollen Beleg dafür, dass Computer nicht nur besser rechnen können als Menschen, sondern auch im kombinatorischen Problemlösen besser sind.
Klaus Mainzer: Kurz danach gab es Watson von IBM. Das war eine künstliche Intelligenz, die den Menschen bei einer Quiz-Show im amerikanischen Fernsehen besiegt hat. Weiterentwicklungen von Watson geben nicht nur die schnellsten und besten Antworten auf Fragen, sondern beeindrucken auch dadurch, dass sie sehr gut sprechen und sogar Dialekte erkennen können. Wenn Sie nun fragen, was hinter dieser Maschine steckt, so entdecken Sie wieder im Prinzip eine Turing-Maschine, das heißt in diesem Falle eine semantische Suchmaschine mit mehreren linguistischen Algorithmen und Expertensystemen, die parallel und leistungsstark blitzschnell Fragen in ihre sprachlichen Satzbausteine zerlegen und für diese Strukturen die Wahrscheinlichkeit möglicher Antworten berechnen. Dazu steht allerdings ein gewaltiger Datenspeicher zur Verfügung, der vom menschlichen Gehirn nicht annährend realisiert werden kann. Watson besteht also den Turing-Test der Intelligenz durch gewaltige Rechenpower und Speicherkapazität, ganz anders als Menschen. Wenn man sich aber klar macht, dass Superrechner unter Umständen die Energie einer Kleinstadt verbrauchen, während wir Menschen für eine ähnliche Leistung gerade mal die Energie einer Glühlampe benötigen, bekommt man wieder Respekt vor dem Gehirn und der Effizienz der Evolution. Anfang 2016 hat Google "AlphaGo" entwickelt.
Matthias Eckoldt: Erzählen Sie uns davon!
Klaus Mainzer: Das ist eine Maschine, die es geschafft hat, den Weltmeister im Brettspiel Go zu schlagen. Dazu muss man wissen, dass Go ein wesentlich komplexeres Spiel ist als Schach. Wenn man das Spiel beobachtet, hat man gerade am Anfang den Eindruck, dass dieses Spiel auf Zufall basiert. Man kann an den Spielzügen überhaupt nicht erkennen, welcher der beiden Spieler hier der Meister ist. Deswegen hatte man bis zu "AlphaGo" immer versucht, das Spiel durch Zufallsalgorithmen zu simulieren. Mit Zufallsalgorithmen alleine kam man aber beim Go nicht über den Amateurstatus hinaus.
2011 hat man dann angefangen, mit neuronalen Netzen zu experimentieren. Das ist insofern interessant, weil neuronale Netze eine Parallelentwicklung zur Turing-Maschine sind, die mit der Idee begann, Modelle nach dem Prinzip der Verschaltung im Gehirn zu bauen. Nun können die synaptischen Verbindungen im Gehirn aufgrund neurochemischer Intensität unterschiedlich stark sein. Diesen Umstand drückt man im technischen neuronalen Modell durch Zahlengewichte aus. Im nächsten Schritt werden Lernalgorithmen hinzugegeben, die diese Gewichte verändern. Dahinter steht folgende Beobachtung des Gehirns: Wenn wir etwas lernen, dann verstärken wir die synaptischen Verbindungen. Während wir lernen, bauen wir im Hirn ein Cluster auf, das auch wieder zerfallen kann, wenn wir das Gelernte nicht wiederholen. Die Lernalgorithmen simulieren einen derartigen Lernvorgang.
AlphaGo hat nun neuronale Netze eingesetzt, die von Algorithmen gesteuert werden, die aus der Situation heraus lernen können. Sie verhalten sich gewissermaßen wie Kinder. Sie probieren aus, bekommen Rückmeldungen und "Belohnungen" (rewards), ob etwas klappt, und optimieren so ihre Handlungsschritte. Man nennt das in der Psychologie verstärkendes Lernen. Zudem wurden erfolgreiche Spielpartien gespeichert, mit denen die jeweiligen Spielzüge verglichen und bewertet werden. Das nennt man in der Psychologie überwachtes Lernen, das bereits seit vielen Jahren durch Algorithmen simuliert werden kann. Das bedeutete den Durchbruch für AlphaGo. Die Google-Leute selber waren sehr erstaunt, wie schnell ihre Software lernen konnte. Sie hatten ja nur die Rahmenbedingungen vorgegeben, aber nicht geahnt, dass es ein derartiger Erfolg werden würde.
Neuronale Netze
Matthias Eckoldt: AlphaGo hat also über den Go-Weltmeister triumphiert, weil es neuronale Netze mit selbstlernenden Algorithmen einsetzte. Damit müsste man doch eigentlich schon recht nah an so etwas wie menschliches Denkvermögen herankommen.
Klaus Mainzer: Lange Zeit glaubte man, dass das Gehirn als komplexes Organ von Milliarden von Nervenzellen völlig verschieden von einem Computer mit seinen übersichtlich getrennten Bausteinen aus Speichern, Prozessoren, Kondensatoren etc. sei. Die entscheidende Erkenntnis lautet aber: Der Konnektionismus, also die Gehirnstrategie der Evolution, leistet Ähnliches wie die Maschinen- und Automatenstrategie der Technik. So erkennen neuronale Netze dieselben (formalen) Sprachen wie entsprechende Automaten und Maschinen. Beide Strategien sind in einem mathematisch exakten Sinne äquivalent.
Wenn man für die Gewichtungen, die für die Stärke der Verbindungen stehen, nur ganze Zahlen zulässt, dann erkennen diese neuronalen Netze dieselben Sprachen wie endliche Automaten. Das sind beispielsweise Fahrkartenautomaten, die über einen bestimmten, endlichen Satz an Instruktionen verfügen. Man nennt diese einfachen formalen Sprachen "regulär".
Davon ausgehend kann man eine Hierarchie von immer komplexeren Gehirnen aufbauen und parallel dazu immer komplexere Automaten und Maschinen erstellen. Mit Blick auf ihre Erkenntnisfähigkeit von immer komplexeren Sprachen haben sie also im Sinne meiner Arbeitsdefinition unterschiedliche Grade von Intelligenz. Der Turing-Maschine, dem Prototyp eines jeden heutigen Computers, entspricht ein neuronales Netz, in dem die Gewichtungen rationale Zahlen sind. Also die Brüche, die eine endliche Anzahl von Zahlen nach dem Komma ergeben. Solche neuronalen Netze und ihre äquivalenten Turing-Maschinen können bereits natürliche Sprachen erkennen.
Nun kann man sich in der Theorie ein neuronales Netz vorstellen, das als Gewichtungen auch die reellen Zahlen zulässt. Das sind die Zahlen, die keine endliche Zahlenfolge in der Dezimalbruchentwicklung mehr haben. Das Erstaunliche ist nun, dass neuronale Netze mit reellen Zahlen als synaptischen Gewichten auch nichtrekursive (also nichtberechenbare) natürliche Sprachen erkennen können wie unser natürliches Gehirn. Unser Gehirn kann also mehr als eine Turing-Maschine!
Matthias Eckoldt: Nun bin ich sehr gespannt, welche Maschine dieser Art des neuronalen Netzes entspricht.
Die Orakelmaschine
Klaus Mainzer: Sie werden es nicht glauben, aber auch diese Maschine hat der geniale Turing in seiner Arbeit Ende der dreißiger Jahre schon erwähnt. Er nannte sie Orakelmaschinen. Das sind Turing-Maschinen, die auf Zusatzinformationen ("Orakel") zurückgreifen, von denen wir nicht wissen, ob sie berechenbar sind oder nicht.
Matthias Eckoldt: Das hört sich reichlich menschlich an.
Klaus Mainzer: Absolut! Selbst ein cool rechnender Banker oder ein Manager verhalten sich wie Orakelmaschinen. Sie haben ihre Kalküle und berechnen ihre Strategien, aber dann kommen Bauchgefühl, Intuition und Lebenserfahrung hinzu, die dann an entscheidender Stelle in die Kalkulationen einbezogen werden. Das ist einer Orakelmaschine völlig äquivalent. Warum sollten wir aber reelle Zahlen in unseren Simulationen zulassen? Sie lassen sich geometrisch als alle Punkte auf einem Zahlenstrahl darstellen, der kontinuierlich ist, also ohne "Lücken" zwischen den Punkten. Kontinuierlich sind auch unsere Empfindungen: Ich empfinde an meinem Finger ja nicht nur die beiden alternativen Werte Druck oder Nicht-Druck, sondern stufenlos und kontinuierlich alle Werte dazwischen. Ebenso sind andere Wahrnehmungen kontinuierlich. Gehör, Geschmack, Sehen, Riechen. Alle Wahrnehmungsfelder werden mathematisch durch kontinuierliche Kurven dargestellt. In der Technik spricht man dann von analogen Größen.
Demgegenüber werden digitale Größen auf alternative Ja-Nein-Entscheidungen reduziert, die technisch durch die Ziffern 0 und 1 dargestellt werden, zum Beispiel Feuern (1) und Nicht-Feuern (0) der Neuronen. Die Stärke einer Druckempfindung wird dann durch die Anzahl des Feuerns der entsprechenden Hautneurone erzeugt - bei starkem Druck eine größere Anzahl von Impulsen als bei kleinerem Druck. Mathematisch approximieren diese digitalen Folgen die kontinuierliche Wahrnehmung, die wir empfinden.
Matthias Eckoldt: Insofern drängt sich ja die Frage auf, inwieweit wir überhaupt auf die Digitalmaschine reduzierbar sind?
Klaus Mainzer: Ich bin ein Verfechter der Sichtweise, dass wir Menschen uns als Analog- und Digitalmaschinen begreifen und das auch bei der mathematischen Modellierung berücksichtigen sollten. Ich sage jedoch nicht, dass der Mensch etwas ganz anderes ist, weil er nicht allein digital darstellbar ist. Sondern ich sage, das Digitale liefert nur ein begrenzt gutes Modell, und wir müssen uns nach einem erweiterten Modell umschauen.
Matthias Eckoldt: Nach den Orakelmaschinen also.
Klaus Mainzer: Wenn Sie es theoretisch in die Maschine umsetzen, dann sind das diese turingschen Orakelmaschinen. Entscheidend ist dabei, wie weit wir kommen, wenn wir den menschlichen Organismus mit all seinen Möglichkeiten modellieren. Wir können das, was ich Maschinensprache des Gehirns nenne, heute ziemlich genau beschreiben. Das heißt, die Neurobiologie - also die neurochemische Verschaltung der Neuronen - ist heute mathematisch gut modellierbar.
Vom Gehirn lernen
Matthias Eckoldt: Dann könnte man ja solche Systeme prinzipiell auch bauen.
Klaus Mainzer: Das ist genau die Frage. Bislang ist es jedoch nur gelungen, solche Systeme auf herkömmlichen Computern approximativ zu simulieren. Die Frage, ob man das tatsächlich auch bauen kann, führt zu einer weiteren spannenden Frage, nämlich der, ob man sich prinzipiell neue Rechnerarchitekturen vorstellen kann. Ein entscheidender Punkt bei unseren heutigen Computern ist, dass die einzelnen Funktionseinheiten getrennt sind. Da gibt es den Festplattenspeicher, den Prozessor und den Arbeitsspeicher. Das ist im Gehirn ganz anders. Das dort existierende neuronale Netz ist polymorph. Das heißt, die Gehirnzellen sind im Wesentlichen alle gleichberechtigt. Dieselbe Zellstruktur kann speichern und rechnen.
Wenn man sich diesen Unterschied vor Augen hält, dann wird sehr eingängig, dass in der heutigen Computerarchitektur enorm viel Energie und Zeit verloren geht, weil andauernd Informationen vom Prozessor in den Speicher und vom Speicher wieder zum Prozessor geschaufelt werden müssen. Man nennt das den "von-Neumann-Flaschenhals" (bottleneck) der traditionellen (von Neumann) Rechnerarchitektur. Wenn man eine Rechnerarchitektur hätte, die wie das Gehirn arbeitet, würde man viel Zeit und Energie sparen. Ich kann mir vorstellen, dass diese polymorphen Strukturen, die uns die Natur vorgemacht hat, der Zukunftsschlager für die Computerarchitektur sein werden. Die Zeit- und die Energieersparnis sind die praktischen Gründe, aus denen heraus man Systeme entwickeln wird, die unserem Gehirn nachempfunden sind und über ähnliche polymorphe und neuromorphe Rechnerstrukturen verfügen.
Software, Hardware, Middleware
Matthias Eckoldt: Was bedeutet das für das Bewusstsein?
Klaus Mainzer: Die Arbeitshypothese der Neuropsychologie lautet, dass bestimmte Verschaltungsmuster im Gehirn, die man mit den bildgebenden Verfahren beobachten kann, mit bestimmten kognitiven Zuständen und Leistungen korreliert sind. Korrelationen sind statistische Verbindungen, das heißt bestimmte Verschaltungsmuster im Gehirn treten statistisch gehäuft auf, wenn Menschen bestimmte kognitive Leistungen (Sehen, Hören, Denken, Sprechen) vollbringen oder Gefühle und Bewusstsein haben. Statistik bedeutet aber, dass es Abweichungen gibt. Da taucht nicht bei allen Menschen identisch dasselbe starre Muster bei zum Beispiel bestimmten Emotionen auf, sondern diese Muster variieren individuell. Es gibt Abweichungen, aber im Rahmen bestimmter Varianzen bilden sich Prototypen heraus, die diese Korrelationen bestätigten.
Matthias Eckoldt: Korrelation heißt, man weiß, welche Region aktiv ist, wenn eine bestimmte kognitive Leistung vollbracht wird. Das besagt aber noch lange nicht, dass man auch versteht, wie diese Leistung erbracht wird.
Klaus Mainzer: Das ist der entscheidende Punkt. Deswegen bediene ich mich eines Modells aus der Informatik, wobei ich nicht behaupte, dass auch das Gehirn nach diesem Modell funktioniert. Höchstwahrscheinlich wird es im Gehirn komplexer zugehen. Allerdings mag dieses Modell trotzdem hilfreich sein, um auszudrücken, was ich meine. Der Kognitionspsychologe nimmt eine Perspektive ein, aus der heraus er uns Menschen beschreibt, als wären wir User unseres Gehirns, so wie wir auch User von Computern sind. Beim Computer nennt man den Zwischenbereich zwischen der nutzernahen Programmiersprache (Software) und der Maschinensprache der Technik (Hardware) auch die Middleware.
Wenn ich das auf das Gehirn übertrage, dann wird klar, dass das Rätsel bei der Frage nach dem Bewusstsein - und nach menschlichem Verhalten allgemein - auf dem Gebiet der Middleware liegt. Wir haben bereits ziemlich genaue wissenschaftliche Untersuchungen über menschliches Verhalten, über den Einsatz von Bewusstsein und Sprache. Auf den molekularen und neurochemischen Verschaltungsebenen gibt es ebenfalls ein sehr gutes Verständnis der Prozesse. Aber das Dazwischen, die Middleware, ist noch weitgehend unbekannt. Wie sind neuronale Verschaltungsmuster mit Wahrnehmen, Denken, Sprechen und Bewusstseinszuständen verbunden?
Matthias Eckoldt: Sehen Sie denn da erste Ansätze, die uns die Middleware des Gehirns verständlich machen können?
Klaus Mainzer: Ein erster Ansatz ist meines Erachtens das sogenannte brain reading. Es gibt also mittlerweile Auswertungsprogramme für neuronale Aktivitäten, die mithilfe von Algorithmen in der Lage sind, aus dem neuronalen Muster zu erkennen, ob der Proband gerade einen Baum oder eine Katze sieht. Bei diesen Analyseprozessen im Gehirn stößt man auf ähnliche Probleme, wie wir sie in der Künstliche-Intelligenz-Forschung beim Thema des autonomen Fahrens haben.
Ein Unfall eines autonom fahrenden Autos der Firma Tesla kam zustande, weil die Software einen von links kommenden Lastwagen nicht als solchen erkannt hat, sondern seine große weiße Fläche für einen statischen Teil des Himmels als Hintergrund hielt. So kam es zu der folgenschweren Verwechslung von Lastwagen und Himmel. Das Problem, großflächige Objekte als sich bewegend oder statisch einzuordnen, kennen die Forscher, die sich mit brain reading beschäftigen, ebenso. Es wird sicher noch eine Weile dauern, bis wir aus dem Verschaltungsmuster zugleich auch die Bedeutung des Verschaltungsmusters ableiten können. Ich sehe da für die Zukunft eine Doppelstrategie: Einerseits Maschinenalgorithmen, die immer genauer Muster analysieren können, und auf der anderen Seite immer bessere Analysen der Vorgänge im Gehirn, sodass man dem Geheimnis der Emergenz von Verschaltungsmustern und ihrer Verknüpfung mit der menschlichen Kognition auf die Schliche kommt.
Die Korrelate des Bewusstseins
Matthias Eckoldt: Mit dem Stichwort Emergenz sind wir im Kern der Frage nach dem Bewusstsein angelangt. Emergenz beschreibt ja eine Systembildung, bei der das System mehr ist als die Summe seiner Teile. Bezogen auf das Bewusstsein heißt das: Wenn das Bewusstsein aus materiellen, physikalisch beschreibbaren Prozessen entsteht, dann muss es einen Punkt geben, an dem sich diese materiellen, räumlichen Prozesse auf wundersame - eben emergente - Weise zusammenschließen und plötzlich in der Lage sind, geistige, ihrem Wesen nach nichträumliche Phänomene wie das Bewusstsein zu erzeugen.
Klaus Mainzer: Das ist in der Tat ein Phänomen, über das sich Menschen seit Jahrhunderten wundern. Die Vermutung liegt nahe, dass an dieser Stelle etwas Neues hinzukommen muss. Schauen Sie sich die Diskussionen um den Vitalismus im 19. Jahrhundert an. Da hat man auch behauptet, dass es bestimmter Kräfte, der sogenannten vis vitalis, bedürfe, um den Sprung vom Anorganischen zum Organischen zu beschreiben. Zugleich ist es ja nicht so, dass Leben heute einfach auf physikalische und chemische Zustände reduziert wird. Das sind hochkomplexe Zustände, die wir bei lebendigen Organismen beschreiben. Aber erst die komplexen Strukturen und Verschaltungsnetze auf den Ebenen der Moleküle, Proteine, Zellen und Organe erzeugen die Zustände, die wir mit Leben verbinden. Das einzelne Molekül hat kein biologisches Leben, erst seine hochkomplexe und strukturierte Vernetzung in einer Zelle oder einem Organismus. In genau dieser Weise verstehe ich auch Bewusstseinszustände. Das sind kognitive Zustände, die im Prinzip durch hochkomplexe Vernetzungsstrukturen im Gehirn möglich werden. Das einzelne Neuron denkt und fühlt bekanntlich nicht.
Matthias Eckoldt: "Im Prinzip" heißt …
Klaus Mainzer: "Im Prinzip" heißt, dass wir diese Vorgänge bislang nur annäherungsweise kennen. Wir können diese Mechanismen heute noch nicht so genau beschreiben, dass daraus der entsprechende Bewusstseinszustand abgeleitet werden kann, sondern wir sind immer noch auf der Stufe der statistischen Korrelationen. Aber diese Stufe stellt ja keine endgültige Beschreibung dar, sondern nur eine Arbeitshypothese auf dem Weg zum genaueren Verständnis dieser Prozesse.
Matthias Eckoldt: Wenn Sie die Suche nach den Korrelaten des Bewusstseins als einen Schritt auf dem Weg zum naturwissenschaftlichen Verständnis der Bewusstseinsvorgänge sehen, dann höre ich da einen grundsätzlichen Erkenntnisoptimismus heraus. Für Sie steht es also außer Frage, dass die Hirnforschung die erste Adresse für die Lösung der Rätsel um das Bewusstsein ist?
Klaus Mainzer: Gehirnforschung zusammen mit Neuropsychologie und Neuroinformatik! Jedenfalls ist die Klärung dieser Korrelationen keine Frage, die in der Philosophie oder einer wie auch immer gearteten Metaphysik durch bloßes Nachdenken entschieden wird, sondern nur zusammen mit empirischer Forschung. Das wird sich in absehbarer Zeit lösen. Und wie das in der Geschichte der Wissenschaften immer war, wird es auch dann sein: Die neuen Erkenntnisse werden selbstverständlich werden. Nur noch ein paar Historiker werden daran erinnern, dass es eine Zeit gab, in der man sich nicht vorstellen konnte, wie Bewusstsein aus neuronalen Prozessen entsteht.
Deshalb wäre es auch für die Philosophie fatal, im Bewusstsein das letzte Gebiet zu sehen, auf dem man sich der Erfolgsmeldungen der empirisch arbeitenden Wissenschaften erwehren könnte. Ich halte das für ein völlig schiefes Verständnis von Philosophie. Philosophie brauchen wir heute ja auch in der Physik, wenn es um die Grundlagen und die Methoden geht. Aber das ist etwas völlig anderes, als einen Ort letzter Resistenz gegen die Naturwissenschaften behaupten zu wollen.
Über das Leib-Seele-Problem
Matthias Eckoldt: Was wäre dann Ihrem Verständnis nach ein besseres Selbstverständnis der Philosophie?
Klaus Mainzer: Philosophie sollte das sein, was sie seit Anbeginn war: Philosophie fragt nach den Grundlagen und Prinzipien unseres Wissens. Bereits bei Aristoteles war die Erforschung der Natur der Dinge (physis) in seiner Naturphilosophie mit Erfahrung und logischem Denken verbunden. Diese so verstandene Naturphilosophie nannte er Physik. In der Neuzeit verstand sich Newton ebenfalls als Naturphilosoph, der allerdings Naturforschung in der genauen Sprache der Mathematik formulierte und mit gezielten Experimenten verband. Auch wenn wir über die Grundlagen und Prinzipien der modernen theoretischen Physik nachdenken, ist das mit empirischer Forschung verbunden. Auch wenn wir über die Prinzipien der modernen Gehirn- und Kognitionsforschung nachdenken, sollte sie mit mathematischer Modellierung, Computersimulation und empirischer Forschung verbunden sein. Philosophie denkt insgesamt über die Grundlagen und Prinzipien von Wissenschaft nach. Sie fragt zum Beispiel nach den Voraussetzungen, die wir bei unseren Theorien und Experimenten meistens unhinterfragt annehmen. So steht die moderne Wissenschaftsphilosophie in ungebrochener Tradition mit den Anfängen der Philosophie.
Die Erfahrung und unser Denken heute stützen sich allerdings auf genauere Instrumente, als das zur Zeit der vorsokratischen Naturphilosophen möglich war. Wissenschaft, die Fragen nach den Grundlagen und Prinzipien (also die Philosophie) vergisst, ist blind. Wissenschaft, die glaubt, ohne empirische Forschung auskommen zu können, ist leer. So bleibt Philosophie als Grundlagen- und Prinzipienforschung heute und in Zukunft fundamental für den menschlichen Erkenntnisprozess.
Matthias Eckoldt: Philosophie sollte sich in Ihrem Verständnis am besten als Erkenntnistheorie entwerfen. Aber wie ist es dann mit solchen Fragestellungen wie dem Leib-Seele- oder Geist-Gehirn-Problem? Da ist es doch vor allem die Philosophie, die das Bewusstsein der grundsätzlichen Erklärungslücke wachhält.
Klaus Mainzer: Das Leib-Seele-Problem ist ja in der Zeit von Descartes entstanden, als man den menschlichen Organismus nur sehr grob aus der Anatomie kennenlernte. Dem standen völlig unverstanden kognitive ("geistige") Leistungen gegenüber. Weil man keine sinnvollen Verbindungen zwischen diesen beiden Bereichen sah, wurden die beiden Begriffe - Leib und Seele oder Geist und Materie - hochstilisiert und zu unerklärlichen Gegensatzpaaren erklärt. Die sprachliche Festschreibung in Begriffen suggeriert ja, dass hinter diesen Begriffen tatsächlich getrennte Gegenstände liegen. Leib und Seele oder Geist und Materie sind doch nur vorläufige Bezeichnungen, die zu ihrer Zeit durchaus sinnvoll gewesen sein mögen. Aber wir sind mittlerweile wissenschaftlich doch weit darüber hinaus.
Matthias Eckoldt: Was Philosophie zumindest kann, ist Fragestellungen zu schärfen. Das dürfte ja eigentlich auch in Ihrem Sinne sein. Eine dieser Fragestellungen ist das, was vom dem US-amerikanischen Philosophen Joseph Levine als Erklärungslücke bezeichnet wurde. Dabei geht es um die erkenntnistheoretische Dimension, dass wir Bewusstsein nur aus der Erste-Person-Perspektive erfahren, während die empirischen Wissenschaften aus der Dritte-Person-Perspektive auf ihren Untersuchungsgegenstand schauen. Das bereitet normalerweise keine Probleme, aber wenn die Wissenschaft das Bewusstsein erkennen will, gibt es diese grundsätzliche Differenz in der Perspektive, die nicht zu überwinden ist. Das wurde dann auch als Qualia-Problem bekannt. Wie soll das, was ich im Innersten empfinde, jemals aus der Perspektive der Wissenschaft erkannt und beschrieben werden?
Ein Adapter für Schmerzen
Klaus Mainzer: Ein Mediziner kann eine Blinddarmentzündung sehr genau beschreiben. Das ist natürlich etwas völlig anderes, als selbst die Schmerzen zu haben, die bei einer Blinddarmentzündung entstehen. Die Schmerzen selbst kann der Mediziner auch erklären, aber er kann die Schmerzen des Patienten nicht empfinden. Das scheint, wie Sie auch dargestellt haben, völlig unüberwindbar zu sein. Ich könnte mir aber vorstellen, dass wir die Schmerzempfindungen auf eine Art Adapter bringen, sodass ich Ihre Schmerzen empfinden kann. Warum sollte das nicht möglich sein? Ich halte es keineswegs für natur- oder gottgegeben, dass sich da ein unüberwindbarer Graben auftut. Wenn wir erst so präzise Kenntnisse darüber haben, was genau im Gehirn abläuft, und die entsprechenden technischen Möglichkeiten im Rahmen neuromorpher Strukturen zur Verfügung stehen, dann sollte es möglich sein, die Empfindungswelt eines anderen komplett zu teilen.
Matthias Eckoldt: Das würde darauf hinauslaufen, die Differenz von Erster- und Dritter-Person-Perspektive durch weitere Entwicklungen der Technik einzuschmelzen.
Klaus Mainzer: Das klingt vielleicht nach Science Fiction, liegt aber gar nicht mehr so fern. Das könnte auf sensorieller Ebene laufen, so wie wir es heute schon bei Querschnittsgelähmten sehen. Da können wir auf künstlichem Wege Teile ihrer verloren gegangenen Empfindungswelt realisieren. Nach diesem Prinzip könnte man die Empfindungswelt eines anderen Menschen verfügbar machen, wenn man die entsprechenden Daten, Sensoren und Verschaltungsmuster im Gehirn kennt. Warum sollte das prinzipiell ausgeschlossen sein? Insofern kann ich die Behauptung einer unüberwindlichen Grenze an der Stelle zwischen innerer Erfahrung und äußerer Welt nicht nachvollziehen. Wir sollten schleunigst aufhören, prinzipielle Grenzen zu konstatieren, um daraus dann endgültige Positionen abzuleiten. Man bezieht sich dabei jeweils auf den aktuellen Wissensstand. Der aber ändert sich rasant und wird sich in Zukunft immer rascher ändern.
Empfindungsfähige Maschinen
Matthias Eckoldt: Wird es dann auch möglich sein, dass wir es nicht nur mit Schnittstellen zwischen Mensch und Maschine zu tun bekommen, sondern werden denn perspektivisch auch die Maschinen selbst empfinden können? Sind also künstliche Intelligenzen mit phänomenalem Bewusstsein denkbar?
Klaus Mainzer: Auch das würde ich nicht ausschließen. Wobei ich an dieser Stelle eine ähnliche Position einnehme, wie sie der Informatiker Joseph Weizenbaum hatte. Er war ja einer der großen Begründer der künstlichen Intelligenz. In seinen späteren Jahren hatte er aber zunehmend ethische Bedenken. Dabei ging es um die Simulation und Realisation von Gefühlen durch künstliche Intelligenzen. Er wollte bereits die Grenze zu sensoriell empfindlichen Systemen nicht überschreiten. Ich hatte dagegen eingewendet, dass es doch sehr nützlich wäre, wenn mein PC etwas von meinen Gefühlen mitbekäme und beispielsweise merken würde, wenn ich an einem Tag recht nervös bin und mich andauernd vertippe. Dann könnte der PC da vielleicht geeignete Maßnahmen ergreifen, um mir zu helfen. Den Tastaturanschlag verlangsamen oder eine beruhigende Farbe auf den Desktop zaubern. Das wäre ja heute alles schon machbar. Ein weiterer Schritt wäre es dann, Systeme zu schaffen, die selber empfinden könnten.
Matthias Eckoldt: Wie würden Sie diesen Zustand definieren, und wie könnte man ihn in eine künstliche Intelligenz implementieren?
Klaus Mainzer: Ich sehe da keinerlei mystische Dimension. Der inneren Empfindung liegen bestimmte sensorielle, neurochemische Erregungszustände zugrunde. Natürlich könnte man im Prinzip genau solche Erregungszustände nachbilden. Für mich ist die Frage eher, ob wir das wirklich tun sollten. Deshalb mein Verweis auf Weizenbaum. Sollten wir wirklich ein System erzeugen, das Schmerzen empfindet? Denn das würde dieselben ethischen Fragestellungen mit sich bringen, die wir auch in der Tierethik haben. Wie Tiere würden solche Systeme auch leiden können. Warum also sollten wir so weit gehen und das Elend in der Welt noch vergrößern? Ich finde, wir dürfen nicht über die Stufe der Dienstleistung für uns Menschen hinausgehen, auch wenn die technischen Systeme immer komplexer, autonomer und intelligenter werden. Wir sind zwar längst dabei, uns evolutiv mit Technik zu verändern. Aber Technik sollte nicht zum Selbstzweck werden. Das ist gerade eine ganz spannende Zeit. Denn im Moment ist Technik noch gestaltbar. Im Moment! Denn es gibt auch Szenarien, in denen Automatisierung und künstliche Intelligenz uns Menschen ganz weit an den Rand drücken.
Jenseits des Menschen
Matthias Eckoldt: Ist Ihre Position in der Scientific Community mehrheitsfähig?
Klaus Mainzer: Ganz und gar nicht. Wenn ich zum Beispiel mit meinen koreanischen Kollegen in den Forschungsstätten in Seoul diskutiere, höre ich da völlig andere Positionen. Ebenso im kalifornischen Silicon Valley. Dort sagt man: Wir Menschen sind nicht mehr als eine Zwischenstufe der Evolution. Die Entwicklungen gehen weiter, und auch wir werden uns als Gattung stark verändern. An der Stelle sage ich dann: Wir sind an einer Stelle in der Evolution angelangt, wo wir aufgrund unseres Bewusstseins die Chance haben, die Evolution zu reflektieren und zu bewerten. Wir sehen heute die enormen Kollateralschäden der Evolution und sollten ihr keinen freien Lauf lassen. Wir haben heute, an dieser entscheidenden Wegmarkierung in Sachen der künstlichen Intelligenz, eine enorme Verantwortung, die wir ernst nehmen sollten. Vielleicht können wir es besser machen, als es die Evolution in den zurückliegenden Jahrmillionen getan hat.
Matthias Eckoldt: In den Science-Fiction-Szenarien à la Terminator geht es zumeist darum, dass die Maschinen vom Menschen nicht mehr kontrollierbar sind und sich gegen uns verschwören. Sie werden bösartig. Aber wäre es nicht das viel größere ethische Problem, wenn sie einfach nur gleichgültig gegenüber dem Menschen sind?
Klaus Mainzer: Ich will im Folgenden ein Szenarium entwickeln, das ich in diesem Zusammenhang für wahrscheinlich halte. Bewusstsein ist bei uns Menschen hochgradig ausgebildet, gleichzeitig erleben wir heute aber eine Strategie der technischen Intelligenz, die eine ganz andere Richtung einschlägt. Hier spielt das Bewusstsein allenfalls eine untergeordnete Rolle - zumeist jedoch gar keine. Bislang haben wir uns nur über einzelne Gehirne oder Computer unterhalten. Was aber ist mit der gesamten IT-Welt und ihren globalen Netzwerken? Das Internet war der erste Schritt in diese Richtung. Mittlerweile reden wir vom Internet der Dinge, in dem nicht nur die einzelnen Menschen, sondern die mit Sensoren versehenen Dinge und Gegenstände untereinander kommunizieren. Da steckt die Intelligenz nicht mehr nur im einzelnen Endgerät, sondern vor allem in der Cloud, also im Netzwerk. Und sie kommen ohne Bewusstsein und Gefühle aus.
Trotzdem ist die Intelligenzsteigerung in diesen Netzen heute schon so enorm, dass uns diese Netze manipulieren können. Die Algorithmen erkennen blitzschnell Ihr und mein Profil, sie beobachten uns und bringen uns gegebenenfalls wieder auf Kurs - ganz sanft und nett durch das Setzen von Anreizen beim nudging. Sie sind selbstlernend, ohne dass sie etwas mit Bewusstsein zu tun hätten. Wenn ich das fortschreibe, habe ich die Art der Intelligenz, die im Silicon Valley derzeit propagiert wird. Dort wird viel von der sogenannten Singularität gesprochen. Das meint, es gibt irgendwann einen Punkt, wo die IT-Intelligenz der kollektiven menschlichen Intelligenz überlegen ist. Das ist keine böse Maschine, die uns allen den Garaus machen würde, sondern eine Intelligenz, die lauter vernünftige, rationale Entscheidungen trifft. Ihre Entscheidungsgrundlage ist dann jedoch nicht mehr menschlicher Natur, sodass wir allmählich schmerzfrei aussortiert werden könnten - gewissermaßen "wegrationalisiert".
Matthias Eckoldt: Nach diesem Szenarium würde es dann keinen finalen Kampf zwischen Menschen und Maschinen geben. Wenn das menschliche Bewusstsein einer solchen computergestützten Megaintelligenz auf einem Gebiet überlegen wäre, dann wahrscheinlich nur noch in der Fehleranfälligkeit, die eng mit dem menschlichen Bewusstsein verbunden ist. Denn alle Subjektivität zeichnet sich ja gerade dadurch aus, dass sie trügerisch ist. Vom Gesichtspunkt der Evolution gibt es dann tatsächlich keinen Grund mehr, den Menschen weiterhin im Arsenal der Arten zu behalten.
Digitale Neandertaler
Klaus Mainzer: So argumentieren die Kollegen in Seoul auch. Ich habe dort jüngst nach dem Erfolg von AlphaGo mit einem sehr jungen koreanischen KI-Spezialisten diskutiert, der uns Menschen als digitale Neandertaler bezeichnet hat. So wie die Neandertaler sich erst mit uns vermischt haben, dann aber aussortiert wurden, würden wir auch bald dran sein. Und er meinte, das sei gut so! Die Fehleranfälligkeit des Menschen war dabei sein Hauptargument. Warum, so hat er gefragt, sollten wir die Fehleranfälligkeit kultivieren, die jedes Jahr zum Beispiel zu Millionen von Verkehrstoten und Opfern von Gewalt und Terror führt? Warum sollten wir die Schmerzanfälligkeit und die Verfallsanfälligkeit des Menschen kultivieren? Warum tun wir nicht alles, um das zu überwinden und dem Neuen eine Chance zu geben? Die koreanischen Philosophen, die bei diesem Symposium dabei waren, haben beifällig genickt und die Argumentation kulturhistorisch unterstützt. Alle schwenkten auf diese Linie ein.
Matthias Eckoldt: Aber Sie nicht, oder?
Klaus Mainzer: Nein, ich nicht und der anwesende deutsche Botschafter auch nicht. Wir beiden Alteuropäer waren nicht einverstanden. Der Botschafter schaute die ganze Zeit verzweifelt an die Decke. Ich habe dann versucht darzulegen, warum das unter Umständen eine äußerst gefährliche Strategie sein könnte. Denn es gibt keinerlei Garantien dafür, dass wir Menschen nicht von einer solchen Entwicklung in eine Richtung gedrängt werden, die mit erheblichen Verlusten verbunden ist. Denn was verloren gehen könnte, wäre eben nicht nur das Fehleranfällige, das mit Gefühlen verbunden ist, sondern die gesamte Kultur, die sich um die Pflege der Gefühle rankt. Die gesamte Literatur, all die Meisterwerke der Kunst würden in Vergessenheit geraten, weil niemand, der nicht Gefühle in menschlicher Weise erleben kann, mehr damit etwas anfangen kann. Es könnte also eine schauerliche Zeit der allgemeinen Vergessenheit und Geschichtslosigkeit hereinbrechen. Das wäre dann wirklich der Zustand, den Heidegger zu seiner Zeit als "Seinsvergessenheit" beklagte. Das menschliche Bewusstsein ist also für mich nicht in einem naturwissenschaftlichen und technischen Sinne besonders, sondern in der individuellen Betroffenheit jedes Einzelnen und in unserer kulturellen Identität als Menschheit. Auch hier ist die Philosophie heute mehr denn je herausgefordert.
Das Gespräch ist Matthias Eckoldts Buch Kann sich das Bewusstsein bewusst sein?entnommen. Es erscheint hier in einer leicht gekürzten Fassung.
changeX 02.03.2018. Alle Rechte vorbehalten, all rights reserved.
Artikeltags
Carl-Auer Verlag
Weitere Artikel dieses Partners
E. Noni Höfner und Charlotte Cordes über den Provokativen Ansatz zum Interview
Fritz B. Simons Anleitung zum Populismus zur Rezension
Formen - ein kurzes Interview mit Fritz B. Simon zu seinem Werk zum Interview
Ausgewählte Beiträge zum Thema
Kann das Gehirn das Gehirn verstehen? - das neue Buch von Matthias Eckoldt zur Rezension
Ausgewählte Links zum Thema
-
Zum Buch auf der Verlagsseitezum Buch
Zum Buch
Matthias Eckoldt: Kann sich das Bewusstsein bewusst sein?. Gespräche mit Dirk Baecker, Markus Gabriel, John-Dylan Haynes, Philipp Hübl, Natalie Knapp, Christof Koch, Georg Kreutzberg, Klaus Mainzer, Abt Muhô, Michael Pauen, Johannes Wagemann und Harald Walach. Carl-Auer Verlag, Heidelberg 2017, 247 Seiten, 24.95 Euro, ISBN 978-3-8497-0202-1
Buch bestellen bei
Osiander
genialokal
Amazon