Touchscreen

Der PLATO IV von IBM gilt als der erste Computer, der über eine Berührungserkennung direkt am Monitor gesteuert werden konnte. Er wurde 1972 vorgestellt und verfügte über einen Plasmabildschirm und ein Infrarotsystem zur Berührungserkennung. Dies war noch ein Mono-Touch-Screen. Seit dem iPhone ist eigentlich nur noch von Multi-Touch-Screens die Rede, bei denen Aktionen nicht nur mit einem, sondern gleich mit mehreren Fingern gleichzeitig ausgelöst und gesteuert werden können. Den Multi-Touch-Screen gibt es allerdings nicht erst seit dem iPhone der Firma Apple. Die Bell Laboratories hatten bereits 1984 einen Röhrenmonitor entwickelt, der mit einer Oberfläche ausgestattet war, die eine Steuerung mit mehreren Fingern ermöglichte.

Es gibt verschiedene Verfahren,(Resistive Touchscreens, kapazitive Touchscreens, Infrarotdioden, EMR-Technologie von Wacom, N-trig-Multi-Touch-Screen, Frustrated Total Internal Reflection (FTIR), Videoerkennung etc.) durch die die Berührungserkennung erfolgen kann, nämlich entweder nur durch den Finger oder durch Finger und/oder Stift (Stylus). Dies hängt davon ab, ob die Berührung drucksensitiv erkannt wird oder durch die Veränderung von Magnetwellen, Infrarotstrahlen oder durch Bilderkennung. Insbesondere bei der infrarotstrahlenunterstützten Videoerkennung müssen nicht Finger oder Stifte, sondern es kann jeder beliebige Gegenstand zur Identifizierung von Fixier- bzw. Manipulationspunkten eingesetzt werden. Durch seine Positionierung innerhalb eines Videoprojektionsfeldes (Aufsicht- oder Rückprojektion) findet eine Veränderung (z. B. durch Schattenwurf, Reflexion) statt, die z. B. durch eine Infrarotlichtquelle festgestellt werden kann. Je nach Leistung des Computers können entsprechend viele Veränderungen und Objekte gleichzeitig identifiziert und deren Position und Zusammenwirken interpretiert werden. Gerade dieses Verfahren findet für Tangible-User-Interfaces Anwendung (z. B. reacTable).

Touchscreens stellen zunächst einmal eine Herausforderung für die Entwickler und den Anwender dar. Die Benutzung erscheint gegenüber der Computermaus anders und neu und durch die Berührung mit dem Finger zudem sehr direkt. Dies und auch die Möglichkeit, an mehreren Stellen gleichzeitig interagieren zu können, könnte die Begeisterung erklären, die Touch-Screen-Anwendungen in der Regel auslösen. Aber dennoch gibt es bei ihnen auch entscheidende Nachteile. Die Auswahl erfolgt bei weitem nicht so filigran, wie mit einer Computermaus und außerdem verdeckt der Anwender bei Touchscreens mit seinen Händen nicht selten das, was er gerade bedienen oder sehen möchte. Ein unbestrittener und bestimmt zunehmender Einsatzbereich für Mono- und Multi-Touch-Screens werden Maschinensteuerungen und Automaten aller Art sein. Dort lassen sich die Funktionserfordernisse in klar definierbare Bereiche einteilen, die durch entsprechend große Buttons auswähl- und steuerbar sind. Außerdem lassen sich über den Monitor in Ton und Bild Kaufanreize und Produkterläuterungen anzeigen, die per Fingerberührung auswählbar sein können. Hierbei genügt zur Steuerung aber in der Regel ein Mono-Touch-Screen.

Die Multi-Touch-Angebote werden insbesondere für Tangible-User-Interfaces in den Bereichen Computerspiel, Ausstellungsinstallation und Exponaterezeption und auch für Video-DJs eine zunehmende Rolle einnehmen. Die Computermaus und die Tastatur können durch die Mono- und Multi-Touch-Screens aber weder hinreichend ersetzt noch verdrängt werden. Zukünftige Laptops werden ohne Zweifel mit Multi-Touch-Screens ausgestattet sein. Dies wird aber in erster Linie daran liegen, dass die Möglichkeiten, einen Computer zu aktualisieren bzw. die Kunden zum Kauf neuer Computer anzuregen, allmählich abnehmen. Die üblichen Kennzahlen: Monitorauflösung, Speicherkapazität und Arbeitsspeichergröße haben bereits Werte erreicht, die die Erfordernisse der meisten Anwender hinreichend erfüllen. Dennoch kann es auch praktisch sein, über ein Notebook mit Touch-Screen zu verfügen. Schließlich gibt es einige Funktionen, die sich mit den Touch-Screen besser, intuitiver und/oder unterhaltsamer bedienen lassen. So ließe sich z. B. neben den vielen Möglichkeiten der Computerspiele die Steuerung des Fernsehprogramms oder die der Haustechnik über den Touch-Screen vornehmen. Letzteres wäre mit der bereits erwähnten Maschinensteuerung vergleichbar. Der Spielesektor bietet wohl den dringlichsten und umfangreichsten Einsatz von Mono- und Multi-Touch-Screens. Flach auf einen Tisch gelegt bietet sich gerade der Multi-Touch-Screen als elektronisches Brettspiel zum Spielen mit mehreren Personen an.

Die wesentlichen Gründe, weshalb ein iPhone mit einen Multi-Touch-Screen ausgestattet ist, ergaben sich eventuell aus der geringen Größe des mobilen Gerätes und der Notwendigkeit und dem Interesse der Apple-Entwickler, Innovation mit Spaß am Benutzen zu kombinieren (Abb. 246). Bei der geringen Größe wird es schließlich schwierig, im Gehäuse eine geeignete und funktionstaugliche mechanische Tastatur unterzubringen. Oft sind deren Tasten so klein, dass man nur mit sehr hoher Aufmerksamkeit und motorischer Sensibilität Texte eingeben kann. Eine Softwaretastatur kann hingegen in seinen Funktionen und Eigenschaften (Zahlen, Alphabet, Sonderzeichen) aufgeteilt und so im Touchscreen mit relativ großen Tasten angeboten werden. Außerdem bietet eine Softwaretastatur alle erdenklichen Anpassungsmöglichkeiten hinsichtlich der Sonderzeichen unterschiedlicher Sprachen und der Tastaturtypen (QWERTZ, QWERTY, AZERTY, Dvorak). Wenn man dies als Grundlage der Entscheidung für einen Touch-Screen unterstellt, ergäben sich alle weiteren Anwendungsabsichten aus dieser Vorgabe. Die Multi-Touch-Funktion lässt sich bereits dadurch rechtfertigen, dass durch sie eine sehr intuitive Zoomfunktion ermöglicht wurde. Dennoch ist das Interfacedesign des iPhones bei weitem nicht frei von Defiziten.

Apple brachte im Februar 2010 das iPad heraus, welches komplett auf eine Hardware-Tastatur verzichtet, aber einen relativ großen Monitor bietet. Das iPad wirkt wie ein vergrößertes iPhone. Immer dann, wenn es darum geht, filigrane Elemente anzuwählen, wird solch ein Rechner seinen Zweck aber nicht erfüllen können. Einzelne Menüpunkte und Links vieler Internetseiten werden sich mit dem Finger nicht bedienen lassen. Hier zeigt sich, wie praktisch es ist, wenn man mit einem Computermaus-Cursor pixelgenau Details auswählen kann, ohne ständig auf Details zoomen zu müssen, nur um sie besser anwählen zu können. Der Bedienspaß mit einem Touchscreen bleibt allerdings ungetrübt, wenn man seine Möglichkeiten nur in den Bereichen einsetzt, wo er seine Vorteile hat. So gibt es bereits Betriebssysteminterfaces, die ideal für Touchpad-Computer sind. Exemplarisch sei hier BumpTop (Abb. 247) erwähnt. BumpTop (http://bumptop.com) ist ein intuitiv zu bedienendes 3D-Interface. Augenblicklich liegt nur eine Version für Windows vor. In Zukunft soll aber auch jeweils eine für Mac OS X und Linux folgen. BumpTop wird dem jeweiligen Betriebssystem übergestülpt und es reduziert sich auf eine Schreibtischmetapher. Ein Sortieren in Ordner- und Dateilisten, wie bei Betriebssystemen üblich, ist hier nicht möglich. Dies wäre per Touchscreen auch kaum steuerbar. Umso vielseitiger und unterhaltsamer sind die Ablage- und Sortiermöglichkeiten auf dem BumpTop. Bilder und Dateien lassen sich Stapeln, Gruppieren, einzeln anzeigen und bearbeiten. Um mehr Ablagefläche zu erhalten, ist BumpTop wie eine Kiste aufgebaut. Dies eröffnet die Möglichkeit, nicht nur auf der Bodenfläche, sondern auch auf den Innenwänden Dateien ablegen zu können. Bei BumpTop darf der Desktop mit Dateien auch mal überladen werden. Was bei bisherigen Betriebssystemen eher als Unsitte und als Zeichen fehlender Ordnungsstruktur gilt, wird bei BumpTop als Chance zelebriert.

Der Bezeichnungszusatz ›Touch‹ weckt eventuell die Erwartung, dass Touch-Screens auch eine haptische Komponente berücksichtigen und dann auch als haptische Interfaces bezeichnet werden könnten. Dem ist eigentlich nicht so. Außer der Monitoroberfläche ist üblicherweise nichts zu spüren. Ein Multi-Touch-Interface inklusive der Möglichkeit eines haptischen Erlebnisses bieten ausschließlich Tangible User Interfaces, bei denen sich die verschiebbaren Objekte anfassen lassen.

Eine eher kuriose Ausnahme stellt ein Touch-Screen dar, der unter dem Titel Providing Dynamically Changeable Physical Buttons on a Visual Display (http://chrisharrison.net/projects/pneumaticdisplays) von Chris Harrison und seinem Professor, dem Computerwissenschaftler Prof. Scott Hudson der Carnegie Mellon University (in Pittsburgh, Pennsylvania) veröffentlicht wurde (Abb. 248). Dieser Touch-Screen bietet ein haptisches Feedback, indem eine Latexschicht mit Luftdruck über Aussparungen einer Platte gepresst wird, so dass sich an den Stellen der Aussparung elastische Buttons bilden. Das Screendesign wird per Beamer auf die Latexfläche projiziert. Über eine Kamera werden die Fingerpositionen festgestellt, so dass auch eine Multi-Touch-Nutzung möglich ist. Noch sind die Buttons relativ groß, lassen aber erkennen, dass sich echte physische Buttons zum Eindrücken bilden.

Neben solchen kuriosen Versuchen, gibt es bereits differenziertere Entwicklungen für haptische Interfaces. RIM, der Hersteller der BlackBerry Smartphones, brachte bisher nur Mobiltelefone mit Hardwaretastatur heraus. Eventuell bedingt durch die iPhone-Konkurrenz hat das neue Modell BlackBerry Storm nun nur noch einen Touchscreen. Dafür simuliert die virtuelle Tastatur relativ getreu den Vorgang eines Tastendrucks, bei dem nicht das Berühren genügt, sondern die Taste deutlich gedrückt werden muss. Solch ein haptisches Erleben kann die Bedienung und die Genauigkeit der Eingabe vom Prinzip her erheblich erleichtern und sogar die Eingabegenauigkeit erhöhen. Beim BlackBerry Storm ist aber der Nachteil zu bedenken, dass die Tasten der Tastatur relativ klein sind, so dass hier ein kurzes Berühren eine geringere Flächenauflage durch einen Finger erforderlich machen würde. Im aktuellen Modell führt das feste Drücken der Taste aber dazu, dass man häufig unfreiwillig mehrere Tasten gleichzeitig bedient. Durch die Unterscheidbarkeit von Berühren und Drücken einer Taste lassen sich aber Bedienungszustände unterscheiden. So kann bei diesem Modell zumindest nicht aus Versehen eine Taste nur durch bloßes Berühren bedient werden. Dennoch kann beim BlackBerry Storm das Berühren z. B. zum Scrollen oder zum Verschieben von Objekten genutzt werden.

Um eine Taste zu spüren, ist es aber gar nicht erforderlich, dass diese erhaben ist oder eingedrückt werden kann. Bereits durch punktuelle Vibration lässt sich die Haptik einer Taste simulieren. Die Vibration steigt, je mehr man sich mit dem Finger dem Zentrum einer Taste nähert und schwächt sich ab, wenn man sich von ihm entfernt. Stephen Brewster, Professor an der University of Glasgow, (http://dcs.gla.ac.uk/~stephen) entwickelte mit der T-Bar solch ein Interface. Zunächst diente seine Entwicklung nicht dazu einzelne Tasten anzusteuern, sondern lediglich, haptisch zu erfahren, in welchem Bereich des Displays sich der Finger befindet, ohne auf das Display schauen zu müssen. Die Applikation File-o-Feel für das iPhone kann hier herunter geladen werden: http://iPhone-haptics.googlecode.com

Mit der Applikation Haptic Keyboard hingegen wird das Bedienen einzelner Buchstabentasten des iPhones mittels Vibration haptisch erlebbar. So würde ein klassischer Touchscreen zu etwas Ähnlichem wie dem Tangible User Interface. Zur Installierung der Software ist es allerdings erforderlich das iPhone durch einen so genannten ›jailbreak‹ frei zu schalten. Das iPhone lässt ein Installieren von Fremdsoftware nur über die iTunes-Software zu und gewährt ab Werk keinen Zugriff auf die Ordnerstruktur. Mit dem jailbreak-Vorgang lässt sich dies ändern. Er könnte aber eventuell zum Verlust der Garantie führen.

Bei dem Multi-Touch-Interface des iPhones lassen sich Abbildungen durch das Aufspannen bzw. das Zusammenschieben zweier Markierungspunkte mit zwei Fingern vergrößern oder verkleinern. Textkorrekturen können vorgenommen werden, indem mit einem Finger auf der zu ändernden Textstelle für kurze Zeit verweilt wird, bis eine Lupe erscheint. Mit ihr kann die Textstelle angesteuert werden, die korrigiert oder ergänzt werden soll. Nach der Auswahl erscheint ein Menü zum Auswählen, Kopieren und Einsetzen.

Bei dem Multi-Touch-Interface des iPhones lassen sich Abbildungen durch das Aufspannen bzw. das Zusammenschieben zweier Markierungspunkte mit zwei Fingern vergrößern oder verkleinern. Textkorrekturen können vorgenommen werden, indem mit einem Finger auf der zu ändernden Textstelle für kurze Zeit verweilt wird, bis eine Lupe erscheint. Mit ihr kann die Textstelle angesteuert werden, die korrigiert oder ergänzt werden soll. Nach der Auswahl erscheint ein Menü zum Auswählen, Kopieren und Einsetzen.

Bei dem Multi-Touch-Interface des iPhones lassen sich Abbildungen durch das Aufspannen bzw. das Zusammenschieben zweier Markierungspunkte mit zwei Fingern vergrößern oder verkleinern. Textkorrekturen können vorgenommen werden, indem mit einem Finger auf der zu ändernden Textstelle für kurze Zeit verweilt wird, bis eine Lupe erscheint. Mit ihr kann die Textstelle angesteuert werden, die korrigiert oder ergänzt werden soll. Nach der Auswahl erscheint ein Menü zum Auswählen, Kopieren und Einsetzen.

Bei dem Multi-Touch-Interface des iPhones lassen sich Abbildungen durch das Aufspannen bzw. das
Zusammenschieben zweier Markierungspunkte mit zwei Fingern vergrößern oder verkleinern.
Textkorrekturen können vorgenommen werden, indem mit einem Finger auf der zu ändernden
Textstelle für kurze Zeit verweilt wird, bis eine Lupe erscheint. Mit ihr kann die Textstelle angesteuert
werden, die korrigiert oder ergänzt werden soll. Nach der Auswahl erscheint ein Menü zum
Auswählen, Kopieren und Einsetzen.

Die Buttons können, je nach Bedarf durch Luftüberdruck nach außen oder durch Luftunterdruck nach innen gewölbt werden.

Die Buttons können, je nach Bedarf durch Luftüberdruck nach außen oder durch Luftunterdruck nach innen gewölbt werden.

Die Buttons können, je nach Bedarf durch Luftüberdruck nach außen oder durch Luftunterdruck
nach innen gewölbt werden.

 Tangible User Interfaces

Tangible User Interfaces (TUI) stellen eine besondere Art von taktilen Interfaces dar. Während ›taktil‹ ausschließlich für etwas Fühlbares steht, repräsentiert das Wort ›tangible‹ nicht nur etwas Fühlbares, sondern auch etwas Greifbares. Ursprünglich wurde daher die Bezeichnung Graspable User Interfaces verwendet. Die Computermaus, eine Erfindung von Doug Engelbart, kann als eine Mischung aus Taktilem- und Graspable User Interface und wohl auch als das erste Tangible User Interface angesehen werden. Mit der Computermaus lässt sich die Absicht eines Tangible User Interfaces gut darstellen, da sie vielen Anwendern vertraut ist. Es geht beim TUI, ebenso wie bei Computermaus, um die Möglichkeit einer direkten Manipulation, aber auch darum, sich als Anwender körperlich einbringen zu können. So kann die Computermaus inklusive des Computermauspfeils als Verlängerung der eigenen Hand empfunden werden. Die Bewegung einer Computermaus führt allerdings nur sehr bedingt zu einer direkten Manipulation. Insbesondere dann, wenn sie angehoben wird, wird ihre Bewegung nicht mehr auf den Computermauspfeil übertragen. Somit ist die Computermaus zumindest ein Graspable User Interface. Denn ›graspable‹ steht nur für ›greifbar‹ im Sinne von ›verständlich‹ und drückt so nicht gänzlich die beabsichtigte Möglichkeit aus, das Erleben eines Interfaces zu erweitern. ›Tangible‹ hingegen betont auch das sinnlich Erfahrbare. Beim Tangible User Interface steht nicht die Effizienz, sondern das Erlebnis mit und am Interface im Vordergrund. Mit dem TUI können nicht nur taktile Eigenschaften, sondern auch das Greifen, das Erleben von Objekt und Raum zusammen mit digitalen Eigenschaften kombiniert erfahrbar werden, um so das interaktive Erlebnis zwischen Mensch und Maschine zu erweitern.

Durch ein TUI wird dem Anwender ermöglicht, mit Hilfe von physisch anfassbaren Objekten Veränderungen in der Eingabe (Input) und Ausgabe (Output) bei Maschinen zu bewirken. Dabei können die Positionen oder die Eigenschaften (Form, Farbe, Größe, Muster etc.) dieser Objekte zu unterschiedlichen Veränderungen bzw. Kombination der vorgegebenen digitalen Daten führen. Die Objekte können entweder digitale Informationen (Texte, Bilder, Video, Sound, gesprochene Informationen etc.) repräsentieren, die der Anwender direkt verwerten und nutzen kann oder auch einfach nur Daten, die erst noch interpretiert werden müssen. Ob die bei der Manipulation durch den Anwender neu entstehenden Konstellationen der Eigenschaften und der daraus repräsentierten Daten für ihn zu interpretierbaren oder für ihn zu sinnvoll verwertbaren Informationen führen, ist nicht zwangsläufig sichergestellt. Gerade der Umstand, dass der Anwender durch Zugreifen, Einfügen und Verschieben von physischen Objekten Einfluss nehmen kann, führt bei jenen Anwendern, die solch ein Tangible User Interface zum ersten Mal nutzen können, nicht selten zu einem übereifrigen Manipulieren und Ausprobieren der Möglichkeiten – bis hin zum Versuch, die technischen Grenzen und Reaktionszeiten solch eines Systems ausreizen zu wollen. Dies zeigt sich insbesondere dann, wenn durch ein Tangible User Interface Musik erzeugt oder wenn eine Installation innerhalb einer Ausstellung durch ein TUI gesteuert werden kann.

Aktuelle Tendenzen zum Tangible User Interface sind jährlich auf dem Kongress Tangible and Embedded Interaction zu erfahren: https:/tei.acm.org

Exemplarisch für solch eine eher positive Verführung zur Interaktion wird hier reacTable vorgestellt. reacTable (Abb. 249) ist ein electro-akustisches Musikinstrument. Es wurde von einem Team (Sergi Jordà, Martin Kaltenbrunner, Günter Geiger, Marcos Alonso) der Music Technology Group an der Universitat Pompeu Fabra in Barcelona erdacht und gebaut.

reacTable: Kombination aus Live Music Performance und Tabletop Tangible User Interfaces (http://reactable.com). reacTable Video: http://bit.ly/KzOs

reacTable: Kombination aus Live Music Performance und Tabletop Tangible User Interfaces
(http://reactable.com).
reacTable Video: http://bit.ly/KzOs

Die isländische Musikerin Björk nutzte 2007 den reacTable für ihre Konzerte:

YouTube

Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren

Video laden

Es können sich mehrere Spieler gleichzeitig die Kontrolle über das Instrument teilen. Mehrere Objekte stehen zur Verfügung, die man auf dem Tisch platzieren kann. Weder die Objekte (Tangibles) noch deren Zeichen (Fiduicals) sind selbsterklärend, weshalb sich der Anwender zum Ausprobieren aufgefordert fühlen kann, oder einfach nur aus Verzweiflung mehrere Objekte auf den Tisch platziert. Die Objekte haben unterschiedliche Formen und tragen unterschiedliche Zeichen. Diese werden von einer Digitalkamera unter der Tischplatte, die aus einer diffus-transparenten Platte besteht, identifiziert und es werden entsprechende musikalische Phrasen abgespielt. Die Digitalkamera nimmt nur im infraroten Lichtbereich auf, so dass die Bilderkennung durch Fremdlichteinwirkung nicht beeinflusst wird. Aber nicht nur durch die Fiduicals und die Form der Objekte, sondern auch durch Rotation der Objekte können Funktionen ausgelöst werden. Außerdem kann unmittelbar um ein Objekt herum durch Berühren und Ziehen des Fingers auf der Tischplatte eine Steuerung ausgelöst werden. Durch die Nähe bzw. Distanz bestimmter Objekte können die akustischen Reaktionen ebenso gesteuert werden wie durch die Rotation der Objekte. Der Spieltisch wird von unten von einem Beamer bestrahlt. Dadurch können die akustischen Reaktionen durch visuelle Ereignisse ergänzt bzw. die Objekte in ihrem Gebrauch visuell unterstützt werden. Objekte, die sich ergänzen und miteinander agieren, werden z. B. durch digital generierte gerade Linien oder durch Sinuskurven verbunden, die sich je nach Lautstärke verdichten oder ausweiten. Die Software, mit der die Erkennung der Objekte bzw. der Fiduicals und ebenso die der Fingergesten erfolgt, wird als Open Source unter dem Namen reacTIVision veröffentlicht.

Tangible User Interfaces widersprechen bisweilen einerseits der üblichen Forderung, ein Interface solle leicht durchschaubar und erlernbar sein. Aber andererseits finden sie ausschließlich dort Anwendung, wo bereits das Benutzen den Weg zum Ziel darstellt. Wenn der Anwender selbst Einfluss nimmt, hat er zumindest den Eindruck, für das Ergebnis auch selbst verantwortlich zu sein und relativiert entsprechend die Erwartungen ans System und am Resultat der Interaktion mit ihm. Und weil der Anwender die Objekte, mit denen er die Ereignisse manipuliert, berühren kann, wird für ihn diese Interaktion mit einem Computer direkt wahrnehmbar und man könnte vermuten, dass sich der Anwender weniger fremdbestimmt fühlt, als bei jenen Eingabeformen, die auf ihn abstrakter wirken oder ausschließlich virtuell sind. Durch TUIs wird das Erlebnis für den Anwender zumindest im wahrsten Sinne des Wortes greifbarer und wirkt bisweilen weniger virtuell, obwohl es ebenso um das Auswählen und das Steuern digitaler Daten geht. Zudem sind in der Regel die Daten vorgegeben bzw. die Abfolgen vorbestimmt. Lediglich deren Kombination und Wiedergabereihenfolge oder Geschwindigkeit können vom Anwender manipuliert werden. Die Art, wie der Computer die Objekteigenschaften interpretiert, und die daraus resultierenden digitalen Reaktionen bzw. Abfolgen sind durch die jeweilige Programmierung festgelegt. Visuelle Eigenschaften (Farbe, Form, Muster, Barcode etc.) können z. B. mittels einer Fotozelle oder Kamera erfasst und mit einem Computer entsprechend ausgewertet werden. Die Objekte, mit denen der Anwender den In- und Output des Systems manipuliert, können aber auch Sende- und Empfangseinheiten (z. B. RFID) oder andere Eigenschaften des Trackings beinhalten bzw. unterstützen. Mit Hilfe von Trackingverfahren können die Positionen der Objekte und der Anwender ermittelt werden, so dass die virtuellen Projektionen jeweils proportional ausgerichtet und korrekt in das Sichtfeld des Anwenders eingeblendet werden können.

Mit Trackingsystemen werden ähnliche Abläufe gesteuert wie man sie von der Computermaus und dem Pfeilcursor her kennt. Das heißt, es werden Positionen und die Funktionen ›Anklicken‹, ›Anfassen‹ und ›Verschieben‹ identifiziert und bei Bedarf simuliert. Zusätzlich kann noch ein ›Berühren‹ und ›Überlagern‹ der realen mit den virtuellen Objekten erkannt werden. Einige Trackingsysteme können die realen Objekte, die sich auf der Arbeitsfläche befinden und auf die zugleich projiziert wird, individuell durch ihre Form bzw. durch Erkennungsmerkmale (z. B. Farbe, Icon, Barcode) identifizieren und im jeweiligen Nutzungsszenario entsprechend zuordnen. Diese identifizierten Objekte können sogar vordefinierbare Eigenschaften (z. B. Magnetismus, Abstoßungskraft, Ordner- oder Papierkorbeigenschaften) erhalten. Mit solchen, sogenannten Augmented Realty-Verfahren können z. B. Mediziner Operationen simuliert durchführen. Ingenieure und Chemiker nutzen solche Verfahren, um Werkstücke und deren Beschaffenheiten virtuell zu erproben. Für das Tracken und Identifizieren der Objekte gibt es verschiedene Verfahren. Farb- und Formerkennung und auch RFID wurden bereits erwähnt. Ein optisches Erfassen kann dabei bereits durch einfache 2D-Codes erfolgen. 2D-Codes können Muster sein, deren Identifikation vordefiniert und dementsprechend nur für das jeweilige System genutzt werden kann, oder auf Standards wie dem QR-Barcode basieren.

Ein RFID-Chip (Radio Frequency Identification) (Anwendungsbeispiele: http://info-rfid.de, http://rfid-journal.de, http://violet.net) kann im Gegensatz zum 2DCode, der Daten lediglich in unveränderbarer Form repräsentiert, veränderbare Daten in sich tragen, benötigt dafür allerdings selbst keine eigene Stromversorgung. Erst wenn ein RFID-Lesegerät eine Anfrage ausstrahlt, erzeugen seine Sendestrahlen mit der im RFID-Chip eingebauten Spirale durch Induktion gerade genug Strom, um die Daten im Chip auszulesen und an das Lesegerät zu senden. Supermärkte und Großmärkte wie z. B. die deutsche Metro mit ihren Future-Stores testen die Nutzung der Chips für den Warenhandel (http://future-store.org). In Warenwirtschaftssystemen, aber auch zur Identifizierung und zum Abspeichern von Impfdaten von Zucht- und Haustieren wird der RFID-Chip bereits im Alltag eingesetzt. Der RFID-Chip kann so klein sein, so dass man ihn unter die Haut spritzen kann.

Der Einsatz von RFID-Chips steht sehr eng mit dem Begriff Pervasive Computing (lateinisch: pervadere, durchdringen) in Verbindung. Mit Pervasive Computing wird die Vernetzung des Alltags durch den Einsatz ›intelligenter‹ Gegenstände (smart objects) bezeichnet, der ein automatisiertes Sammeln und Auswerten von Daten ermöglicht. Solch ein Sammeln und Auswerten von Daten kann sich entweder auf einem kleinen Bereich wie dem metaDESK konzentrieren oder aber auf große Gebiete ausgeweitet werden. Je nach Eigenschaft und Position der Objekte, die mit einem RFID-Chip ausgestattet sind, können unterschiedliche Auswirkungen ausgelöst werden. Dies können akustische oder visuell/grafische Signale sein, die ein Computer über entsprechende Ausgabegeräte (Lautsprecher, Monitor, Beamer etc.) wiedergeben kann, nachdem er die Eigenschaften der Objekte interpretiert hat. Dabei ist das jeweils steuernde Computerprogramm in der Regel dazu in der Lage, nicht nur die unterschiedlichen Eigenschaften der Objekte, sondern auch deren Kombination und Abstände zueinander zu identifizieren. Im Sinne des Pervasive Computing können die Objekte selbst auch Daten beinhalten und sie nicht nur repräsentieren. So könnte das System um ergänzende Daten und sogar Funktionen erweitert werden, wenn ein neues Objekt hinzugefügt wird. Je nach Komplexität des Programms können alle diese zusätzlichen Eigenschaften zu nahezu unendlich vielen Konstellationen und entsprechend vielen Interpretationen führen.

Pioniere in der Entwicklung von Tangible User Interfaces (TUI) sind Prof. Hiroshi Ishii und Brygg Ullmer vom Massachusetts Institute of Technology Media Lab. Ishii stellte seine Entwürfe eines Tangible User Interface erstmals 1997 als Konferenzbeitrag zur CHI 97 vor (Hiroshi Ishii und Brygg Ullmer: Tangible Bits: Towards Seamless Interfaces between People, Bits and Atoms (http://bit.ly/jAgiaa). Veröffentlicht in Proceedings of Human Factors in Computing Systems: CHI 97 (http://sigchi.org/chi97), Denver (Colorado)). Mit dem metaDESK versuchten Hiroshi Ishii und Brygg Ullmer die Eigenschaften der Schreibtischmetapher vom Graphic-User-Interface (GUI) des Computers in die physisch reale Welt zu übertragen. Sogenannte Phicons (physical icons) sind dabei frei zu platzierende Objekte, die die Icons der Schreibtischmetapher ersetzen. Diese und andere vom System interpretierbare Gegenstände können innerhalb von Trays bewegt werden, die so wie Menüs eines Computerbetriebssystems für vorbestimmte Funktionen und Auswahlmöglichkeiten fungieren. Und mit sogenannten Instruments lassen sich Werte proportional skalieren. Prinzipiell bietet der metaDesk ähnliche Interaktionsmöglichkeiten wie das GUI von Computer-Betriebssystemen, benötigt allerdings physisch mehr Platz und eine komplexe Projektions- und Aufnahmeeinheit für die optische Wiedergabe und das Tracken der Objekte. Bedingt durch die Eigenschaften dieses Systems und durch die Art der Interaktion ist es in der Eingabe erheblich ungenauer als die klassische Schreibtischmetapher der Computerbetriebssysteme. Das Interface wird greifbarer, aber auch gröber. Die Eingabe von Texten und Werten ist zudem nicht möglich, weshalb der scheinbar naheliegende Versuch, Tangible User Interfaces mit den Prinzipien des Graphic User Interface von omputerbetriebssystemen zu vergleichen, bestenfalls dazu geeignet ist, die jeweiligen Grenzen der beiden Interfacearten aufzuzeigen.

Mit dem ambientROOM erweiterten Hiroshi Ishii und Brygg Ullmer die durch ein Interface erfahrbaren Impulse und Reize noch um weitere Aspekte. Umgebungslicht, Schatten, Geräusche und Wind sollten den Erlebnischarakter komplettieren. Die Überlegung dabei ist, dass Menschen sie umgebende Eindrücke filtern können, ohne deren Wahrnehmung komplett ausklammern zu müssen. So kann man sich z. B. innerhalb eines Cafés zwar auf einen Dialog mit seinem Gegenüber konzentrieren, aber dennoch in der Umgebung feststellen, wer und was sich sonst noch im Café befindet und auch die vorhandenen Geräusche und Stimmungen wahrnehmen und zuordnen. Dieses Wahrnehmungspotenzial des Menschen diente zur Anregung des ambientRoom. So wurde im ambientRoom z. B. Licht auf eine Wasseroberfläche gelenkt, deren Wellen unterschiedliche Lichtmuster auf eine Wand projizierten, je nachdem wie sich der Input der jeweiligen Informationsart, die durch die Wellen und deren Intensität repräsentiert werden sollte, veränderte. Je intensiver die Wellenreflexionen, umso beruhigender, größer oder besorgniserregender könnten z. B. die Veränderungen aktueller Stände von Aktienwerten sein. Der ambientRoom erweitert ein Interface somit eher mit umgebenden Medien (ambient media), stellt selbst aber kein Tangible User Interface (anfassbare Benutzerschnittstelle) dar.

metaDESK von Prof. Hiroshi Ishii und Brygg Ullmer. Details: Active Lense & Rotations-Constraint-Instrument des metaDESK.

metaDESK von Prof. Hiroshi Ishii und Brygg Ullmer.
Details: Active Lense & Rotations-Constraint-Instrument des metaDESK.

Mit Tangible Geospace zeigten Prof. Hiroshi Ishii und Brygg Ullmer allerdings ein Anwendungsbeispiel, mit dem die Vorzüge des TUIs in jeder Hinsicht genutzt werden. Eine auf einem Tisch (metaDesk) projizierte Landkarte verändert je nach Bewegung oder Rotation eines Objektes (Phicon), der ein Gebäude repräsentiert, ihre Ausrichtung. Wird ein weiteres Phicon (hier: Gebäuderepräsentant) auf der projizierten Karte platziert, so verändert die Karte ihren Maßstab proportional zum Abstand der jeweiligen Gebäuderepräsentanten im Verhältnis zum realen Abstand der echten Gebäude. Dadurch kann z. B. der Maßstab der Karte durch das Verschieben der Gebäude zueinander verändert und der Ausschnitt der Karte entsprechend skaliert werden.
Mit der sogenannten passiveLENS lassen sich Informationen von den Bereichen auf der Karte anzeigen, über die die passiveLENS gehalten wird. Die sogenannte activeLENS ermöglicht z. B. eine dreidimensionale Darstellung eines Bereiches des meta-Desks.

Das sich Tangible User Interfaces auch für den zielgerichteten, ergebnisorientierten Einsatz nutzen lassen, wird dann deutlich, wenn die Kombinationsmöglichkeiten der Manipulationsgegenstände für den Anwender überschaubar bleiben. Dies zeigt z. B. der Entwurf eines Anrufbeantworters von Durrell Bishop aus dem Jahr 1992 (Marble-Answering-Machine, Crampton Smith, G.: The Hand That Rocks the Cradle. In: I.D. Mai/Juni 1995, S. 60–65). Die Marble-Answering-Machine entstand im Rahmen der Arbeit für sein Magister of Arts in Interaction Design an der Royal College of Art in London. Jeder eingegangene Anruf wird bei ihr durch eine Kugel repräsentiert, die nach der Aufzeichnung einer Meldung aus einem im Gehäuse des Anrufbeantworters verborgenen Behälter heraus in eine dafür vorgesehene Schiene befördert wird. Der Anwender muss diese Kugeln zum Abspielen der jeweiligen Aufzeichnung in eine Öffnung im Gehäuse werfen. Die Kugel wird interpretiert und der zu ihr korrespondierende Anruf abgespielt. Es wäre denkbar, dass für bestimmte Anrufe vordefinierbare Kugeln ausgewählt werden. Private und geschäftliche Anrufe könnten z. B. durch unterschiedlich farbige Kugeln gekennzeichnet werden und die Anrufe einer bestimmten Person bzw. von einer bestimmten Rufnummer könnten mit einer nur dafür bestimmten Kugelsorte repräsentiert werden.

Die Marble-Answering-Machine zeigt noch einmal sehr deutlich, dass mit Tangible User Interfaces das Taktile, das Berührbare im Vordergrund steht, die Auswirkungen der Manipulationen allerdings nicht nur mechanischer, sondern auch oder insbesondere digitaler Art sind. Diese Eigenschaften lassen vermuten, dass sich die Tangible User Interfaces auch dem Forschungsthema Augmented Reality zuordnen lassen. Die Übergänge sind tatsächlich nicht immer eindeutig und bisweilen fließend. Aber mit TUIs werden in erster Linie Interfaces beschrieben, mit denen sich eine Umwelt lediglich steuern lässt.