impress - a flexible display

Durch das Verzerren der Projektion auf dem flexiblen Display durch Druck erhält vorallem Text eine ganz besondere Wirkung. Hier die Umsetzung eines Brainstorming-Synonyme-Tools in seinen Anfängen.

Ich habe nun 4 Drucksensoren zu einem kleinen Druckdisplay verarbeitet. Wie schon beschrieben, habe ich die ausgegebenen Werte der Sensoren in ein Verhältnis gesetzt, um auch die Berührung und den Druck der Zwischenräume auslesen zu können. Nun haben die Senoren ca. 12 cm Abstand voneinander. Es scheint also tatsächlich zu funktionieren; bis auf die üblichen Feinheiten, die noch zu überarbeiten sind. Ich werde auch noch ein bisschen mit dem Schaumstoff rumprobieren müssen, es scheint, dass härterer und dickerer Schaumstoff besser funktioniert, den Druck besser verteilt. Unter den Drucksensoren funktioniert ein dünner, weicher, beweglicher Schaumstoff ganz gut, besser als Holz oder andere feste Unterlagen.

Nachdem meine Drucksensoren noch immer nicht da sind, habe ich ein bisschen mit Öl, Gel aus Kältekompressen und blauem Spülmittel ausprobiert. Besonders interessant finde ich einen Mix aus Öl und Spülmittel in einem Gefrierbeutel.

Öl und Spülmittel ergeben eine milchige, wabernde Flüssigkeit, die sich in Kombination mit etwas Luft in einem Gefrierbeutel und dem herrlichen weißen Radlerhosenstoff darüber hervorragend als flexibles Display macht. Von unten habe ich einen kleinen Zellen-Sketch projiziert. Einmal mit weißem Hintergrund, einmal mit schwarzem, was visuell zu völlig unterschiedlichen Ergebnissen führt.

Die milchige Konsistenz lässt die Projektion verschwimmen/ unscharf werden, sobald ich sie auseinander drücke, die Projektion also “freigrabe”, wird sie scharf. Gleitet und drückt man nun entlang der Oberfläche, hat man das Gefühl, man kann die Zellen in ihrer Bewegung beeinflussen, auch wenn es überhaupt nicht so ist (programmtechnisch), diese Täuschung resultiert allein aus der Lichtbrechung und Verzerrung der Projektion.

Um mit dieser sinnlichen Technik fortzufahren und tatsächlich Interaktion zu ermöglichen, gilt es, die Bewegung des Fingers zu tracken (von unten), was noch einmal recht schwierig wird, weil man ja die Projektion mittrackt und der Kontrast zwischen der farbigen Ölmixtur und dem Finger oder der Umgebung recht hoch sein muss. Außerdem sollte sich noch eine verlässlicheres Gemisch als Füllung des Displays finden, da der Öl-Spülmittel-Mix nach 1-2 Stunden eine äußerst seltsame und unbrauchbare Konsistenz annahm.

Ich habe doch noch mal einen kleinen Testaufbau gestartet, was die trackbare LED-Schaumstoff-Matrix angeht. Und es funktioniert eigentlich ganz gut. Durch Fingerdruck (also indem ich einen der Stifte in den Schaumstoff drücke) wird das jeweilige Schaumstofffeld heller und lässt sich so tracken. Trotzdem kann ich diese Technik jetzt endgültig für mich ausschließen, weil es doch viel zu aufwändig ist und wahrscheinlich nur schwer eine flüssige Druckbewegung, wie Pfade fahren, zulässt. Als Deko hübsch anzusehen, aber für meine Zwecke auch nicht mehr.

1. Auslesen von Kraft und Position über eine Drucksensor-Matrix

Die wahrscheinlich verlässlichste und genaueste Methode, um die Kraft eines Fingerdrucks zu messen, basiert auf einer Matrix aus Drucksensoren. Drucksensoren geben je nach Belastung höhere oder niedrigere Werte aus, mit denen sich ganz gut arbeiten ließe.

Etwas problematisch ist jedoch die Tatsache, dass auch die Lücken zwischen den Sensoren gedrückt werden können (Eine zu dichte Matrix würde viele Sensoren erfordern, was natürlich eine Frage der technischen Umsetzung und auch der Kosten ist). Sinnvoll wäre es deshalb, die Sensoren in Schaumstoff einzubetten, damit sich der Druck verteilt. Der Sensor, der der Druckstelle am nächsten ist, wird den höchsten Wert ausgeben, 2-3 weitere werden ebenfalls erhöhte Werte aufweisen. Wenn man sich nun zwischen jeweils 4 Sensoren ein Quadrat denkt, eine Pixelmatrix bestehend aus x- und y-Werten, und das Verhältnis der Sensorwerte zueinander in x- und y- Werte “umrechnet”, könnte man vielleicht recht genau Positionen bestimmen. Wie und ob das in der Praxis funktioniert, sei natürlich noch zu testen.

Das gute an dieser Technik wäre auch, dass sie sowohl horizontal, als auch vertikal funktionieren würde, sogar runde Formen wären möglich. Projizieren müsste man so oder so von oben, was schon etwas schade ist, wie ich finde.

Als Bezug und Projektionsfläche ist der sogenannte Radlerhosenstoff bestens geeignet. Sehr elastisch und strapazierfähig, legt sich gut um den Schaumstoff und gibts sogar in weiß.

2. Auslesen des Drucks über Tracking

Weniger gut hat das Auslesen des Fingerdrucks mit Tracking funktioniert. Dafür habe ich direkt auf den elastischen weißen Projektionsstoff schwarze, gleich große Quadrate in einer Matrix angeordnet. Dann habe ich das gefilmte Bild (von unten bzw. hinten) in genauso viele Zellen, wie Quadrate auf dem Stoff sind, geteilt (9). Von jeder dieser Zellen soll dann ein allgemeiner Helligkeitswert berechnet werden. Ohne Druck ist ein Quadrat weiter von der Kamera weg und damit kleiner, eine Zelle besteht also überwiegend aus weiß und hat damit einen recht hohen Helligkeitswert. Drückt man nun an einer Stelle, nähert sich das dort positionierte Quadrat der Kamera und wird größer, es überwiegt der Schwarzanteil in der jeweiligen Zelle, der Helligkeitswert sinkt. Je niedriger also der Helligkeitswert, desto mehr Druck wird ausgeübt.

Problematisch ist hier, dass optimale und vorallem unveränderte Lichtverhältnisse gegeben sein müssen. Außerdem verzehrt das Bild der Kamera so stark, dass es schwierig ist die Marker an der Projektionsfläche eindeutig einer Zelle im Kamerabild zuzuordnen. Insgesamt ist dies eine sehr kostengünstige, aber auch recht unzuverlässige Methode.

3. Auslesen des Drucks an einer Position durch eine getrackte LED-Matrix

Eine weitere interessante Möglichkeit wäre, Leds durch Druck nach unten, gegen eine Art Diffusor (z.B. Schwamm), zu schieben und dadurch verschiedene Helligkeitswerte zu erzeugen, je mehr Druck desto heller wird ein bestimmter Bereich. Dann müsste über die Kamera nur noch die Helligkeit der verschiedenen Bereiche ausgelesen werden. Sehr aufwändig, aber könnte funktionieren.

Eine interessante Möglichkeit der Nutzung des flexiblen Displays wäre eine Art Gedankenschmiede. Jedes beliebige Wort kann ausgequetscht werden und man erhält immer neue Synonyme und Assoziationen, die man kombinieren und wieder „ausquetschen“ kann. So hangelt man sich in diesem Wortpool von einem Thema zum anderen und landet dort, wo man es nie erwartet hätte. Vielleicht denkbar als Kreativstütze?

Ich habe einmal ausprobiert, wie sich Dinge wie Tischtennisbälle, Luftballon, Gummiball und Knetkugeln auf dem “elastischen Display” bewegen und habe doch einige Unterschiede festgestellt.

Daraus habe ich 2 kleine Processing-Sketche aufgebaut, die diese Art der Anpassung in ähnlicher Weise wiedergeben. Es macht wirklich Spaß damit zu spielen (auch wenn ich noch ein bisschen schummeln muss).

Nun beschäftigt mich die Frage: Muss dieses Display in der Waagerechten stehen? Ja, weil diese Bewegungen ja irgendwie aus der Schwerkraft resultieren und die zieht alles senkrecht nach unten? Nein, weil man die Freiheit der “digitalen Schwerkraft” nutzen sollte, weil die auch von rechts nach links oder von unten nach oben funktioniert? Aber wie nimmt das ein Mensch wahr? Empfindet er das dann als falsch und unrealistisch, was das Ganze wiederum ziemlich entzaubern kann, oder ist es gerade dieser neuartige, völlig unmögliche Umgang mit Gewicht und Schwerkraft, der die Realität vergessen lässt?

Außerdem gilt es nach wie vor ein passendes Thema bzw. eine Anwendung zu finden, die das elastische Display gerechtfertigt. Daher gilt es zu erörtern: Wie kann ich mit so einem solchen Display arbeiten? Welche intuitiven Gesten könnten welche Folgen haben?

Beispiele:

1 das Sammeln von Dingen/ Infos durch Schaffung einer Vertiefung durch Druck
2 auch das Verbinden und Kombinieren von Infos ist durch Eindrücken möglich
3 Drücken und rasches Loslassen führt zu einer Verteilung/ Streuung von Dingen
4 Langes Quetschen führt zur Vertiefung/ Ausbreitung von Infos
5 Das Fahren von Bahnen mit dem Finger führt Dinge von Ort zu Ort

1. Das elastische Display

Durch die Bewegung, Biegung, Dehnung des Displays verändert sich die Bewegung der Projektion: Beschleunigung und Sammlung bei Abschüssigkeit, Abbremsung bei Steigung. Je nach Material (Glas, Frottee, grobes Holz) und Oberflächenstruktur (glatt, rauh) könnte die Bewegung unterschiedlich aussehen: hakelig, beschwingt, hüpfend, usw. Desweiteren könnte das Gewicht bzw. die Wichtigkeit von “Information” über ein Display, dass einem Gewicht “nachgibt”, visualisiert werden.

2. Das “Röntgen-Display” und das “Lupen-Display”

Über ein Minidisplay in der Hand (Petrischale, Lupe) kann Verborgenens aufgedeckt werden (1 Röntgenblick) oder aus Allgemeinem durch Heranführen der “Lupe” ans Auge kann ein Aspekt aufgenommen und tiefer und detailierter in eine Materie eingetaucht werden (2 Zoom).