+comunity+ machine learning - Input / Ideen für das nächste Treffen

[Margarethe Maierhofer-Lischka]

Liebe alle,

als Nachtrag zum letzten bzw. Anregung fürs nächste
Projektgruppentreffen noch ein paar Sachen zu machine learning im
Bereich Audio / Audiovisualität. Ich hab mich damit beschäftigt, was es
an technischen Ansätzen gibt, und welche kreativen Zugänge bereits
praktiziert werden:

Am Goldsmiths College lehrt eine Frau, Rebecca Fiebrink, die kreative
machine-learning-Kurse anbietet und dabei mit interaktivem Input
(Sensoren) zur Audioverarbeitung arbeitet. Sie hat eine open-source
ML-Software namens Wekinator entwickelt. Ihr Ansatz, machine learning zu
nutzen, geht nicht in Richtung von (Re-)Komposition (also ML zur
Extraktion von irgendwelchen Stilmerkmalen), sondern sie trainiert das
System mit menschlichen Gesten, die dann zur Erzeugung/Manipulation von
Audio benutzt werden.

http://www.wekinator.org/

https://www.kadenze.com/courses/machine-learning-for-musicians-and-artists/info

Es klingt relativ einsteigertauglich, was sie anbietet - wenn wer von
uns Zeit und Lust hat, könnte es ja spannend sein, den Onlinekurs
durchzumachen und gemeinsam Dinge auszuprobieren? Der Kurs besteht aus 7
Sessions, das klingt machbar.

Anknüpfend an das Thema ML und Sonifikation - klangliche Umsetzung von
komplexen Datenmengen: Schön finde ich Gene Kogans Ansatz, Portraits
anhand von ML zu analysieren und dann zu sonifizieren. --> Wie klingen
z.B. Orchideenhybride, was unterscheidet sie? Als Musikerin habe ich
mich viel mit visuellen Inputs für Improvisation beschäftigt, ich fänds
spannend, eigene "Bildanalysen" mit computergenerierten Systemen zu
konfrontieren und in einer Art Feedbackschleife gegenseitig wiederum
beides als Lernmaterial zu nutzen und zu schauen, was am Ende rauskommt.

Gene Kogan arbeitet viel mit "processing" - das ist eine offene
Programmierungebung/-sprache, die hauptsächlich für
Bildmanipulation/Visualisierungen/Animation genutzt wird, aber darüber
hinaus auch viel Potenzial für andere kreative Anwendungen bietet. Seit
einer Weile lerne ich processing, bisher eher aus Spaß und
Eigeninteresse, könnte mir aber auch vorstellen, dass man damit gut in
einem Workshop etwas machen kann, weil es viel direktes Ausprobieren
erlaubt und nicht allzu technisch ist. Im Processing-Forum gibt es auch
diverse Threads zu ML:

https://medium.com/typeme/lets-code-a-neural-network-from-scratch-part-1-24f0a30d7d62

https://forum.processing.org/two/search?Search=%22machine+learning%22

Mich würde als kreative Aufgabe auch die Gegenüberstellung zwischen
"maschinellem" deep learning und menschlichem deep learning
interessieren - am Ende auch mit der ganz philosophischen Frage, wo und
wie sich z.B. Kreativität dabei äußert (siehe:
https://en.wikipedia.org/wiki/Artificial_Creativity ).

Eine ganz grundlegende Frage für unser Projekt bzw. auch den Workshop
ist, a) mit welcher "Maschine" oder System wollen wir arbeiten (sprich,
welche Software gibt es, mit ML Daten zu gewinnen, die für uns in Frage
käme, die nicht zu aufwendig ist und für uns brauchbare Resultate
liefern könnte) - daran anschließend kann die Umsetzung und kreative
Verarbeitung ins Visuelle/Auditive verschiedene Züge annehmen.

Als ein möglicher Mitwirkender in Graz für unsre Projektgruppe wäre mir
noch Djamil Vardag eingefallen - er ist Coder und Hardwareentwickler,
entwickelt u.A. interaktive Systeme als Unterstützung für blinde
Menschen, und beschäftigt sich seit einer Weile dabei auch mit ML.
(djamil.vardag at web.de)


Soweit für jetzt, bis Donnerstag,


Margarethe





Am 2018-02-12 um 19:51 schrieb Martin Schitter:
> Da es schon längst überfällig ist, hier der Bericht von
> unserem 2. machine learning Vorbereitungstreffen am 8.2.2018.
>
> Anwesend waren (im Uhrzeigersinn):
> Maggie, Reni, Jogi, Adina, Christian, Jakob
>
> Vorzustellen ist Christian Gölles, weil er neu hinzugestoßen ist.
> Wer sich für seinen kreativen Hintergrund interessiert, sei auf die
> webseite: http://gld-industries.com/dnl/ verwiesen.
>
> Adina Camhy war auch das erste Mal dabei, dürfte aber als kürzlich
> hinzugekommenes mur.at-Prasidiumsmitglied ein Begriff sein.
>
> Leider hat sich Artemi - Maria Gioti diesmal leider
> (http://www.artemigioti.com/about.html) kurzfristig entschuldigen
> müssen, so dass wir vermutlich erst das nächste Mal in den Genuss
> einer kurzen Vorstellung ihrer bisherigen künstlerischen Projekte im
> ML-Umfeld aus dem Blickwinkel des musikalischen Schaffens kommen
> werden.
>
>
> ## Allgemeines
>
> Einleitend hat uns Jogi ein wenig von Behandlung des ML-Schwerpunkts
> in der letzten mur.at-Präsidiumssitzung berichtet, und die Einladung
> überbracht, bei der nächsten Präsidiumssitzung am 19.3 um 20:00, das
> Projekt bzw. dessen Fortschritte in die andere Richtung zu präsentieren.
>
> So weit es aber unsere Arbeitsgruppe selbst betrifft, bleibt es bis
> auf Weiteres bei den wöchentlichen Arbeitstreffen:
>
> der nächste Termin also:
> Do., 15.2, 18:00, mur.at, Leitnergasse 7
>
>
> ## Strukturen
>
> Im wesentlichen versuchen wir uns natürlich an jenen groben Fahrplan
> zu halten, der bereits im offiziellen Projektantrag
> bzw. mur.at-Jahresansuchen skizziert ist.
>
> Im Laufe der nächsten zwei-drei Wochen sollten daher unsere
> Vorstellungen bzgl. des geplanten "workshops" bzw. dem ersten Teil des
> Gesamtprojekts konkretere Formen Annehmen.
>
> In den letzten Wochen haben wir unsere Kräfte hauptsächlich darauf
> verwendet haben, weitere Mitstreiter aus dem lokalen Umfeld für unsere
> Sache zu gewinnen und aktive in die Mitgestaltung einzubinden. Je mehr
> Interessierte und Fachkundige sich hier vor Ort zusammenfinden, umso
> mehr Spielraum eröffnet sich, den Frühjahrs-workshop nicht nur als
> Frontalunterricht und Entwicklungshilfe aus der Ferne umzusetzen.
>
> Als Deadline für die Entscheidung im Hinblick auf den Hauptteil des
> Projekts bzw. die abschließende Produktion in der zweiten
> Jahreshälfte, haben wir nach ausschweifender Rekapitulation des
> ursprünglichen Projektentwurfs, den symbolträchtigen
> Stichtag: 21. Juni festgelegt.
>
>
> ## Kontakte und Anregungen
>
> Damit auch die Namen möglicher weiterer Ansprechparter nicht gleich
> wieder dem Vergessen anheimfallen, hier eine grobe Aufzählung samt
> weiterführender Infos:
>
> * Adrian Spataru -- TU machine learning group (http://www.mlgraz.at/)
>     [Von ihm gibt es mittlerweile ein äußerst positve Rückmeldung.
>     Er hat sich bereits nach dem nächsten Treffern erkundigt. :) ]
>
> * Herbert Danzinger -- Er hat für Stefan Schmitzer "deep schmitzer"
>     (http://schmitzer.mur.at/deep-schmitzer/) realisiert und ist neben
>     seinen Aktivitäten beim verein https://www.graz.ai/ auch im Umfeld
>     des machine learnings beruflich forschend tätig.
>
> * Ludwig Mohr -- TU Inst. für maschinelles Sehen
>
> https://www.tugraz.at/institute/icg/research/team-bischof/people/team-about/ludwig-mohr/
>
>
> * Andreas Zobel -- http://www.dustmap.org/
>
> * Seppo Gründler -- FH Lehrender, Künstler und kritischer Geist.
>     http://gruendler.mur.at/
>
> * Elena Peytchinska -- https://www.elenapeytchinska.com/
>     Weil es uns ja nicht nur um Technik, sonder vor allen Dingen auch
>     um Kunst und angemessene intellektuelle Reflexion gehen sollte.
>     
> * Nicolas Anatol Baginsky -- "The Three Sirenes" (vor allem hist.
> interessant)
>     http://baginsky.de/agl/index.html
>     http://www.nb-instrument.com/
>
> * Dorian Santner -- Langjähriger Blender-Usergroup-Aktivist und Gründer
>     der Software-Firma: http://www.providens.at
>
> Für weitere Anregungen und Kontakte, wären wir aber auch weiterhin
> allen hier Mitlesenden ausgesprochen Dankbar!
>
>
> ## Projektanregung: "Orchideen" (Dietmar Jakelly)
>
> Wie schon bei unserem ersten Projekttreffen, wurde auch diesmal über
> Jakobs Vorschlag, seine umfangreiche Bildersammlung von seltenen
> Orchideen aus dem Adria-Raum zum Gegenstand unserer
> praktisch-kreativen Annäherung zu machen, ausführlich diskutiert.
>
> Auch wenn diese Blümchen auf den ersten Blick überhaupt nicht in
> unser Vorhaben zu passen scheinen, entdeckt man in der Diskussion
> recht schnell, dass sich hier jede Menge Anregungen und Parallelen
> auftun, die faszinierend nah an unsere Fragen grenzen. Das Ganze ist
> aber derart facettenreich und voller Überraschungen, dass auch ich
> dazu -- ohne die sachkundige Hilfe vom Jakob -- höchstens ein paar
> inspirierende Stichworte wiedergeben kann:
>
> * Selbst unter Botanikern ist die Beurteilung und klare Zuordnung
>   derartiger Pflanzen an Hand ihrer äußeren Erscheinung nicht immer
>   einfach und unstrittig. Laufend werden in diesem Zusammenhang auch
>   neue Arten herausgelöst, beschrieben und eingeführt.
>
>   Eine Problematik, die unweigerlich Assoziationen zur visueller
>   Klassifizierung mittels deep learning software aufkommen
>   lässt. Nicht umsonst werden Übungsbeispiele, wie das maschinelle
>   Unterscheiden von Bildern, die jeweils Katzen oder Hunde zeigen,
>   oder die visuelle Zuordnung zu einer konkreten Hunderasse, gerne als
>   Beispiel in technischen Einführungskursen benutzt.
>
>   [Mittlerweile habe ich nun auch bereits 4200 Orchideenbilder vom
>   Jakob für eine derartige maschinelle Verarbeitung aufbereitet und
>   für unsere ersten Experimente praktisch zugänglich gemacht:
>
>   https://gitlab.com/mur-at-public/orchideen
>
>   Wie man sich an eine solche Aufgabenstellung technisch herantastet,
>   kann man z.B. den Tutorials: "Practical Deep Learning For Coders"
>   (http://course.fast.ai/start.html), aber auch vielen anderen
>   ähnlichen Einführungskursen, entnehmen.]
>
> * Auch die Rolle der aus Kreuzung verschiedener Arten hervorgegangenen
>   Hybride, ist eine ausgesprochen spannende Sache, über die uns Jakob
>   eine ganze Menge zu erzählen wusste.
>
>   Daran anknüpfend haben die eher technisch orientierten Anwesenden
>   sofort über die Möglichkeit virtueller Generierung und Rekombination
>   bekannter Pflanzenbilder bzw. "fake science" nachzudenken begonnen.
>   Eine Aufgabenstellung, die vermutlich mit Hilfe von sgn. GANs
>   (Generative Adversarial Networks) verhältnismäßig einfach umsetzbar
>   sein dürfte.
>
> * Dieses zugespitzte Spiel mit Ähnlichkeit, Nachahmung und Täuschung
>   findet sich aber bereits auch schon in der Natur. Gerade unter jenen
>   Orchideenarten, deren Bilder uns Jakob zur Verfügung gestellt hat,
>   finden sich einige, die zum Zweck der Fortpflanzung u.a. auch in
>   ihrer äußeren visuellen Erscheinung div. Insekten tlw. ähneln, um
>   sie anzulocken bzw. in subtilster Weise in die Irre zu führen.
>
>   Das erinnert stark an jene ausgefeilten Techniken, die uns auch im
>   Netz immer mehr mit möglichst treffsicheren individualisierten
>   Werbeeinblendungen und passenden weiterführenden Verweisen locken.
>   Derartiges wird aber in letzter Zeit auch in verschiedenen Formen von
>   "Adversarial Attacks" -- Techniken, die bilderkennende Apparaturen
>   und deren spezifischer Funktionsweise entgegenwirken und sie in
>   ihrem Urteils- und Vorhersagevermögen stören -- zusehends
>   thematisiert bzw. von Hackern unserer Tage in oft ausgesprochen
>   kreativer Weise durchgespielt.
>
>   Letztere Ansätze sind aber ziemlich kompliziert und erfordern ein
>   ungewöhnlich großes Maß an Einblick in die zu Grunde liegenden
>   Techniken. In diese Sphären werden wir mit unserem Projekt wohl eher
>   nicht gleich vorstoßen. Es verdient aber insofern Erwähnung, als
>   dieser Beschäftigung mit den im Inneren verborgenen Mechanismen, oft
>   auch genau jene Grenze markiert, die oberflächlichen Kitsch (ich
>   denke da an die beliebten "Style Transfer"-Spielereien u.ä.) von
>   ernsthafterer Reflexion und künstlerischem Anspruch trennt.
>
> * Eine weitere Besonderheit im Zusammenhang mit Jakobs
>   Orchideen-Bildern ergibt sich schließlich auch noch aus der
>   Tatsache, dass seine Gattin, die Hilde Königshofer, eine begnadete
>   Zeichnerin ist, die sich schon lange mit dem Abbilden derartigen
>   Pflanzen beschäftigt. Das könnte im Rahmen unserer Bemühungen
>   interessante Gegenüberstellungen von technisch-maschinellen und
>   menschlichen Wahrnehmungs-, Strukturierungs- und Abbildunsgzugängen
>   erlauben.
>
> Aber auch, wenn ich dieser Anregung von Jakob und all unsere daran
> geknüpften Diskussionen hier derart umfangreich skizziere, soll damit
> nicht der falsche Eindruck entstehen, dass wir uns damit bereits
> weitestgehend festgelegt hätten. Vielmehr ist es als ein Beitrag im
> gemeinsamen brain storming zu verstehen. Es ist zwar wirklich
> faszinierend zu erleben, in welch anregender Weise diese Exkurse in
> die Botanik unsere Debatten befruchtet hat, und die Sache eignet sich
> ja auch wirklich hervorragend, um auch ganz praktisch ersten Schritte
> in diesem Aufgabenfeld zu versuchen, trotzdem sollte man es besser als
> Vehikel auf dem Weg einer langsamen gedanklichen Annäherung verstehen.
>
> ## Ausblick
>
> Wenn alles gut geht, dürften am kommenden Donnerstag vermutlich Artemi
> und Maggie wider ein wenig mehr über musikbezogene Zugänge zum
> maschinellen lernen einbringen.  Das betrifft einerseits jene etwas
> anders gelagerten Techniken und Werkzeuge -- RNNs (Recurrent neural
> networks) und LSTM (Long short-term memory) -- wie man sie im Umgang
> mit zeitlich strukturierten Informationen gewöhnlich nutzt, vor allem
> aber auch die Frage, was wir als Künstler in unseren jeweiligen
> Arbeitsfeldern damit tatsächlich sinnvoll anstellen können?
>
> Wie oben bereits erwähnt, sollten wir langsam zu konkretere
> Vorstellungen gelangen, wie wir uns den geplanten workshop am
> befriedigendsten vorstellen könnten? Ich wäre euch sehr verbunden,
> wenn ihr euch darüber vorbereitend Gedanken machen könntet.
>
> alles liebe
> martin
> _______________________________________________
> A mur.at service.
> comunity mailing list
> comunity at lists.mur.at
> https://lists.mur.at/mailman/listinfo/comunity

-- 
Margarethe Maierhofer-Lischka
Write a poem, draw a picture, and avoid working for other people. — John Cage

http://bassomobile.wordpress.com
http://spielraumensemble.wordpress.com
http://schallfeld.weblog.mur.at

Nibelungengasse 44
8010 Graz
+43 699 10551457