Etwas aus der Rubrik “Was wir schon immer wissen wollten, aber nie zu fragen wagten!” Wenn Kurse, Lerninhalte und Prüfungen umsonst sind, wie sieht dann der zukünftige Businessplan eines Open Course- bzw. MOOC-Anbieters aus? Eine Reihe von Experten spekuliert: Gebühren für Zeugnisse und Zertifikate wären das Naheliegende. Aber vielleicht werden die Kursbetreiber auch zu Headhuntern, die ihre Talente an interessierte Unternehmen vermitteln? Oder sie unterstützen die weniger talentierten Lerner bei der Suche nach der richtigen Lernumgebung. Oder es gibt Extra- und Premium-Services! Hier ist die Rede von “accompanying content and services”: “The companies could potentially make money providing — or outsourcing — library resources, tutoring services, and other accouterments of collegiate academic life.” Alles scheint auf dem Prüfstand zu stehen. Weitere Vorschläge?
Steve Kolowich, Inside Higher Ed, 11. Juni 2012

Ich möchte den Trend der Learning Analytics mal aus der Sicht der personalisierten Lernumgebung (englisch: Personal Learning Environment, kurz PLE) denken. PLE sind ein vielbeachtetes Thema beim Lernen in Zeiten des Web 2.0 und Social Software. Für viele Lernende ist … Weiterlesen →

http://www.scoop.it/t/erwachsenenbildung/

Just wenige Wochen nach dem Verkaufsstart des neuen iPads (16.03.2012) in Deutschland befasste sich die Live Session vom 9. Mai 2012 des OPCO 2012 mit dem Thema Tablet Computing.  „Angespitzt“ durch diesen Frühjahrsverkaufsevent und das ganze „Drumherum“  besitzt das zweite … Weiterlesen →

Nach der ersten Themenwoche, dem Online-Event und dem Lesen einiger Blogbeiträge zum Thema verstehe ich Learning Analytics grob zusammengefasst als “Nutzung und Auswertung von im (Online-)Lernprozess anfallenden Daten, um Lehren und Lernen zu verbessern”.

In der bisherigen Diskussion wurden einige wichtige Aspekte angesprochen… die Frage nach Datenschutz und Persönlichkeitsrechten ist natürlich sehr wichtig (und führt zur Zeit an der Uni Leipzig dazu, dass ohne einen bestimmten Passus in der Studienordnung kein Lehrender in moodle-Kursen die Rechte bekommt, z.B. individuelle Daten zu Befragungen, Tests o.ä. zu sehen…).

Wundern tut mich, dass die Frage, die bei den bisherigen Themen (mobile Apps, Game Based Learning, tablet computing) immer irgendwie (berechtigterweise) aufkam, beim Thema Learning Analytics meines Wissens nach noch kaum angesprochen wurde, nämlich: Wo ist eigentlich die Frage zu der Antwort?

Dabei ist doch “Learning Analytics” – so wie ich es verstehe, s.o. – gerade ein Paradebeispiel für die “42-Herangehensweise”. Also: “Wir haben doch so viele Daten/Antworten” – auf  die Frage nach “life, the universe and everything”? Oder welche Frage sollen wir mit ‘Learning Analytics’ eigentlich beantworten?

Klar geht es irgendwie darum, Lehren und Lernen zu verbessern. Und klar, es fallen in einem Online-Lernprozess viele Daten an. Aber passt das wirklich zusammen? Kann ich mit Daten wie Einlog-Häufigkeiten und -Zeiten, Anzahl an Forenbeiträgen, Abruf von pdf-Dateien, … wirklich etwas substanzielles über einen individuellen Lern-, Verständnis-, Kommunikations- und vielleicht Transfer-Prozess aussagen und daraus Konsequenzen für die Verbesserung dieses Prozesses ziehen?

Beispiel: Seltenes Einloggen – klar kann man nachvollziehen und überprüfen, wie oft sich jemand in einen Kurs einloggt. Aber schon die dahinterstehende Annahme – nämlich, dass eine gewisse Präsenz im Kurs die Grundvoraussetzung ist, das Thema entsprechend den Lernzielen zu bearbeiten – mag trügerisch sein. Die im Kurs zur Verfügung gestellten pdfs gibt es oft auch als “Druckversion” in der Bibliothek, und die gedankliche Beschäftigung mit einem Thema ist nun mal nicht an das Einloggen im moodle-Kurs gebunden. Und selbst wenn ich “seltenes Einloggen” feststelle – als Lehrender kann ich allein auf Grundlage dieser Information (und wohl auch nicht in Kombination mit irgendwelchen anderen elektronischen ‘Fußspuren’ des jeweiligen Lerners) kaum etwas an meiner Lehre verändern.

Lehre kann in meinem Arbeitsbereich – Geistes- und Sozialwissenschaften an der Hochschule – nur Angebote machen, Anregungen geben, Ergebnisse rückmelden (und damit wenn es gut läuft Anregung zum Weiterlernen geben). Eine automatisierbare Lernprozess-Steuerung ist weder ethisch vertretbar (da Lernen gerade bei Erwachsenen immer ein selbstbestimmter Prozess ist, der letztlich auch auf die Erweiterung der Selbstbestimmungsmöglichkeiten zielen sollte) noch (in näherer Zukunft) möglich.

Natürlich kann man auch in diesem Bereich untersuchen, wie bestimmte Angebote wahr- und angenommen werden, wie sich das Verständnis bestimmter Konzepte entwickelt und unter welchen Bedingungen in Forendiskussionen verständnisfördernde Elaboration und Diskussion entsteht (und die Ergebnisse nutzen, um den Lernprozess zu verbessern). Aber dies würde ich weniger als automatisierte ‘Learning Analytics’, sondern “schnöde” als Evaluation und/oder (praxisorientierte) Lehr-Lern-Forschung bezeichnen. (Interessanterweise kam auch die Frage nach der Abgrenzung zu Evaluation und Lehr-Lern-Forschung beim Thema Learning Analytics bisher nicht auf – vielleicht weil klar ist, dass es sich bei ersteren um theorie- und fragengeleitete, und nicht um datengeleitete Vorgehensweisen handelt?)

Spannend finde ich allerdings die Idee, ‘Learning Analytics’ als Ressource zur Lernreflexion durch den Lernenden selbst zu nutzen – also, dem Lernenden z.B. ‘Auffälliges’ in seinem Lernverhalten mitzuteilen und damit zur Reflexion anzuregen. Aber auch und gerade dabei ist es mit der Nutzung der quasi ‘nebenbei’ gespeicherten Daten nicht getan: Erstens ist es dennoch zumindest notwendig, in irgendeiner Form von Hypothesen oder Fragen auszugehen, um Daten zu sammeln und auszuwerten (z.B. in welchem Zusammenhang steht Verhalten xy mit Ergebnis ab?), also die Frage vor der Antwort vorliegen zu haben. Und zweitens werden für die Beantwortung sinnvoller auf den Lernprozess bezogener Fragen zumeist sicherlich Daten notwendig, die nicht automatisiert erhoben werden – so wie bereits hier vorgeschlagen. Aber dann bewegen wir uns ebenfalls wieder weg vom “reinen” Learning Analytics, diesmal eher in Richtung “Anregung zur Lernreflexion” mit Hilfe von Ansätzen wie Lerntagebüchern und Portfolios.

Was bleibt? Irgendwie der Eindruck, dass sich hinter dem schillernden Begriff “Learning Analytics” eine verkürzende Mischform aus Evaluation und Qualitätsentwicklung, Lehr-Lern-Forschung und Anregung zur Lernreflexion verbirgt. Und die Frage, ob es nicht eine Verbindung dieser Ansätze gäbe, die die einzelnen nicht (der Bequemlichkeit halber und/oder einer Begeisterung über vorhandene Daten und mögliche Visualisierungen folgend?) unzulässig und zum Teil unsinnig verkürzen würde. Die also der Evaluation und Lehr-Lern-Forschung die Fragestellungen, sowie der Qualitätsentwicklung und der Anregung von Lern- und Reflexionsprozessen die Komplexität lassen würde?

Tagged: Evaluation, Hochschuldidaktik, learning analytics, Lehr-Lern-Forschung, opco12

Damit nichts verloren geht: Christoph Meier (Swiss Centre for Innovations in Learning, scil) hat letzte Woche unsere Live-Session mit Martin Ebner verfolgt und seine Eindrücke zusammengefasst. Sein Resümee:

„Die Vision, Lernprozesse durch die Analyse von grossen Mengen an Nutzerdaten besser verstehen und unterstützen zu können, ist formuliert und erste Werkzeuge sind verfügbar. Aber es ist wohl noch ein weiter Weg, bis dies im Alltag von Bildungsinstitutionen seinen Platz gefunden haben wird.“
Christoph Meier, scil-blog.ch, 5. Juni 2012

“Learning analytics refers to the interpretation of a wide range of data produced by and gathered on behalf of students in order to assess academic progress, predict future performance, and spot potential issues. Data are collected from explicit student actions, such as completing assignments and taking exams, and from tacit actions, including online social interactions, extracurricular activities, posts on discussion forums, and other activities that are not directly assessed as part of the student’s educational progress. The goal of learning analytics is to enable teachers and schools to tailor educational opportunities to each student’s level of need and ability in close-to-real time. Learning analytics promises to harness the power of advances in data mining, interpretation, and modeling to improve understandings of teaching and learning, and to tailor education to individual students more effectively. Still in its early stages, learning analytics responds to calls for accountability on campuses and aims to leverage the vast amount of data produced by students in academic activities.”  Horizon Report, 2012

Following some more definitions about Learning Analytics (LA)

“Learning analytics is the use of intelligent data, learner-produced data, and analysis models to discover information and social connections, and to predict and advise on learning.” Georg Siemens (2010)

“Learning Analytics is about collecting traces that learners leave behind and using those traces to improve learning.” (Eric Duval, 2012 SlideShare presentation)

“Learning Analytics is the interpretation from specific learner data with the goal to purposefully improve the individual learning process.”  Martin Ebner & Martin Schoen (2012)

from Educause

Watching the video from the online event (you can find it in the OPCO12 course blog or on Jochen Robes Weiterbildungsblog) and reading about Learning Analytics in the Horizon generated a lot of question. The chat protocol and the blog posts about this topic so far already indicate that Learning analytics is a controversy topic that evokes quite a lot of emotions.

Here are some questions that came to my mind during reading, which are pretty much in accord with the questions and concerns raised in the chat and blog posts.

1. Actually the first thought that crossed my mind already after reading the abstract was ‘Big Brother is watching you’ similar to Trilian who wrote in his blog ‘isn’t it virtual brother who is logging us?’
2. Who will collect (data mining) the data from which sources?
3. Who will analyze and interpret the data and which standards/criterion will be applied for analysis?
4. Will students receive information what type of data will be collected and will they be able to access the data?

1. ‘Big Brother theory’
Sonja Gerber raised the question in her blog if the transparent students develop (‘gläserner Student) and Martin Ebner from the Technical University in Graz cited in his presentation during the online session Erica Naone that ‘Anonymous was yesterday’.

Being an online student for more than six years at the OU, I know that my digital footprints are everywhere in the Web. At first I was somehow worried that which each progressing study year a Google search brought up more hits on my name, but I acknowledge Will Richardson (2008) statement “It’s a consequence of the new Web 2.0 world that these digital footprints—the online portfolios of who we are, what we do, and by association, what we know—are becoming increasingly woven into the fabric of almost every aspect of our lives.” (Richardson, W. (2008) ‘Footprints in the Digital Age’)

In the field of e-learning an increasing number of academics establish their academic identity by maintaining academic blogs, consequently pushing their reputation and credibility.

Especially during my Master study (Online and distance education – MAODE) all kind of data was collected i.e. posts on discussion forums, wiki contributions, completing assignments and probably other data I was not aware of. Whether the OU and/or tutors made really use of it and used it to analyze our learning and tailor educational opportunities to each student’s level of need and ability in close-to-real time, I don’t know for sure. The questionnaires about teaching quality, course design and the quality of learning material we were asked to complete during the course did definitely not result in close-to-real-time adjustments. The sense and purpose of these surveys where pretty much questioned, because if you cannot or don’t want to change anything during an ongoing course why ask for feedback?

2. Data mining and data security/privacy (4)

Jochen Robes raised in his presentation among others the following questions: What are ‘learner data’ and to whom the data belongs?

Learner data is learner-produced data (Siemens), traces that learners leave behind (Duval) and/or data collected from explicit student actions, including online social interactions, extracurricular activities, posts on discussion forums, and other activities that are not directly assessed as part of the student’s educational progress. Yet, the Horizon Report claim that LA ‘must include more than LMS data’, but which data?

What constitute learner data is broadly defined and the sources from which data can and should be collected are as well not clearly described. Data from online social interactions and other activities describes a broad range. Robes question to whom the data belongs coincide with question 4  whether students will receive information about what type of data will be collected and whether they will able to access the data? Data security was one main topic raised in the chat and I think it requires particular considerations when discussing LA.

3. Who will analyze and interpret the data and which standards/criterion will be applied for analysis?

This question was also raised in the chat. Collecting and analyzing data is very time-consuming. Ebner claims that this is not reasonable for teachers, but that means that teachers have to rely on the analysis from somebody else. Martin Ebner introduced a traffic light system. Green traffic light means that the student is good to go and ‘red’ that the student performs bad and is about to fail. But who sets the standards/criterion for red, yellow and green?

from Infolytics

Nevertheless, despite the many questions and concerns the relevance for teaching and learning should not be underestimated. If handled deliberate and considerate Learning analytics could indeed help to improve understandings of teaching and learning, and to tailor education to individual students more effectively. (Horizon Report, 2012), predict and advise on learning (Siemens) and improve the individual learning process. (Martin Ebner & Martin Schoen).

Tagged: #opco12, learning analytics, OpenCourse12

Mit dem letzten Feiertag und der gerade begonnenen Fußball-Europameisterschaft hatte (und hat) es unser Thema „Learning Analytics“ nicht leicht. Hinzu kommt, dass viele von uns Erfahrungen mit Apps, Tablets oder Games sammeln konnten, aber nur wenige mit „Learning Analytics“, ein Begriff, der sich zudem gegen jede schnelle Übersetzung erst einmal sperrt. Doch die Beiträge und Überlegungen der ersten Woche zeigen, dass das Thema viel Fantasie frei setzt!

Es hat sicher „gepasst“, dass der Input von Martin Ebner und sein praxisnahes Beispiel ganz am Anfang der Diskussion standen. Wer die Session verpasst hat, findet hier die Aufzeichnung sowie alle dazu gehörenden Materialien. Einige Fragen und Themen aus den Beiträgen der letzten Tage seien hier noch einmal festgehalten:

• Eine „differenzierende Herangehensweise“ schlägt zum Beispiel Jasmin Hamadeh vor und unterscheidet u.a. zwischen Zielpersonen, Auswertern und Zielrichtung von Learning Analytics.
• Wilke H. Riesenbeck erinnert das Thema stark an die programmierte Unterweisung und damit verbundene Hoffnungen, das Lernen und der Lernerfolg seien automatisierbar.
• Welche Fragen er mit Hilfe einer Lernplattform wie Moodle heute schon beantwortet, zeigt uns Stephan Göldi.
• Baselix wiederum bringt das klassische Bildungscontrolling ins Spiel und verbindet Learning Analytics spontan mit dem Prozess- und Output-Controlling.
• Die Aversion gegenüber Learning Analytics beleuchtet learning4me und schließt mit einem Appell: „Wenn es nicht die Pädagogen sind, …“
• Und Sonja Gerber fragt – auch mit Blick auf das Beispiel von Martin Ebner -, ob und wie denn Learning Analytics auch bei „komplexeren Themen oberhalb der Grundschule“ greift. Weiterlesen →

Es ist für mich schwierig, bei dem Thema Learning Analytics wenigstens eine kurze Zwischenbilanz zu ziehen.

Das Problem des Datenschutzes kommt hier in Opco immer wieder zum Tragen. Ich habe mir hierzu noch keine abschließende Meinung gebildet. Aber es ist mit Sicherheit zu kruz gedackt, LA nur auf Datenschutz zu reduzieren.

Was man vorhandenen Daten alles machen könnte, zeigt zwar gerade außerhalb des Bildungsbereiches die Diskussion über die Schufa, die Facebook-Daten ggf. zur Prüfung von Kreditwürdigkeit heranziehen wollte und deshalb ein Forschungsprojekt mit dem Potsdamer Hasso-Plattner-Institut durchführen wollte. Aufgrund massiver Kritik aus Kreisen der Datenschützer hat das Hasso-Plattner-Institut das Projekt aufgekündigt.

Potenzial hätte LA natürlich schon. Wer würde nicht gerne als Lerner wissen, wo er gerade steht, wo andere (auch) Schwierigkeiten hatten, usw.?

Als Lehrerder hätte man Überblick über Stolpersteine im eigenen Lernarrangement und die Möglichkeit, dieses zu optimieren usw.

Das „einfache“ Beispiel von Martin Ebner aus dem Grundschulbereich hat mögliches Potenzial aufgezeigt. Es bleibt die Frage, wann LA bei komplexeren Themen oberhalb der Grundschule, also beispielsweise in der gymnasialen Oberstufe, in der Hochschule oder in der Weiterbildung ankommen wird?

Learning Analytics: Wir sammeln, was mit dem Lernprozess zu tun hat. So geht es nicht. Denke ich, je mehr ich dazu denke. Die entsprechenden Seiten im Horizon Report, die Live-Session, Blogbeiträge und weiterfühenden Links / Artikel beziehen sich auf viele … Weiterlesen →

The post der LA-Kategorien-Generator appeared first on das e-Teaching Büro.