Zeitschrift für Kulturmanagement
Zeitschrift für Kulturmanagement 2017 (1)
Evaluation im Kulturbereich
2017
Steffen Höhne / Martin Tröndle / Bruno Seger / Leticia Labaronne (Hg.)226 Seiten
ISBN 978-3-8376-3824-0
transcript
34,99 €
Inhalt
Research Article | Sprache/Language: Deutsch
2017
Evaluation im kulturpolitischen Wirkungsbereich
Grundprobleme und Herausforderungen
TASOS ZEMBYLAS
Zeitschrift für Kulturmanagement 2017 (1) 2017 (1), 13-36.
doi http://dx.doi.org/10.14361/zkmm-2017-0102
Seit dem Aufkommen des New Public Management werden als Steuerungsinstrument der Kulturpolitik regelmäßig Evaluationen eingesetzt. Die Glaubwürdigkeit des damit einhergehenden, impliziten Versprechens für sachliche, evidenzbasierte Entscheidungsprozesse bekommt jedoch Risse, sobald man Einsicht in das Zustandekommen und den interessensgelenkten Einsatz von Evaluationsstudien gewinnt. Wie ist nun dem epistemischen Geltungsanspruch von Evaluationsergebnissen zu begegnen? Und worauf sollte man achten, um die Qualität von Evaluationsstudien zu gewährleisten? Es reicht nicht aus, die Erfüllung von formalen Kriterien wie Wissenschaftlichkeit (Methodik und Systematik bei der Datenerhebung und -auswertung), Nachvollziehbarkeit (begründete Auswahl der Indikatoren, begründete Schlussfolgerung) und Transparenz (Offenlegung des Evaluationsverfahrens und der zugrundeliegenden Motive) einzufordern. Daher widmet sich der Aufsatz dem Umgang mit grundsätzlichen Problemen, Ambivalenzen und Unwägbarkeiten, die im Zuge jeder Evaluationsstudie auftauchen. Ziel ist es, eine höhere Reflexivität über die inhärente Ambiguität und Fragilität von Evaluationsprozessen zu erreichen.
Since the rise of New Public Management, regular evaluations have been employed as a cultural policy guidance instrument. However, the credibility of the associated implicit promise of objective, evidence-based decision-making processes starts to crack as soon as one gains an insight into how evaluation studies are created and manipulatively applied. How should one respond to the claim of the epistemological validity of evaluation studies’ results? And what should one pay attention to in order to ensure the quality of evaluation studies? It is not sufficient to simply fulfil formal academic criteria (methodology and systematics of data collection and evaluation), or to demand clarity (well-founded selection of indicators, well-founded conclusions), and transparency (disclosure of the evaluation procedure and the underlying motives). Consequently this article is focused on how to approach fundamental problems, ambivalences and imponderables that arise in the course of any evaluation study. The aim is to achieve greater reflexivity in the inherent ambiguity and fragility of evaluation processes.
Research Article | Sprache/Language: English
2017
Performance measurement and evaluation in arts management
A meta-synthesis
LETICIA LABARONNE
Zeitschrift für Kulturmanagement 2017 (1) 2017 (1), 37-69.
doi http://dx.doi.org/10.14361/zkmm-2017-0103
This study analyzes the performance measurement and evaluation literature in (non- profit) arts management by conducting a meta-synthesis, which is both a process and a product of explorative scientific enquiry. Meta-syntheses go beyond the well-known procedure of literature reviews, often used to summarize the current state of knowledge in a particular field, in that they produce formal integrations that offer novel understandings of the reviewed literature. This article presents, in the results section, the consolidated understandings under four thought-provoking titles: First, ‘Third time’s a charm?’ describes the development phases identified in the body of performance measurement and evaluation literature. Second, ‘A paradigm on the move?’ refers to the dominance of the positivist research tradition and signals the quest for alternative approaches. Third, ‘Pride and Prejudice’ illustrates that the international literature tends to emphasize the benefits and learnings of performance measurement and evaluation practices (pride) while a rather prejudicial attitude is observed among the German-written literature. Fourth, ‘Good Cop, Bad Cop’ takes the debate to a higher level by thematizing the interplay between arts management research and cultural policy. The conclusion discusses the four titles through the lens of system theoretical discourse.
Research Article | Sprache/Language: Deutsch
2017
Wirkung und Qualität kombiniert
Ein Qualitätsmanagementsystem für Theater
DIANA BETZLER
Zeitschrift für Kulturmanagement 2017 (1) 2017 (1), 71-100.
doi http://dx.doi.org/10.14361/zkmm-2017-0104
Im vorliegenden Beitrag wird der Ansatz eines wirkungsorientierten Qualitätsmanagements vorgestellt und erörtert. Dabei wird zunächst das betriebswirtschaftliche Verständnis von Qualitätsmanagements hergeleitet und anhand theoretisch-konzeptioneller Grundüberlegungen mit dem kreativen Kontext und der Frage der Leistungserstellung von Kulturorganisationen verknüpft. Anschließend wird ein Modell für ein wirkungsorientiertes Qualitätsmanagement (Theatre Quality Frame) vorgestellt, welches an einem Schweizer Theater als Pilotprojekt entwickelt wurde und aktuell eingesetzt wird. Das Modell kombiniert eine Prozesslandkarte, die alle Theaterprozesse enthält mit einem Performance-Monitor, welcher als Messinstrument der Organisationsziele dient. Das Theatre Quality Frame ist kompatibel mit den internationalen Qualitätsmanagementstandards nach ISO 9001. Abschließend wird der vorgestellte Ansatz des wirkungsorientierten Qualitätsmanagements aus praktischer und organisationstheoretischer Perspektive diskutiert.
This paper presents and discusses an impact-oriented quality management approach in the arts. First, the business-management understanding of quality management is defined and then – based on theoretical and conceptual considerations – linked to the creative context and the question of how cultural organizations perform. Subsequently, a model for an impact-oriented quality management approach (Theater Quality Frame) is presented, which has been developed as a pilot project at a Swiss theater and is currently in use. The model combines a process map, which contains all the theater processes, with a performance monitor, which serves as a measuring instrument for the organizational objectives. The Theater Quality Frame is compatible with the international ISO 9001 quality management standards. Finally, the presented impact-oriented quality-management approach is discussed from a practical and organization-theory perspective.
Essay | Sprache/Language: Deutsch
2017
Lernen braucht Mut
Evaluation in der kulturellen Bildung
DIETER HASELBACH, ANTONIA STEFER
Zeitschrift für Kulturmanagement 2017 (1) 2017 (1), 103-111.
doi http://dx.doi.org/10.14361/zkmm-2017-0105
Programm- und Projektevaluationen in der kulturellen Bildung werden inzwischen regelmäßig, aber oftmals leider nur als routinierte Leistungsschau mit erwartbaren Ergebnissen durchgeführt. Die Autoren entwickeln aus der eigenen Arbeitspraxis ein Konzept einer Evaluation, die institutionelles Lernen fördert. Der Beitrag entwickelt Regeln und Arbeitsschritte für eine partizipative, am Lernerfolg ausgerichtete Evaluation. Grundsätzlich gilt, dass die Evaluation in einem intensiven kommunikativen Prozess mit Auftraggebern, Evaluierten und anderen Stakeholdern geführt werden muss. Die Evaluation wird so organisiert, dass Lernschleifen im Sinne einer Fehlerkorrektur stattfinden. Auftraggeber und Evaluierte werden dahin geführt, selbst an einer Aktualisierung von Zielen, Handeln und Zielerreichung zu arbeiten. Der Einsatz qualitativer Methoden neben quantitativen Verfahren ermöglicht das Erkennen von Fehlern im Programm oder Projekt und von Gründen für deren Auftreten. Doch noch immer ist eine Fehlerkritik nicht überall erwünscht. Fehler aber müssen erlaubt sein und im wertschätzenden Miteinander konstruktiv zu institutionellem Lernen und Prozessverbesserung genutzt werden.
Program and project evaluations in cultural education are conducted on a regular basis, but unfortunately often as a matter of routine with predictable results. Based on their own research, the authors develop a concept of evaluation that fosters institutional learning. The article develops rules and working steps for participative evaluation geared toward successful learning. Generally, evaluation involves an intense communicative process between the funding body, evaluated institution and other stakeholders. Evaluation is organized in such a way that learning happens in a loop, in which mistakes and problems are rectified. The funding body and evaluated institution are guided in such a way that they can update their aims, their actions, and their goals. The combination of qualitative and quantitative research methods makes it possible to locate problems in the program or project and understand the reasons for these flaws. However, a culture in which flaws are appreciated as learning opportunities is often desired in theory but not welcomed in practice. But in a positive climate, they do help in further developing institutions and processes.
Case Study | Sprache/Language: Deutsch
2017
Evaluation am Theater
Die Kunst, Kultur (nicht nur) zu messen – zu Prozessen und Methoden der Evaluation an Theatern in der südschwedischen Region Skåne
JENNY SVENSSON
Zeitschrift für Kulturmanagement 2017 (1) 2017 (1), 113-135.
doi http://dx.doi.org/10.14361/zkmm-2017-0106
Unsere moderne Gesellschaft ist zu einer Evaluationsgesellschaft geworden, in der Feedbackschleifen und Bewertungen zu einer Routine geworden sind. Von dieser Evaluationswelle blieb der Kulturbereich bislang weitestgehend verschont. Evaluation als Instrument einer reflexiv geprägten demokratischen Gesellschaft kann jedoch dem Kulturbetrieb dienlich sein. Dabei muss Evaluation die Funktion von Kunst in der Gesellschaft als eine polarisierende, komplexe Angelegenheit anerkennen und diese Komplexität in der Evaluation berücksichtigen. Das hat auch Auswirkungen auf die Funktionen von Evaluation im Theaterbetrieb. Anhand der Evaluationspraxis in den Jahren 2006 bis 2014 an den öffentlichen Theatern der südschwedischen Region Skåne wurden Methoden, Prozesse und Funktionen von Evaluation empirisch erhoben und analysiert, um herauszufinden welche Wirkungen und Resultate aus den unterschiedlichen Evaluationen hervorgehen und welche Faktoren eine Rolle für die nachhaltige Nutzung von Evaluation spielen. Die Studie zeigt: Die Funktionen von Evaluation sind im Kulturbereich vielfältig und müssen in Balance zueinander gesetzt werden. Daher sollte Evaluation am Theater weniger als Steuerungsinstrument mit instrumenteller Nutzung gedacht werden. Vielmehr kann Evaluation eine Rolle spielen, wenn sie als Reflexionsinstrument für eine konzeptuelle Nutzung eingesetzt wird.
Modern society has become an evaluation society. Feedback loops and rating things have become a routine part of our lives. Cultural life has been mostly spared from this obsession with evaluation. However, in a reflective and democratic society, evaluation should and could be useful for the cultural sector as well. For this purpose, evaluations need to recognize the role of art in society as polarizing and complex, and this complexity should be taken into account when carrying out evaluations. This also has an impact on the functions of evaluation in the performing arts.
Based on the evaluation practices of public theaters in southern Sweden between 2006 and 2014, methods, processes and functions of evaluation have been empirically researched and analyzed. The analysis shows that evaluation can have a positive impact if it is not only considered to be an instrument to assess and to control the achievement of objectives, but also to systematically reflect on the quality and effects of theatrical work.
The functions of evaluation in the performing arts are manifold. Evaluation should be seen less as a tool for regulation and more as a tool for conceptual reflection and communication.
Case Study | Sprache/Language: Deutsch
2017
Die Entwicklung eines Wirkungsziel-Managementsystems am Nationaltheater Mannheim
LAURA BETTAG
Zeitschrift für Kulturmanagement 2017 (1) 2017 (1), 137-154.
doi http://dx.doi.org/10.14361/zkmm-2017-0107
Häufig erkennen traditionell produzierende Stadttheaterbetriebe für sich weder in Qualitätsmanagementsystemen noch Evaluationsmodellen einen Nutzen. Ein zusätzliches Problem des öffentlich finanzierten Theatersystems ist es, dass der gewährte Vertrauensvorschuss seitens der Träger kaum Interventionsmöglichkeiten bei Fehlsteuerungen durch die Theaterleitung vorsieht. Zumeist ist aber allen Beteiligten ein Interesse am künstlerischem Erfolg und gesellschaftlichen Wirkungen der künstlerischen Arbeit gemeinsam. Am Beispiel des Nationaltheaters Mannheim wird dargelegt, wie es parallel zur Schaffung eines Mehr-Intendanten-Modells gelang, einen vom Unterhaltsträger unterstützten Wirkungszielprozess zum beiderseitigen Gewinn zu führen. Insbesondere dessen finanzierungsrelevante Komponente begünstigte die Bereitschaft der Intendanzen, das Wirkungszielmanagementsystem in partnerschaftlicher Zusammenarbeit zu entwickeln sowie im politischen Dialog vertrauensbildend einzusetzen. Das durch das gesamtstädtische Change-Management initiierte Wirkungszielmanagement bietet Ansätze zur Selbstevaluation und Verknüpfung mit Qualitätsmaßnahmen im Theaterbetrieb.
In Germany, many of the traditional municipal theaters do not recognize the benefits of applying a quality management system, strategic planning process or evaluation models. A fundamental problem for theaters relying on public funding is that the funding body’s trust in the theater does not make provision for any form of intervention in case of mismanagement by the theater’s leadership team. However, all parties involved share a common interest in ensuring the theater’s success both artistically and in terms of its social impact. Based on the example of the Nationaltheater Mannheim, we describe the strategic planning process we have applied since 2013 in combination with a multiple directors’ model. We outline a strategic planning process initiated by the municipality, which leads to mutually beneficial outcomes for both parties – municipality and theater. The framework consists of processes for establishing and transparently communicating five strategic goals and strategic key performance indicators, and measures which ones are adaptable from season to season. The strategic goal-planning approach, supported by the municipality’s overall change management approach, results in self-evaluation methods that include quality management, as a basis for the strategic steering of the theater management.
Case Study | Sprache/Language: Deutsch
2017
Means-end-Evaluation am Beispiel des Technorama
HELGE KAUL, ROY SCHEDLER
Zeitschrift für Kulturmanagement 2017 (1) 2017 (1), 155-166.
doi http://dx.doi.org/10.14361/zkmm-2017-0108
Neuen Ansätzen im Public Management folgend ist die Schaffung von Gemeinwohlwert (public value) erst gegeben, wenn damit verbundene Aktivitäten zu einer entsprechenden Bewertung auf der individuell-psychologischen Ebene führen. Im Rahmen der hier vorgestellten ‚Means-end-Evaluation‘ werden jene Personen zum Maßstab für das Handeln öffentlicher Institutionen, die einen unmittelbaren Wert aus kulturellen Projekten oder Objekten ziehen: die Zuschauer, Zuhörer, Leser oder Besucher. Am Beispiel des Swiss Science Center Technorama wird gezeigt, wie mittels einer Laddering-Analyse die mit einer Einrichtung und ihren Angeboten assoziierten Wertvorstellungen aufgedeckt werden können. Die auf diesem Wege gewonnenen Erkenntnisse können sowohl zur Bewertung und gegebenenfalls Legitimation öffentlich geförderter Leistungsprogramme dienen als auch zur publikumsorientierten Weiterentwicklung von kulturellen Angeboten und Vermittlungsprogrammen.
According to the latest research into public management, for public value to be created it is necessary for the related activities to have an effect on the personal attitudes and values of individuals. In the means-end evaluation discussed in this article, the actions of public institutions focus on those who directly benefit from cultural projects or artifacts: listeners, viewers, readers, or visitors. Using the example of the Swiss Science Center Technorama, it is shown how laddering can uncover the values that are associated with an institution and its purpose. The insights gained by this method can be used both to evaluate and, if necessary, legitimize publicly funded programs and to promote the development of cultural programs that appeal to the public.
Essay | Sprache/Language: Deutsch
2017
De numeris non est disputandum!
Die Zahl als Rechtfertigungsargument in der bildenden Kunst der Gegenwart
AUDE BERTRAND
Zeitschrift für Kulturmanagement 2017 (1) 2017 (1), 167-174.
doi http://dx.doi.org/10.14361/zkmm-2017-0109
Von der Kunstsoziologie hin zu moderneren Besucherbefragungen, Projekt- oder Programmevaluationen tasten sich Evaluationen an Rahmenbedingungen und Wirkungen des künstlerischen Schaffens heran, etwa Profil, Anzahl und Beweggründe der Besucher, Audience Development, Customer Journey, mediale Resonanz. Pragmatisch gesehen, spricht so gut wie nichts gegen Evaluationen im Kunstbereich – bleiben doch das Kunstschaffen und die Kunsterfahrung an sich davon unberührt. Doch wie wirkmächtig sind Evaluationen und was implizieren sie in unserem Umgang mit und unserer Bewertung von Kunst? In diesem Aufsatz vertrete ich die These, dass die Verbreitung von Evaluationen in der bildenden Kunst – und spezifischer bei Kunstprojekten im öffentlichen Raum – exemplarisch für eine neue, eindimensionale Rezeptionsästhetik steht. Mit diesem Paradigma kommt nicht nur der Zahl als Qualitätssignal, sondern auch der Kunst eine neue Rolle zu. Daraus folgt ein Appell, das Faszinosum der Zahl zu überwinden und eine mehrdimensionale Axiologie zu erdenken, die das traditionell Ästhetische, das Performative und das Gesellschaftliche gleichermaßen mit einbezieht.
The field of contemporary arts is currently going through a serious legitimation crisis. Possible solutions to overcoming this crisis are currently being discussed in the context of debates about the value art can or should have in our society. The proposed solutions encompass a wide range of approaches – from academic ones to appproaches based on the creative economy or social integration – but they all have one thing in common: the use of numerical evaluations as legitimization tools.
In the absence of commonly accepted criteria for the reception and evaluation of contemporary arts, numerical evaluations are not only becoming a substitute for qualitative criteria, they also offer a new foundation for seemingly straightforward but in fact multifaceted legitimatization strategies.
Tempting as it sounds, it would be a mistake to assume that a move back to traditional aesthetics in assessing the value of contemporary arts might still be possible as an answer to this legitimation debate.
A multidimensional axiology that includes numerical and performance-based evaluations alongside usual modes of aesthetic reception might be a necessary step toward a post-aesthetic – that is, a not merely self-referential, autonomous and arts-based – perspective on the role arts have to play in modern society.
Case Study | Sprache/Language: Deutsch
2017
(Wie) Kultur wirkt
Wirkungsorientierte Evaluation von Kulturarbeit und kultureller Bildungsarbeit am Goethe-Institut
TINA LIERHEIMER, ANKE SCHAD
Zeitschrift für Kulturmanagement 2017 (1) 2017 (1), 175-195.
doi http://dx.doi.org/10.14361/zkmm-2017-0110
Unter dem programmatischen Titel Kultur wirkt initiierte das Goethe-Institut 2013 einen über dreijährigen Prozess zur Entwicklung eines wirkungsorientierten Evaluationskonzepts für seine Kultur- und kulturelle Bildungsarbeit. Der Beitrag fasst im ersten Teil diesen Prozess und die konzeptionellen Überlegungen, die in ein 2016 veröffentlichtes Evaluationskonzept mündeten, zusammen. Insbesondere durch die Aufmerksamkeit auf die Dimension des Throughput (wertebasierte Arbeitsweise) und durch die Analyse von Wirkungsbeziehungen (Transfer) wird gegenüber bestehenden Evaluationsansätzen ein Mehrwert geschaffen. Im zweiten Teil des Beitrags wird die Anwendung des Evaluationskonzepts anhand eines Fallbeispiels konkretisiert. Hier wird insbesondere die Erkenntnisgenerierung durch die Akteur-Netzwerk-Theorie nach Bruno Latour und Michel Callon im Rahmen von Kulturevaluationen dargestellt.
In 2013, the Goethe Institut initiated a three-year project to develop an evaluation framework to measure the impact of its work on culture and cultural education. This article is divided into two parts: Part one relates to the experience of this development process and the conceptual considerations that led to a publication issued in 2016. By focusing on throughput (a value-based working approach) and analyzing the transfer of impact beyond the immediate sphere of activity, the Goethe Institut achieved added value in terms of evaluation. Part two of the article discusses the application of the evaluation concept based on a case study. Here, the authors illustrate the heuristic use of Bruno Latour’s and Michel Callon’s Actor-Network Theory in evaluations of cultural work. The article concludes with a short insight into the use of the evaluation concept for internal evaluations within the Goethe Institut as well as externally commissioned ones. The publication of the concept is also an invitation to continue a critical dialogue between cultural workers, cultural institutions, evaluators, and scholars about the opportunities and limitations of evaluating cultural work.
Case Study | Sprache/Language: Deutsch
2017
Die Potenziale, Innsbruck urban zu machen
Evaluation zu einem Förderinstrument der freien Szene
VERENA TEISSL, KLAUS SELTENHEIM
Zeitschrift für Kulturmanagement 2017 (1) 2017 (1), 197-207.
doi http://dx.doi.org/10.14361/zkmm-2017-0111
Im Februar 2016 beauftragte das Kulturamt der Stadt Innsbruck ein Team der FH Kufstein Tirol mit der Evaluation der Förderschiene stadt_potenziale (gegründet 2008). Sie richtet sich an die freie Szene und steht im Zeichen experimenteller Auseinandersetzung mit Urbanität im Allgemeinen und der Stadt Innsbruck im Besonderen. Die summative Evaluation umfasste Datenanalysen, baute auf einer Umfrage unter den Projektandinnen und Projektanden auf und kontextualisierte die Ergebnisse u. a. mit Richard Florida. Die besondere Herausforderung erwuchs dem Umstand, dass die Evaluation klein(st)er Fördernehmer/-innen in Österreich kaum angewandt wird, das Verständnis gegenüber der freien Szene bei politischen Entscheidungsträgern und Entscheidungsträgerinnen nicht vorausgesetzt werden kann und es keine kulturpolitischen Tendenzen gibt, Potenziale der freien Szene strategisch zu stützen. Die Case Study reflektiert den Verlauf und einige zentrale Ergebnisse der Evaluation und zieht Rückschlüsse für die Rolle von Evaluatoren und Evaluatorinnen für dieses sensible Feld.
In February 2016, the Cultural Administration of the City of Innsbruck commissioned a team from the University of Applied Science Kufstein with the evaluation of the funding framework stadt_potenziale. This has existed since 2008, is aimed at the independent cultural scene, and is dedicated to the experimental exploration of urbanity in general and the city of Innsbruck in particular. The cumulative evaluation included data analysis, but in particular was based on a survey carried out among project managers that have implemented projects through this funding framework over the last eight years. The fact that the independent scene has rarely been evaluated and that (it can be assumed) there is little understanding of this scene among politicians and policy makers, poses a major challenge. The results of the evaluation were then contextualized in relation to the ideas of Richard Florida on improving a city’s image and identity by including an independent and critical cultural scene. The case study reflects on the process and summarizes key findings and conclusions on the role of cultural management in this sensitive field.