Abstrakt
Seit dem Aufkommen des New Public Management werden als Steuerungsinstrument der Kulturpolitik regelmäßig Evaluationen eingesetzt. Die Glaubwürdigkeit des damit einhergehenden, impliziten Versprechens für sachliche, evidenzbasierte Entscheidungsprozesse bekommt jedoch Risse, sobald man Einsicht in das Zustandekommen und den interessensgelenkten Einsatz von Evaluationsstudien gewinnt. Wie ist nun dem epistemischen Geltungsanspruch von Evaluationsergebnissen zu begegnen? Und worauf sollte man achten, um die Qualität von Evaluationsstudien zu gewährleisten? Es reicht nicht aus, die Erfüllung von formalen Kriterien wie Wissenschaftlichkeit (Methodik und Systematik bei der Datenerhebung und -auswertung), Nachvollziehbarkeit (begründete Auswahl der Indikatoren, begründete Schlussfolgerung) und Transparenz (Offenlegung des Evaluationsverfahrens und der zugrundeliegenden Motive) einzufordern. Daher widmet sich der Aufsatz dem Umgang mit grundsätzlichen Problemen, Ambivalenzen und Unwägbarkeiten, die im Zuge jeder Evaluationsstudie auftauchen. Ziel ist es, eine höhere Reflexivität über die inhärente Ambiguität und Fragilität von Evaluationsprozessen zu erreichen.
Abstract
Since the rise of New Public Management, regular evaluations have been employed as a cultural policy guidance instrument. However, the credibility of the associated implicit promise of objective, evidence-based decision-making processes starts to crack as soon as one gains an insight into how evaluation studies are created and manipulatively applied. How should one respond to the claim of the epistemological validity of evaluation studies’ results? And what should one pay attention to in order to ensure the quality of evaluation studies? It is not sufficient to simply fulfil formal academic criteria (methodology and systematics of data collection and evaluation), or to demand clarity (well-founded selection of indicators, well-founded conclusions), and transparency (disclosure of the evaluation procedure and the underlying motives). Consequently this article is focused on how to approach fundamental problems, ambivalences and imponderables that arise in the course of any evaluation study. The aim is to achieve greater reflexivity in the inherent ambiguity and fragility of evaluation processes.