These sample files and code examples are provided by CFG Schendera c/o Method Consult „as is“ without warranty of any kind, either express or implied, including but not limited to the implied warranties of merchantability and fitness for a particular purpose. Recipients acknowledge and agree that CFG Schendera c/o Method Consult shall not be liable for any damages whatsoever arising out of their use of this material. In addition, CFG Schendera c/o Method Consult will provide no support for the materials contained herein.
Standards
Wir orientieren uns an diversen Standards. Für den Business Fokus orientieren wir uns u.a. an PMI Standards; für den Academics Fokus orientieren wir uns u.a. an den DFG-Empfehlungen zur Sicherung guter wissenschaftlicher Praxis, den DeGEval-Standards (s.u.), oder auch die ICH-GCP-Guidelines (vgl. auch die Veröffentlichungen von Dr. Schendera zur Qualität in Forschung und Unternehmen). Im folgenden finden Sie die Standards der Deutschen Gesellschaft für Evaluation (DeGEval):
Nützlichkeit
Die Nützlichkeitsstandards sollen sicherstellen, dass die Evaluation sich an den geklärten Evaluationszwecken sowie am Informationsbedarf der vorgesehenen Nutzer und Nutzerinnen ausrichtet.
- N1 Identifizierung der Beteiligten und Betroffenen
Die am Evaluationsgegenstand beteiligten oder von ihm betroffenen Personen bzw. Personengruppen sollen identifiziert werden, damit deren Interessen geklärt und so weit wie möglich bei der Anlage der Evaluation berücksichtigt werden können.
- N2 Klärung der Evaluationszwecke
Es soll deutlich bestimmt sein, welche Zwecke mit der Evaluation verfolgt werden, so dass die Beteiligten und Betroffenen Position dazu beziehen können und das Evaluationsteam einen klaren Arbeitsauftrag verfolgen kann.
- N3 Glaubwürdigkeit und Kompetenz des Evaluators / der Evaluatorin
Wer Evaluationen durchführt, soll persönlich glaubwürdig sowie methodisch und fachlich kompetent sein, damit bei den Evaluationsergebnissen ein Höchstmaß an Glaubwürdigkeit und Akzeptanz erreicht wird.
- N4 Auswahl und Umfang der Informationen
Auswahl und Umfang der erfassten Informationen sollen die Behandlung der zu untersuchenden Fragestellungen zum Evaluationsgegenstand ermöglichen und gleichzeitig den Informationsbedarf des Auftraggebers und anderer Adressaten und Adressatinnen berücksichtigen.
- N5 Transparenz von Werten
Die Perspektiven und Annahmen der Beteiligten und Betroffenen, auf denen die Evaluation und die Interpretation der Ergebnisse beruhen, sollen so beschrieben werden, dass die Grundlagen der Bewertungen klar ersichtlich sind.
- N6 Vollständigkeit und Klarheit der Berichterstattung
Evaluationsberichte sollen alle wesentlichen Informationen zur Verfügung stellen, leicht zu verstehen und nachvollziehbar sein.
- N7 Rechtzeitigkeit der Evaluation
Evaluationsvorhaben sollen so rechtzeitig begonnen und abgeschlossen werden, dass ihre Ergebnisse in anstehende Entscheidungsprozesse bzw. Verbesserungsprozesse einfließen können.
- N8 Nutzung und Nutzen der Evaluation
Planung, Durchführung und Berichterstattung einer Evaluation sollen die Beteiligten und Betroffenen dazu ermuntern, die Evaluation aufmerksam zur Kenntnis zu nehmen und ihre Ergebnisse zu nutzen.
Durchführbarkeit
Die Durchführbarkeitsstandards sollen sicherstellen, dass eine Evaluation realistisch, gut durchdacht, diplomatisch und kostenbewusst geplant und ausgeführt wird.
- D1 Angemessene Verfahren
Evaluationsverfahren, einschließlich der Verfahren zur Beschaffung notwendiger Informationen, sollen so gewählt werden, dass Belastungen des Evaluationsgegenstandes bzw. der Beteiligten und Betroffenen in einem angemessenen Verhältnis zum erwarteten Nutzen der Evaluation stehen.
- D2 Diplomatisches Vorgehen
Evaluationen sollen so geplant und durchgeführt werden, dass eine möglichst hohe Akzeptanz der verschiedenen Beteiligten und Betroffenen in bezug auf Vorgehen und Ergebnisse der Evaluation erreicht werden kann.
- D3 Effizienz von Evaluation
Der Aufwand für Evaluation soll in einem angemessenen Verhältnis zum Nutzen der Evaluation stehen.
Fairness
Die Fairnessstandards sollen sicherstellen, dass in einer Evaluation respektvoll und fair mit den betroffenen Personen und Gruppen umgegangen wird.
- F1 Formale Vereinbarungen
Die Pflichten der Vertragsparteien einer Evaluation (was, wie, von wem, wann getan werden soll) sollen schriftlich festgehalten werden, damit die Parteien verpflichtet sind, alle Bedingungen dieser Vereinbarung zu erfüllen oder aber diese neu auszuhandeln.
- F2 Schutz individueller Rechte
Evaluationen sollen so geplant und durchgeführt werden, dass Sicherheit, Würde und Rechte der in eine Evaluation einbezogenen Personen geschützt werden.
- F3 Vollständige und faire Überprüfung
Evaluationen sollen die Stärken und die Schwächen des Evaluationsgegenstandes möglichst vollständig und fair überprüfen und darstellen, so dass die Stärken weiter ausgebaut und die Schwachpunkte behandelt werden können.
- F4 Unparteiische Durchführung und Berichterstattung
Die Evaluation soll unterschiedliche Sichtweisen von Beteiligten und Betroffenen auf Gegenstand und Ergebnisse der Evaluation in Rechnung stellen. Berichte sollen ebenso wie der gesamte Evaluationsprozess die unparteiische Position des Evaluationsteams erkennen lassen. Bewertungen sollen fair und möglichst frei von persönlichen Gefühlen getroffen werden.
- F5 Offenlegung der Ergebnisse
Die Evaluationsergebnisse sollen allen Beteiligten und Betroffenen soweit wie möglich zugänglich gemacht werden.
Genauigkeit
Die Genauigkeitsstandards sollen sicherstellen, dass eine Evaluation gültige Informationen und Ergebnisse zu dem jeweiligen Evaluationsgegenstand und den Evaluationsfragestellungen hervorbringt und vermittelt.
- G1 Beschreibung des Evaluationsgegenstandes
Der Evaluationsgegenstand soll klar und genau beschrieben und dokumentiert werden, so dass er eindeutig identifiziert werden kann.
- G2 Kontextanalyse
Der Kontext des Evaluationsgegenstandes soll ausreichend detailliert untersucht und analysiert werden.
- G3 Beschreibung von Zwecken und Vorgehen
Gegenstand, Zwecke, Fragestellungen und Vorgehen der Evaluation, einschließlich der angewandten Methoden, sollen genau dokumentiert und beschrieben werden, so dass sie identifiziert und eingeschätzt werden können.
- G4 Angabe von Informationsquellen
Die im Rahmen einer Evaluation genutzten Informationsquellen sollen hinreichend genau dokumentiert werden, damit die Verlässlichkeit und Angemessenheit der Informationen eingeschätzt werden kann.
- G5 Valide und reliable Informationen
Die Verfahren zur Gewinnung von Daten sollen so gewählt oder entwickelt und dann eingesetzt werden, dass die Zuverlässigkeit der gewonnenen Daten und ihre Gültigkeit bezogen auf die Beantwortung der Evaluationsfragestellungen nach fachlichen Maßstäben sichergestellt sind. Die fachlichen Maßstäbe sollen sich an den Gütekriterien quantitativer und qualitativer Sozialforschung orientieren.
- G6 Systematische Fehlerprüfung
Die in einer Evaluation gesammelten, aufbereiteten, analysierten und präsentierten Informationen sollen systematisch auf Fehler geprüft werden.
- G7 Analyse qualitativer und quantitativer Informationen
Qualitative und quantitative Informationen einer Evaluation sollen nach fachlichen Maßstäben angemessen und systematisch analysiert werden, damit die Fragestellungen der Evaluation effektiv beantwortet werden können.
- G8 Begründete Schlussfolgerungen
Die in einer Evaluation gezogenen Folgerungen sollen ausdrücklich begründet werden, damit die Adressaten und Adressatinnen diese einschätzen können.
- G9 Meta-Evaluation
Um Meta-Evaluationen zu ermöglichen, sollen Evaluationen in geeigneter Form dokumentiert und archiviert werden.
Im folgenden die Standards der SEVAL (Schweizerische Evaluationsgesellschaft):
Genauigkeit
Die Genauigkeitsstandards sollen sicherstellen, dass eine Evaluation gültige Informationen und Ergebnisse zu dem jeweiligen Evaluationsgegenstand und den Evaluationsfragestellungen hervorbringt und vermittelt.
- G1 Programmdokumentation
Der Evaluationsgegenstand sollte klar und genau beschrieben und dokumentiert werden, so daß er eindeutig identifiziert werden kann.
- G2 Kontextanalyse
Der Kontext, in dem der Evaluationsgegenstand angesiedelt ist, sollte ausreichend detailliert untersucht werden, damit mögliche Beeinflussungen des Evaluationsgegenstands identifiziert werden können.
- G3 Beschreibung von Zielen und Vorgehen
Die Zwecksetzungen und das Vorgehen der Evaluation sollten ausreichend genau dokumentiert und beschrieben werden, so daß sie identifiziert und eingeschätzt werden können.
- G4 Verläßliche Informationsquellen
Die in einer Evaluation genutzten Informationsquellen sollten hinreichend genau beschrieben sein, damit die Angemessenheit der Informationen eingeschätzt werden kann.
- G5 Valide Informationen
Die Verfahren zur Informationsgewinnung sollten so gewählt oder entwickelt und dann umgesetzt werden, daß die Gültigkeit der gewonnenen Interpretationen für den gegebenen Zweck sichergestellt ist.
- G6 Reliable Informationen
Die Verfahren zur Informationsgewinnung sollten so gewählt oder entwickelt und dann umgesetzt werden, daß die Zuverlässigkeit der gewonnen Interpretationen für den gegebenen Zweck sichergestellt ist.
- G7 Systematische Informationsüberprüfung
Die in einer Evaluation gesammelten, aufbereiteten und präsentierten Informationen sollten systematisch überprüft und alle gefundenen Fehler sollten korrigiert werden.
- G8 Analyse quantitativer Informationen
Quantitative Informationen einer Evaluation sollten angemessen und systematisch analysiert werden, damit die Fragestellungen der Evaluation effektiv beantwortet werden.
- G9 Analyse qualitativer Informationen
Qualitative Informationen einer Evaluation sollten angemessen und systematisch analysiert werden, damit die Fragestellungen der Evaluation effektiv beantwortet werden.
- G10 Begründete Schlußfolgerungen
Die in einer Evaluation gezogenen Folgerungen sollten ausdrücklich begründet werden, damit die Beteiligten & Betroffenen diese einschätzen können.
- G11 Unparteiische Berichterstattung
Die Verfahren der Berichterstattung sollten über Vorkehrungen gegen Verzerrungen durch persönliche Gefühle und Vorlieben irgendeiner Evaluationspartei geschützt werden, so daß Evaluationsberichte die Ergebnisse fair wiedergeben.
- G12 Meta-Evaluation
Die Evaluation selbst sollte formativ und summativ in bezug auf die vorliegenden oder andere wichtige Standards evaluiert werden, so daß die Durchführung entsprechend angeleitet werden kann und damit die Beteiligten & Betroffenen bei Abschluß einer Evaluation deren Stärken und Schwächen gründlich überprüfen können.
Korrektheit
Die Korrektheitsstandards sollen sicherstellen, daß eine Evaluation rechtlich und ethisch korrekt durchgeführt wird und dem Wohlergehen der in die Evaluation einbezogenen und auch der durch die Ergebnisse betroffenen Personen gebührende Aufmerksamkeit widmet.
- K1 Unterstützung der Dienstleistungsorientierung
Die Evaluation sollte so geplant werden, daß Organisationen dabei unterstützt werden, die Interessen und Bedürfnisse des ganzen Zielgruppenspektrums zu berücksichtigen und ihre Tätigkeiten danach auszurichten.
- K2 Formale Vereinbarungen
Die Pflichten der Vertragsparteien einer Evaluation (was, wie, von wem, wann getan werden soll) sollten schriftlich festgehalten werden, damit die Parteien verpflichtet sind, alle Bedingungen dieser Vereinbarung zu erfüllen oder aber diese erneut zum Gegenstand von formalen Verhandlungen zu machen.
- K3 Schutz individueller Menschenrechte
Evaluationen sollten so geplant und durchgeführt werden, daß die Rechte und das Wohlergehen der Menschen respektiert und geschützt sind.
- K4 Menschlich gestaltete Interaktion
Evaluatorinnen sollten in ihren Kontakten mit anderen die Würde und den Wert der Menschen respektieren, damit diese nicht gefährdet oder geschädigt werden.
- K5 Vollständige und faire Einschätzung
Evaluationen sollten in der Überprüfung und in der Präsentation der Stärken und Schwächen des Evaluationsgegenstands vollständig und fair sein, so daß die Stärken weiter ausgebaut und die Problemfelder behandelt werden können.
- K6 Offenlegung der Ergebnisse
Die Vertragsparteien einer Evaluation sollten sicherstellen, daß die Evaluationsergebnisse einschliesslich wesentlicher Einschränkungen den durch die Evaluation betroffenen Personen ebenso wie all jenen, die einen ausgewiesenen Anspruch auf die Evaluationsergebnisse haben, zugänglich gemacht werden.
- K7 Deklaration von Interessenkonflikten
Interessenkonflikte sollten offen und aufrichtig behandelt werden, damit sie die Evaluationsverfahren und -ergebnisse nicht beeinträchtigen.
- K8 Finanzielle Verantwortlichkeit
Die Zuweisung und Ausgabe von Ressourcen durch die Evaluatorin sollte durch eine sorgfältige Rechnungsführung nachgewiesen werden und auch anderweitig klug sowie ethisch verantwortlich erfolgen, damit die Ausgaben verantwortungsbewußt und angemessen sind.
Nützlichkeit
Die Nützlichkeitsstandards sollen sicherstellen, daß eine Evaluation sich an den Informationsbedürfnissen der vorgesehenen EvaluationsnutzerInnen ausrichtet.
- N1 Ermittlung der Beteiligten & Betroffenen
Die an einer Evaluation beteiligten oder von ihr betroffenen Personen sollten identifiziert werden, damit deren Interessen und Bedürfnisse berücksichtigt werden können.
- N2 Glaubwürdigkeit der Evaluatorin
Wer Evaluationen durchführt, sollte sowohl vertrauenswürdig als auch kompetent sein, damit bei den Evaluationsergebnissen ein Höchstmaß an Glaubwürdigkeit und Akzeptanz erreicht wird.
- N3 Umfang und Auswahl der Informationen
Die gewonnenen Informationen sollten von einem Umfang und einer Auswahl sein, welche die Behandlung sachdienlicher Fragen zum Evaluationsgegenstand ermöglichen und gleichzeitig auf die Interessen und Bedürfnisse des Auftraggebers und anderer Beteiligter & Betroffener eingehen.
- N 4 Feststellung von Werten
Die Perspektiven, Verfahren und Gedankengänge, auf denen die Interpretationen der Ergebnisse beruhen, sollten sorgfältig beschrieben werden, damit die Grundlagen der Werturteile klar ersichtlich sind.
- N5 Klarheit des Berichts
Evaluationsberichte sollten den Evaluationsgegenstand einschliesslich seines Kontextes ebenso beschreiben wie die Ziele, die Verfahren und Befunde der Evaluation, damit die wesentlichen Informationen zur Verfügung stehen und leicht verstanden werden können.
- N6 Rechtzeitigkeit und Verbreitung des Berichts
Wichtige Zwischenergebnisse als auch Schlußberichte sollten den vorgesehenen Nutzern so zur Kenntnis gebracht werden, daß diese sie rechtzeitig verwenden können.
- N7 Wirkung der Evaluation
Evaluationen sollten so geplant, durchgeführt und dargestellt werden, daß die Beteiligten & Betroffenen dazu ermuntert werden, dem Evaluationsprozeß zu folgen, damit die Wahrscheinlichkeit steigt, daß die Evaluation genutzt wird.
Durchführbarkeit
Die Durchführbarkeitsstandards sollen sicherstellen, daß eine Evaluation realistisch, gut durchdacht, diplomatisch und kostenbewußt ausgeführt wird.
- D1 Praktische Verfahren
Die Evaluationsverfahren sollten praktisch sein, so daß Störungen minimiert und die benötigten Informationen beschafft werden können.
- D2 Politische Tragfähigkeit
Evaluationen sollten mit Voraussicht auf die unterschiedlichen Positionen der verschiedenen Interessengruppen geplant und durchgeführt werden, um deren Kooperation zu erreichen und um mögliche Versuche irgendeiner dieser Gruppen zu vermeiden, die Evaluationsaktivitäten einzuschränken oder die Ergebnisse zu verzerren respektive zu mißbrauchen.
- D3 Kostenwirksamkeit
Die Evaluation sollte effizient sein und Informationen mit einem Wert hervorbringen, der die eingesetzten Mittel rechtfertigt.
