Drittmittelprojekt | beendet | 01.02.2016
- 31.01.2019
Kontinuierliche Qualitätskontrolle von Forschungsdaten zur Sicherung ihrer Reproduzierbarkeit an Hochschulen (Conquaire)
Projektleitung
Zweck
Forschung
Förderung
Mittelgeber:
Deutsche Forschungsgemeinschaft
Förderprogramm:
Drittmittel DFG
Reproduzierbarkeit bildet ein Fundament der Wissenschaft. Während sich die Reproduzierbarkeit eines Experiments als äußerst schwierig erweisen kann, sollte die Reproduktion computergestützter Analysen, die eine bestimmte Schlussfolgerung erlaubt haben, eine Grundanforderung an alle publizierten Forschungsergebnisse darstellen. Wir bezeichnen diese Art der Reproduzierbarkeit als "analytische Reproduzierbarkeit".Um computergestützte Ergebnisse zu reproduzieren, müssen folgende Bedingungen erfüllt sein: i) die primären oder sekundären Daten liegen vor, ii) die Daten sind syntaktisch valide und einsatzbereit, iii) die Daten sind hinreichend dokumentiert, iv) die analytischen Prozeduren, mit denen die Daten ausgewertet wurden, stehen zur Verfügung und v) können auf den Daten ausgeführt werden, um die veröffentlichten Ergebnisse zu reproduzieren. Analytische Reproduzierbarkeit wird oft dadurch beeinträchtigt, dass eine oder mehrere der oben genannten Anforderungen nicht erfüllt sind.Das Ziel dieses Projektes ist es, am Beispiel der Universität Bielefeld hochschulweite Informationsinfrastrukturen so zu erweitern, dass Forschende dabei unterstützt werden, die oben genannten Eckpunkte einzuhalten. Dadurch sollen Daten möglichst früh im Forschungsprozess über eine institutionelle Infrastruktur gehostet werden. Inspiriert durch Continuous Integration streben wir die Entwicklung eines Frameworks an, das Forschungsdaten einer kontinuierlichen Qualitätskontrolle unterzieht, so dass sie jederzeit wiederverwendet und verifiziert werden können. Wir verstehen im Kontext dieses Projektes unter Datenqualität die (Wieder-)Verwendbarkeit und Verifizierbarkeit der Daten.In enger Kooperation mit Forschenden an der Universität Bielefeld sollen Anforderungen erhoben und definiert werden, um hochschulweite Informationsinfrastrukturen so zu erweitern, dass sie Forschende bei der Erreichung der analytischen Reproduzierbarkeit unterstützt. Die beteiligten Forschenden stammen aus unterschiedlichen Disziplinen, so z.B. aus der Psychologie, Sportwissenschaften, Biologie, Chemie, Kognitiven Linguistik, Computerlinguistik, Robotik und Wirtschaftswissenschaften. Durch die Einbeziehung sehr verschiedener Disziplinen soll es möglich werden, diszplinübergreifende Anforderungen an eine Infrastruktur zu identifizieren, die Datenqualität als fortwährenden Prozess unterstützt sowie das Teilen und die externe Validierung von Forschungsergebnissen ermöglicht.Die beispielhafte Erweiterung einer hochschulweiten Infrastruktur für das Forschungsdatenmanagement an der Universität Bielefeld wird weit über Bielefeld hinaus eine positive Wirkung haben. Unsere Erfahrungen mit der kontinuierlichen Qualitätskontrolle für Forschungsdaten sollen Entscheidungsträger dabei unterstützen, die gegenläufige Relation zwischen Kosten und Nutzen der Qualitätskontrolle von Forschungsdaten einzuschätzen.
- Hermann F, Pietsch C, Cimiano P. Conquaire Infrastructure for Continuous Quality Control. In: Cimiano P, Pietsch C, Wiljes C, Bielefeld University, eds. Studies in Analytical Reproducibility: the Conquaire Project. Bielefeld; 2021: 17-27.
- Lier F, Meyer zu Borgsen S, Wachsmuth S, et al. Reproducibility in Human-Robot Interaction Research: A Case Study. In: Cimiano P, Pietsch C, Wiljes C, eds. Studies in Analytical Reproducibility: the Conquaire Project. Bielefeld: Universität Bielefeld; 2021: 129-144.
- Günzel Y, Hermann F, Ayer V, Cimiano P, Dürr V. Reproducibility of whole-body movement analyses of insects. In: Cimiano P, Pietsch C, Wiljes C, Bielefeld University, eds. Studies in Analytical Reproducibility: the Conquaire Project. Bielefeld: Universität Bielefeld; 2021: 29-42.
- Sharma V, Bertrand O, Lindemann JP, Wiljes C, Egelhaaf M, Cimiano P. Reproducing Trajectory Analysis of Bumblebee Exploration Flights. In: Cimiano P, Pietsch C, Wiljes C, eds. Studies in Analytical Reproducibility: the Conquaire Project. Bielefeld: Universität Bielefeld; 2021: 43-56.
- Grimm F, Schlangen D, Hough J, Cimiano P. Reproducing an experiment in automatic disfluency detection. In: Cimiano P, Pietsch C, Wiljes C, eds. Studies in Analytical Reproducibility: the Conquaire Project. Bielefeld: Universität Bielefeld; 2021: 97-112.
- Herrmann F, Jantsch E, Koop T, Cimiano P. Reproducing experiments of ice nucleation in atmospheric chemistry. In: Cimiano P, Pietsch C, Wiljes C, eds. Studies in Analytical Reproducibility: the Conquaire Project. Bielefeld: Universität Bielefeld; 2021: 57-69.
- Ayer V, Witte C, Cimiano P, Rohlfing K, Nomikou I. Reproducing experiments on early verb understanding in infants. In: Cimiano P, Pietsch C, Wiljes C, eds. Studies in Analytical Reproducibility: the Conquaire Project. Bielefeld: Universität Bielefeld; 2021: 87-96.
- Foerster RM, Cimiano P, Schneider WX. Reproducing the analysis of an experiment in sequential visual processing. In: Cimiano P, Pietsch C, Wiljes C, eds. Studies in Analytical Reproducibility: the Conquaire Project. Bielefeld: Universität Bielefeld; 2021: 113-127.
- Cimiano P, Pietsch C, Wiljes C, eds. Studies in Analytical Reproducibility: the Conquaire Project. Bielefeld: Universität Bielefeld; 2021.
- van der Hoog S, Cimiano P. Visualization of economic agent-based simulations: introducing the FLAViz toolbox. In: Cimiano P, Pietsch C, Wiljes C, eds. Studies in Analytical Reproducibility: the Conquaire Project. Bielefeld: Universität Bielefeld; 2021: 71-85.
- Ayer V, Herrmann F, Peil V, et al. Automatische Qualitätskontrolle von Forschungsdaten durch kontinuierliche Integration mit GitLab CI. Presented at the Erste Konferenz für ForschungssoftwareentwicklerInnen in Deutschland (deRSE19), Potsdam.
- Pietsch C, Schirrwagen J, Peil V, et al. Conquaire: Coupling a local GitLab instance with an institutional repository for instant research data publications. Presented at the Open Science Conference, Berlin.
- Pietsch C. Exemplarisches GitLab-Projekt, das zeigt, wie man Forschungsdaten durch kontinuierliche Integration überprüfen kann. Universität Bielefeld; 2019.
- Schirrwagen J, Cimiano P, Ayer V, et al. Expanding the research data management service portfolio at Bielefeld University according to the three-pillar principle towards data FAIRness. Presented at the Göttingen-CODATA RDM Symposium 2018, Göttingen.
- van der Hoog S. (2018): Flexible Large-scale Agent Visualization Library. Bielefeld University. doi:10.4119/unibi/2920089.
- Ayer V, Pietsch C, Vompras J, et al. Conquaire: Towards an architecture supporting continuous quality control to ensure reproducibility of research. D-Lib Magazine. 2017;23(1/2).
- Ayer V, Pietsch C, Vompras J, et al. Enabling Git based research data quality control for institutional repositories. Presented at the Research Data Alliance (RDA), Repository Platforms for Research Data IG, 9th Plenary meeting, Barcelona.
- Cimiano P, McCrae J, Jahn N, et al. CONQUAIRE: Continuous quality control for research data to ensure reproducibility: an institutional approach.; 2015.
- McCrae J, Wiljes C, Cimiano P. Towards assured data quality and validation by data certification. In: Knuth M, Kontokostas D, Sack H, eds. Proceedings of the 1st Workshop on Linked Data Quality. CEUR Workshop Proceedings. Vol 1215. 2014.
Reproduzierbarkeit bildet ein Fundament der Wissenschaft. Während sich die Reproduzierbarkeit eines Experiments als äußerst schwierig erweisen kann, sollte die Reproduktion computergestützter Analysen, die eine bestimmte Schlussfolgerung erlaubt haben, eine Grundanforderung an alle publizierten Forschungsergebnisse darstellen. Wir bezeichnen diese Art der Reproduzierbarkeit als "analytische Reproduzierbarkeit".Um computergestützte Ergebnisse zu reproduzieren, müssen folgende Bedingungen erfüllt sein: i) die primären oder sekundären Daten liegen vor, ii) die Daten sind syntaktisch valide und einsatzbereit, iii) die Daten sind hinreichend dokumentiert, iv) die analytischen Prozeduren, mit denen die Daten ausgewertet wurden, stehen zur Verfügung und v) können auf den Daten ausgeführt werden, um die veröffentlichten Ergebnisse zu reproduzieren. Analytische Reproduzierbarkeit wird oft dadurch beeinträchtigt, dass eine oder mehrere der oben genannten Anforderungen nicht erfüllt sind.Das Ziel dieses Projektes ist es, am Beispiel der Universität Bielefeld hochschulweite Informationsinfrastrukturen so zu erweitern, dass Forschende dabei unterstützt werden, die oben genannten Eckpunkte einzuhalten. Dadurch sollen Daten möglichst früh im Forschungsprozess über eine institutionelle Infrastruktur gehostet werden. Inspiriert durch Continuous Integration streben wir die Entwicklung eines Frameworks an, das Forschungsdaten einer kontinuierlichen Qualitätskontrolle unterzieht, so dass sie jederzeit wiederverwendet und verifiziert werden können. Wir verstehen im Kontext dieses Projektes unter Datenqualität die (Wieder-)Verwendbarkeit und Verifizierbarkeit der Daten.In enger Kooperation mit Forschenden an der Universität Bielefeld sollen Anforderungen erhoben und definiert werden, um hochschulweite Informationsinfrastrukturen so zu erweitern, dass sie Forschende bei der Erreichung der analytischen Reproduzierbarkeit unterstützt. Die beteiligten Forschenden stammen aus unterschiedlichen Disziplinen, so z.B. aus der Psychologie, Sportwissenschaften, Biologie, Chemie, Kognitiven Linguistik, Computerlinguistik, Robotik und Wirtschaftswissenschaften. Durch die Einbeziehung sehr verschiedener Disziplinen soll es möglich werden, diszplinübergreifende Anforderungen an eine Infrastruktur zu identifizieren, die Datenqualität als fortwährenden Prozess unterstützt sowie das Teilen und die externe Validierung von Forschungsergebnissen ermöglicht.Die beispielhafte Erweiterung einer hochschulweiten Infrastruktur für das Forschungsdatenmanagement an der Universität Bielefeld wird weit über Bielefeld hinaus eine positive Wirkung haben. Unsere Erfahrungen mit der kontinuierlichen Qualitätskontrolle für Forschungsdaten sollen Entscheidungsträger dabei unterstützen, die gegenläufige Relation zwischen Kosten und Nutzen der Qualitätskontrolle von Forschungsdaten einzuschätzen.
- Hermann F, Pietsch C, Cimiano P. Conquaire Infrastructure for Continuous Quality Control. In: Cimiano P, Pietsch C, Wiljes C, Bielefeld University, eds. Studies in Analytical Reproducibility: the Conquaire Project. Bielefeld; 2021: 17-27.
- Lier F, Meyer zu Borgsen S, Wachsmuth S, et al. Reproducibility in Human-Robot Interaction Research: A Case Study. In: Cimiano P, Pietsch C, Wiljes C, eds. Studies in Analytical Reproducibility: the Conquaire Project. Bielefeld: Universität Bielefeld; 2021: 129-144.
- Günzel Y, Hermann F, Ayer V, Cimiano P, Dürr V. Reproducibility of whole-body movement analyses of insects. In: Cimiano P, Pietsch C, Wiljes C, Bielefeld University, eds. Studies in Analytical Reproducibility: the Conquaire Project. Bielefeld: Universität Bielefeld; 2021: 29-42.
- Sharma V, Bertrand O, Lindemann JP, Wiljes C, Egelhaaf M, Cimiano P. Reproducing Trajectory Analysis of Bumblebee Exploration Flights. In: Cimiano P, Pietsch C, Wiljes C, eds. Studies in Analytical Reproducibility: the Conquaire Project. Bielefeld: Universität Bielefeld; 2021: 43-56.
- Grimm F, Schlangen D, Hough J, Cimiano P. Reproducing an experiment in automatic disfluency detection. In: Cimiano P, Pietsch C, Wiljes C, eds. Studies in Analytical Reproducibility: the Conquaire Project. Bielefeld: Universität Bielefeld; 2021: 97-112.
- Herrmann F, Jantsch E, Koop T, Cimiano P. Reproducing experiments of ice nucleation in atmospheric chemistry. In: Cimiano P, Pietsch C, Wiljes C, eds. Studies in Analytical Reproducibility: the Conquaire Project. Bielefeld: Universität Bielefeld; 2021: 57-69.
- Ayer V, Witte C, Cimiano P, Rohlfing K, Nomikou I. Reproducing experiments on early verb understanding in infants. In: Cimiano P, Pietsch C, Wiljes C, eds. Studies in Analytical Reproducibility: the Conquaire Project. Bielefeld: Universität Bielefeld; 2021: 87-96.
- Foerster RM, Cimiano P, Schneider WX. Reproducing the analysis of an experiment in sequential visual processing. In: Cimiano P, Pietsch C, Wiljes C, eds. Studies in Analytical Reproducibility: the Conquaire Project. Bielefeld: Universität Bielefeld; 2021: 113-127.
- Cimiano P, Pietsch C, Wiljes C, eds. Studies in Analytical Reproducibility: the Conquaire Project. Bielefeld: Universität Bielefeld; 2021.
- van der Hoog S, Cimiano P. Visualization of economic agent-based simulations: introducing the FLAViz toolbox. In: Cimiano P, Pietsch C, Wiljes C, eds. Studies in Analytical Reproducibility: the Conquaire Project. Bielefeld: Universität Bielefeld; 2021: 71-85.
- Ayer V, Herrmann F, Peil V, et al. Automatische Qualitätskontrolle von Forschungsdaten durch kontinuierliche Integration mit GitLab CI. Presented at the Erste Konferenz für ForschungssoftwareentwicklerInnen in Deutschland (deRSE19), Potsdam.
- Pietsch C, Schirrwagen J, Peil V, et al. Conquaire: Coupling a local GitLab instance with an institutional repository for instant research data publications. Presented at the Open Science Conference, Berlin.
- Pietsch C. Exemplarisches GitLab-Projekt, das zeigt, wie man Forschungsdaten durch kontinuierliche Integration überprüfen kann. Universität Bielefeld; 2019.
- Schirrwagen J, Cimiano P, Ayer V, et al. Expanding the research data management service portfolio at Bielefeld University according to the three-pillar principle towards data FAIRness. Presented at the Göttingen-CODATA RDM Symposium 2018, Göttingen.
- van der Hoog S. (2018): Flexible Large-scale Agent Visualization Library. Bielefeld University. doi:10.4119/unibi/2920089.
- Ayer V, Pietsch C, Vompras J, et al. Conquaire: Towards an architecture supporting continuous quality control to ensure reproducibility of research. D-Lib Magazine. 2017;23(1/2).
- Ayer V, Pietsch C, Vompras J, et al. Enabling Git based research data quality control for institutional repositories. Presented at the Research Data Alliance (RDA), Repository Platforms for Research Data IG, 9th Plenary meeting, Barcelona.
- Cimiano P, McCrae J, Jahn N, et al. CONQUAIRE: Continuous quality control for research data to ensure reproducibility: an institutional approach.; 2015.
- McCrae J, Wiljes C, Cimiano P. Towards assured data quality and validation by data certification. In: Knuth M, Kontokostas D, Sack H, eds. Proceedings of the 1st Workshop on Linked Data Quality. CEUR Workshop Proceedings. Vol 1215. 2014.