Eine Methode kann in mehreren Laboren funktionieren und trotzdem Ergebnisse liefern, die nur schwer miteinander vergleichbar sind. Gerade bei wirkungsbasierten Methoden ist deshalb entscheidend, was über die reine Reaktion des biologischen Systems hinaus geprüft wird: Wie stabil sind die Ergebnisse? Wie stark unterscheiden sie sich zwischen Laboren? Und wie verhält sich die Methode bei unterschiedlichen Wasser- und Abwassermatrices?
Eine internationale Methodenvalidierungsstudie zur Validierung des Arxula Yeast Estrogen Screen (A-YES) hat diese Fragen untersucht. Die Ergebnisse wurden 2018 von Hettwer et al. in Science of the Total Environment veröffentlicht und in die Entwicklung des ISO-Entwurfs 19040-2 einbezogen.
Eine Methode, viele Laborbedingungen
An der Studie nahmen 14 Laboratorien aus vier Ländern teil. Vertreten waren private Unternehmen, Universitäten und öffentliche Einrichtungen mit unterschiedlichen Erfahrungsständen. Acht der teilnehmenden Labore hatten vor Beginn der Studie nur wenig Erfahrung mit dem A-YES.
Untersucht wurden neun Proben: kommunales Abwasser, der Zulauf einer Krankenhauskläranlage, Flusswasser, saline beziehungsweise meeresnahe Proben, eine definierte Bisphenol-Mischung sowie eine Negativ- beziehungsweise Feldblindprobe.
Was bedeuten die Präzisionswerte?
Die Wiederholpräzision beschreibt die Streuung unter möglichst gleichen Bedingungen innerhalb eines Labors. Die Vergleichpräzision berücksichtigt zusätzlich Unterschiede zwischen Laboren. Für die Frage, ob verschiedene Laboratorien zu ähnlichen Ergebnissen kommen, ist sie besonders relevant.
Die Werte beziehen sich auf quantifizierbare, unverdünnte Proben. Die mittleren EEQ-Werte der berücksichtigten Proben lagen zwischen 6,3 und 20,4 ng/L. Die Studie berichtet, dass die Präzisionsergebnisse mit Werten vergleichbar waren, die für häufig verwendete chemische Verfahren zur Bestimmung von Estrogenen beschrieben wurden.
Unterschiedliche Matrices, unterschiedliche Herausforderungen
Die Ergebnisse unterschieden sich je nach Probentyp. Die Zahlen sind keine Rangliste verschiedener Wasserarten. Sie zeigen vielmehr, dass Matrix und Konzentration im Messbereich die Ergebnisse beeinflussen können. Bei zwei unbehandelten Zulaufproben wurden außerdem nichtlineare Zusammenhänge zwischen Verdünnung und berechnetem EEQ beobachtet.
Bei komplexen Proben muss ein wirkungsbezogenes Signal daher nicht proportional mit der Verdünnung zurückgehen. Verdünnungseffekte müssen geprüft, dokumentiert und nach einem standardisierten Verfahren ausgewertet werden.
Vergleichbarkeit ist mehr als ein gemeinsames Kit
Die teilnehmenden Labore erhielten Materialien und Reagenzien aus derselben Charge. Die Messungen wurden nach dem beschriebenen Verfahren durchgeführt und nach ISO 5725-2 statistisch ausgewertet.
Trotz dieser gemeinsamen Grundlage wurden einzelne Ergebnisse wegen vordefinierter Kriterien ausgeschlossen. Gründe waren unter anderem unzuverlässige Dosis-Wirkungs-Kurven, Pipettierfehler oder eine zu geringe relative Zellvermehrung. Von 256 Einzelmessungen der 13 in die Auswertung einbezogenen Labore wurden 211 Ergebnisse statistisch bewertet.
Auch das gehört zur Aussage einer Methodenvalidierungsstudie: Vergleichbarkeit bedeutet nicht, dass jedes erzeugte Ergebnis automatisch verwendbar ist. Sie setzt Gültigkeitskriterien, Kontrollen, eine nachvollziehbare Auswertung und einen geregelten Umgang mit auffälligen Ergebnissen voraus.
Was die Studie für die Routine bedeutet
Die Validierung zeigt, wie sich die Leistungsfähigkeit einer wirkungsbasierten Methode über mehrere Laboratorien und realistische Proben hinweg untersuchen lässt. Die statistische Auswertung ist dabei kein nachgelagerter Formalismus. Gültigkeitskriterien, Dosis-Wirkungs-Modell, Nachweis- und Quantifizierungsgrenzen, Ausreißerbehandlung sowie Matrix- und Verdünnungseffekte gehören zur methodischen Aussage dazu.
Einordnung
Die Studie belegt nicht, dass der A-YES für jede Wasserprobe und jede Fragestellung gleichermaßen geeignet ist. Sie zeigt auch nicht, dass wirkungsbasierte Methoden die chemische Analytik ersetzen. Ihr Beitrag liegt in der internationalen Validierung, den Präzisionsdaten aus unterschiedlichen Matrices und der Sichtbarkeit der praktischen Fragen vor einer routinemäßigen Anwendung.
A method can work in several laboratories and still produce results that are difficult to compare. For effect-based methods, the key question is therefore not only whether the biological system responds, but also how stable the results are across laboratories, matrices and evaluation procedures.
An international method validation study of the Arxula Yeast Estrogen Screen (A-YES) examined these questions. Hettwer et al. published the results in 2018 in Science of the Total Environment; the data were also included in the development of ISO draft standard 19040-2.
One method, many laboratory conditions
Fourteen laboratories from four countries took part. They included private companies, universities and public institutions with different levels of prior experience. Eight laboratories had little experience with A-YES before the study.
Nine samples were analysed: municipal wastewater, hospital wastewater influent, river water, saline or marine water, a defined bisphenol mixture, and a negative or field blank control.
What do the precision values mean?
Repeatability describes variation under essentially the same conditions within a laboratory. Reproducibility also includes differences between laboratories. It is therefore especially relevant when asking whether laboratories can obtain comparable results.
These values refer to quantifiable undiluted samples. Mean EEQ values of the samples considered ranged from 6.3 to 20.4 ng/L. The study reports that the precision results were comparable to values described for commonly used chemical methods for analysing estrogens.
Different matrices, different challenges
The results varied by sample type. These values should not be read as a ranking of water types. They show that the matrix and the concentration range can influence the result. Non-linear relationships between dilution and calculated EEQ were also observed in two untreated influent samples.
For complex samples, an effect-based signal therefore does not necessarily decrease proportionally with dilution. Dilution effects need to be examined, documented and evaluated using a standardized procedure.
Comparability is more than a shared kit
The participating laboratories received materials and reagents from the same batch. Measurements followed the described procedure and were evaluated statistically according to ISO 5725-2.
Even with this common basis, some results were excluded because of predefined criteria, including unreliable dose–response curves, pipetting errors or insufficient relative cell growth. Of 256 individual measurements from the 13 laboratories included in the evaluation, 211 were used for statistical assessment.
This is also part of what a method validation study reveals: comparability does not mean that every generated result is automatically usable. It requires validity criteria, controls, transparent evaluation and a defined approach to unusual results.
What does this mean for routine use?
The validation study shows how the performance of an effect-based method can be examined across several laboratories and realistic samples. Statistics are not an afterthought. Validity criteria, dose–response modelling, detection and quantification limits, outlier treatment, and matrix and dilution effects all contribute to the method’s performance statement.
Putting the results into context
The study does not establish that A-YES is equally suitable for every water sample and every question. Nor does it show that effect-based methods replace chemical analysis. Its contribution is the international validation, precision data from different matrices, and a clear view of the practical questions that need to be addressed before routine application.
DOI 10.1016/j.scitotenv.2017.11.211 →