The difficulties of systematic reviews

5 years ago

The difficulties of systematic reviews

David B. Lindenmayer, Martin J. Westgate

The need for robust evidence to support conservation actions has driven the adoption of systematic approaches to research synthesis in ecology. However, applying systematic review to complex or open questions remains challenging, and this task is becoming more difficult as the quantity of scientific literature increases. We drew on the science of linguistics for guidance as to why the process of identifying and sorting information during systematic review remains so labor intensive, and to provide potential solutions. Several linguistic properties of peer-reviewed corpora—including nonrandom selection of review topics, small-world properties of semantic networks, and spatiotemporal variation in word meaning—greatly increase the effort needed to complete the systematic review process. Conversely, the resolution of these semantic complexities is a common motivation for narrative reviews, but this process is rarely enacted with the rigor applied during linguistic analysis. Therefore, linguistics provides a unifying framework for understanding some key challenges of systematic review and highlights 2 useful directions for future research. First, in cases where semantic complexity generates barriers to synthesis, ecologists should consider drawing on existing methods—such as natural language processing or the construction of research thesauri and ontologies—that provide tools for mapping and resolving that complexity. These tools could help individual researchers classify research material in a more robust manner and provide valuable guidance for future researchers on that topic. Second, a linguistic perspective highlights that scientific writing is a rich resource worthy of detailed study, an observation that can sometimes be lost during the search for data during systematic review or meta-analysis. For example, mapping semantic networks can reveal redundancy and complementarity among scientific concepts, leading to new insights and research questions. Consequently, wider adoption of linguistic approaches may facilitate improved rigor and richness in research synthesis. Dificultades de las Revisiones Sistemáticas Resumen La necesidad de evidencias sólidas que apoyen las acciones de conservación ha llevado a la adopción de enfoques sistemáticos para la síntesis de las investigaciones ecológicas. Sin embargo, la aplicación de las revisiones sistemáticas a preguntas complejas o abiertas todavía es un reto y esta tarea se complica cada vez más conforme la literatura científica incrementa. Partimos de la ciencia de la lingüística como guía para responder por qué el proceso de identificación y clasificación de información durante las revisiones sistemáticas todavía es una labor tan intensiva y poder proporcionar soluciones potenciales. Varias propiedades lingüísticas de la recopilación de revisiones por pares – incluyendo la selección no-aleatoria de temas de revisión, las propiedades del mundo pequeño de las redes semánticas, y la variación espaciotemporal en el significado de las palabras – incrementa enormemente el esfuerzo necesario para completar el proceso de revisión sistemática. Por otro lado, la solución a estas complejidades semánticas es una motivación común para las revisiones narrativas, pero este proceso rara vez se realiza con el rigor aplicado durante el análisis lingüístico. Por lo tanto, la lingüística proporciona un marco de trabajo unificado para el entendimiento de algunos retos importantes para las revisiones sistemáticas y resalta dos direcciones útiles para investigaciones futuras. Primero, en los casos en los que la complejidad semántica genera barreras para la síntesis, los ecólogos deberían considerar partir de métodos existentes – como el procesamiento natural del lenguaje o la construcción de tesauros de investigación y ontologías – que proporcionen las herramientas para el mapeo y solución de esa complejidad. Estas herramientas podrían ayudar a los investigadores individuales a clasificar el material de trabajo de manera más sólida y proporcionar una guía valiosa sobre ese tema para los futuros investigadores. Segundo, una perspectiva lingüística resalta que la escritura científica es un recurso abundante digno de un estudio detallado, una observación que a veces puede perderse durante la búsqueda de datos durante revisiones sistemáticas o meta-análisis. Por ejemplo. El mapeo de las redes semánticas puede develar la redundancia y complementariedad entre los conceptos científicos, derivando en nuevos conocimientos y preguntas de investigación. Como consecuencia, la adopción de enfoques lingüísticos más amplios puede facilitar el rigor y la riqueza de la síntesis de las investigaciones.

Publisher URL: http://onlinelibrary.wiley.com/resolve/doi

DOI: 10.1111/cobi.12890