May 17, 2023; updated June 9, 2023 with the Spanish Translation
Antoinette Abeyta1, Jason McLachlan2, Jody Peters2, Nicholas R. Record3, Anna R. Sjodin4§, Olivia Tabares5, Alyssa M. Willson2
Co-authors are listed alphabetically since all contributed substantially to this project.
1University of New Mexico, Gallup, 2University of Notre Dame, 3Tandy Center for Ocean Forecasting, Bigelow Laboratory for Ocean Sciences, 4Environmental Protection Agency (EPA), 5Universidad Nacional Autónoma de México
§These views are my own and do not reflect the opinions or beliefs of the EPA.
Spanish Translation/Traducción al Español
Following our own recommendations in the Language section, we have provided a Spanish translation for the entire post. Translation by Yerania Serrato-Bucio, University of Notre Dame. Click here to access the Spanish Translation.
Siguiendo nuestras propias recomendaciones en la sección Idioma, hemos proporcionado una traducción al español para la publicación completa. Traducción por Yerania Serrato-Bucio, University of Notre Dame. Haga clic aquí para acceder a la traducción al español.
SUMMARY
Here, we introduce a way to evaluate barriers to inclusion in ecological forecasting and environmental sciences using the iterative forecasting and adaptive management cycle, and suggest ways to extend our understanding of ecological forecasting beyond this cycle. We begin by highlighting three examples of barriers to inclusivity (i.e., hypotheses, models, and language). Next, in an attempt to make ecological forecasting a more inclusive discipline through the very ways we conceptualize its component steps, we reimagine the iterative forecasting cycle to emphasize and center marginalized groups. Finally, we provide suggestions for next steps that focus on working with students and reversing marginalization of historically excluded individuals.
We invite anyone with an interest in participating to join these efforts. If you have comments or suggestions or would like to participate as a co-author in a manuscript that builds from these ideas, reach out to us in the comments below, at info@ecoforecast.org, on the #inclusion channel on the EFI Slack group, through Twitter (@eco4cast) or directly contact any of the authors of the blog post.
INTRODUCTION
Ecology, one of the pillars of ecological forecasting, is fraught with experiences of racism and sexism, despite concerted efforts to improve inclusion and reduce barriers to entry (Martínez-Blancas et al., 2023). One of the tasks from the DEI Strategic Plan (developed by the Ecological Forecasting Initiative’s (EFI’s) Diversity, Equity, and Inclusion (DEI) Working Group) is to identify barriers hindering historically excluded individuals’ participation in ecological forecasting and other quantitative environmental sciences. The EFI DEI working group has been discussing this in monthly meetings, at the EFI annual meetings in 2021 and 2022, and at national meetings (e.g., Geoscience Alliance and the Ecological Society of America meetings in 2022). Our goal in this blog post is to spark perhaps new considerations for the EFI community about what the barriers to ecological forecasting are and ways to begin addressing those barriers. We want to open up a discussion with the broader EFI community, and those interested in ecological forecasting, and ask for input on the barriers and the next steps identified, and ask for input about barriers and solutions beyond those that we have already considered.
Iterative ecological forecasting in the tradition promoted by EFI is often conceptualized as a cycle that has focused on the technical requirements or research outcomes of forecasting (e.g., Dietze et al., 2018) (shared here in Figure 1). We used this conceptual diagram of the iterative forecasting and adaptive management cycle as a starting point for thinking about the human components required for forecasting and to identify where the cycle presented barriers to entry and persistence in ecological forecasting and in what ways. Often existing forecasting cycles center research outcomes, leaving community as an afterthought. To make ecological forecasting more reflective of the communities we work with, we have to structure our forecasting cycles to center values that are important to the communities we serve.
For example, at the Geoscience Alliance meeting in 2022, we spent considerable time discussing how marginalized communities often do not have access to the internet, computer hardware, and cyberinfrastructure tools that are often taken for granted in the ecological forecasting community (Federal Communications Commission, 2012), which corresponds to part B of the iterative forecasting and adaptive management cycle. The list of barriers to persistence in ecological forecasting quickly became too long for a blog post, as we realized that the forecasting cycle reflects the systemic barriers to inclusivity that persist in ecological forecasting and quantitative environmental sciences more generally. This led to the question: Can we re-envision a forecasting cycle that incorporates inclusion throughout the forecasting enterprise?
THE BARRIERS
Hypotheses – Who gets to decide what gets forecasted, and how?
Hypotheses, as they are imagined in the Western scientific process, originate within a specific epistemology, or way of knowing and understanding. However, there are many epistemologies, and without engagement with communities, forecasts developed from and motivated by historical ecological literature will be biased towards what has historically been studied and the tried and true approaches to scientific inquiry. In ecology as in many scientific disciplines, the historical literature is dominated by White men. Additionally, the topics and studies that have produced the most amount of data and positive results (Nakagawa et al. 2022), or the data streams that provide consistently collected, archived, and available data, will be the most represented and continually reinforced. An alternative is co-produced forecasts, which center the assumptions, knowledge, and ideas most valuable to a community’s needs (Nyadzi et al., 2022; Record et al., 2022).
Funding similarly reinforces perpetual barriers to entry for historically marginalized communities. Research funds that continually reward novelty and the bleeding edge of science often don’t align with local or community needs (Flagg, 2022; Van Horne et al., 2023), and there is often no incentive to continue to work with local communities on persistent problems after the grant cycle ends. Moreover, researchers from historically excluded groups, often more in touch with local or community needs or working in the Global South, get their work published and showcased less than scientists in Global North institutions (Smith et al., 2023), thus perpetuating barriers to publishing and funding research related to community problems.
Models – Who generates the model, and who has access to the models and data?
Models are, by definition, simplifications of the truth. The aspects of truth that are simplified are inherently biased by those generating the models, and models are often developed to reflect a researcher’s hypothesis about how a system works. The more aspects that must be omitted to create a working model, the more opportunities exist for removing perspectives and truths understood by marginalized people. Generation of models is subject to the same epistemological weaknesses as hypotheses because models in many ways are our hypotheses. For ecological systems, specifically, mechanisms are complex, and inclusion of epistemological diversity becomes increasingly important for contextual understanding in such complex systems (Page, 2014). Importantly, mechanistic understanding and decisions based on information produced in partnership among epistemologies are more robust (Berkes, 2009; Schuttenberg and Guth, 2015; Wheeler and Root-Bernstein, 2020). So, in addition to the inherent value of a more inclusive process (Morrison and Steltzer, 2021; NASEM, 2022), incorporating different perspectives can provide a more holistic, and arguably stronger, understanding of natural systems.
Additionally, creation of the models that produce forecasts is influenced by who has access to use or run the models. Not all models are open source and many have a historical legacy of ownership which can make it more difficult for individuals new to the field to learn how to run a certain model. Even models that can be built from scratch (e.g., linear regression models) require statistical knowledge that is often inaccessible to scholars outside of research intensive academic settings.
Data ownership can also be a barrier to creating forecasting models. On one hand, there are many open source data sets (e.g., NEON). However, these data may be too big to access on personal laptops, the data are often not collected equally across locations (e.g., NEON), and the data that have been collected will be biased towards the interests of those who have set up the collection processes. There are also cases where data sovereignty needs to be considered (Vera et al., 2019) and where data should be kept proprietary (e.g., working with culturally relevant data or human subjects). Similarly, running models and making probabilistic forecasts requires access to computational resources and expertise. Basic quantitative training is not universal nor created equal (Willson et al., 2023).
Language
El uso del inglés como lingua franca en el contexto científico, impone barreras a quienes no son hablantes nativos del idioma en diferentes aspectos. Desde la dificultad para adquirir nuevos conocimientos en una lengua diferente a la materna, pasando por limitación de oportunidades de estudio y laborales, hasta sesgos de publicación y experiencias de discriminación en instituciones académicas (Woolston & Osorio 2019).
A lo largo del siglo XX se ha observado que el inglés pasó de ser parte de un modelo plurilingüe de comunicación científica internacional, en el que otros idiomas, como el francés y alemán tambien eran comúnmente utilizados, a tener un dominio casi absoluto en la comunicación de las ciencias naturales y sociales, lo que limita cómo y quienes pueden comunicar ciencia e incluso aprenderla (Hamer, 2013; Amano et al 2021).
En el caso particular del Ecological Forecasting, al aprendizaje de tópicos complejos como la estadística, modelación matemática y programación, se añade la dificultad de hacerlo en inglés para hablantes ESL (English as a Second Language), ya que la mayoría de los textos, artículos y recursos de apoyo (e.g. foros, videos, tutoriales) están en este idioma (Amano et al. 2021). Prueba de ello es el repositorio que como Education Section de EFI hemos colectado, con materiales exclusivamente en inglés. Si bien esto está sesgado por la composición lingüistica de nuestro grupo, es un reflejo de muchos tópicos en ciencias.
Si bien la enseñanza del idioma inglés suele estar en la curricula de la gran mayoría de países no angloparlantes desde la educación básica, y un 20% de la población global se encuentra estudiando inglés como segunda lengua (TEFL Academy 2020), la comprensión necesaria del idioma para poder aprender y producir predicciones ecologicas dificilmente puede ser garantizada para personas que no hayan recibido instrucción privada y vengan de contextos socioeconómicos provilegiados. Esto impone dificultades a las personas interesadas en investigación que no hablen inglés tanto para adquirir nuevos conocimientos como para hacer posgrados, colaboraciones de investigación y publicar en revistas internacionales (Woolston & Osorio 2019; Amano et al 2021).
MAKING INCLUSION EXPLICIT IN FORECASTING CYCLES
The forecasting cycle shown in Figure 1 has appeared in different iterations in subsequent studies (e.g. Moore et al. 2022). We’ve added two alternative forecasting “cycles”, described below, to this list, with a goal of reducing barriers to inclusivity. As we considered alternative figures we asked, “What should it look like? Should it be a cycle at all, or some other conceptual model?” The two figures presented here should be considered as first drafts and provide some food for thought on barriers to inclusivity in the forecasting process and how to address them. Moving forward, we hope that the redrawing of the ecological forecasting framework could, itself, be an inclusive process. We present figures depicting forecasting cycles in this slide deck, where we welcome additional contributions from readers and invite anyone interested to join our efforts to write a manuscript associated with this project.
Community-Centered Forecasting Cycle – Example 1
Science is often lauded for its objectivity, but each hypothesis or question carries with it inherent biases that reflect the values, thought processes, and experiences of the researcher(s), as discussed above in The Barriers section. These values show when scientific findings are applied, as in forecast-based decision-making, and the end user is often different from the researcher, with different values, thought processes, and experiences. In the DEI working group at EFI, we think a lot about these differences and how to unite them for the common goals of improving the field of ecological forecasting and promoting informed ecological decision-making. We recognize not only the inherent value of inclusivity (Morrison and Steltzer, 2021), but also the benefit that different experiences and expertise can have on an emerging field like ours (Woelmer et al. 2021, Willson et al., 2023).1
With inclusion front of mind, we created figures such as Figure 2 to focus the forecasting cycle within a diverse community of practice. Figure 2 stresses centering project goals within the values of the researchers and end users (blue circle). Ethics, therefore, cannot be an afterthought: the continuous evaluation and re-evaluation of goals, values, and ethics should be a discrete action item. These biases are then explicitly acknowledged as informing the scientific process (the outer red circle), and vice-versa (purple arrows). Importantly, those involved in the forecasting research effort can join the process from either the blue or ourter red circle, demonstrating the interdisciplinary qualities of forecasting. And finally, decisions can be made without science, but they cannot be made independently of personal values and biases (black internal arrows).
1 The value of diversity and inclusivity goes far beyond just ecological forecasting. Also, see the DEI statement on the EFI DEI Working Group webpage.
Community-Centered Forecasting Cycle – Example 2, model of practice at the Tandy Center for Ocean Forecasting
The Tandy Center for Ocean Forecasting works on developing forecasts for communities, industries, and other users. In thinking about inclusivity, individuals at the Tandy Center are thinking about those communities that are affected by the forecasts they create and the decisions based on them. In the conventional forecasting cycle (Figure 1), scientists are centered. However, some of the lessons that ocean ecosystem forecasters have learned and have been generous to share over the years have had to do with unintended consequences and accidental harms caused by well-intentioned forecasting programs (Hobday et al., 2019). Being a forecaster can be precarious, and it’s probably impossible to avoid every pitfall, but hopefully, we can learn from some of these lessons. The Center works under the belief that being more inclusive can help align the needs of communities using, or affected by, the forecast with the design of the forecasting program. The schematic included below (Figure 3) comes from the Tandy Center’s guidance documentation (Record, 2022). It’s not exactly a cycle, but more like a map to guide dialogues with different community groups so that they can collaborate at each step. There’s also a video that walks through the figure. In short, communities should be partners throughout the process, contributing to the design of the system. By centering forecast users rather than forecasters, we hope to help forecast development be more accessible and reach new people and places that might be under-resourced or otherwise excluded from the mainstream of forecasting applications.
Notable weaknesses that still remain
Of course, including everything in a single figure is challenging (hence this blog post). Continued discourse about how to address ongoing weaknesses is shared in Next Steps. Additionally, salient ideas have been left out of or de-emphasized in the above figures but have been discussed throughout the EFI DEI working group meetings. For example, diversity, equity, inclusion, and justice (DEIJ) efforts are often listed in grant applications as Broader Impacts but are not considered to contribute to intellectual merit. A more thorough list, including some more inclusive alternatives, can be found in Table 1.
NEXT STEPS
Thinking about students
The legacy of barriers to inclusivity has been carried on through science education, and breaking this legacy needs to include thinking about education. Today’s students are highly motivated, eager, and ready to tackle broadly defined diversity, equity, inclusion and justice issues. This passion is shaped from a range of experiences and identities. Good education and pedagogical approaches are attentive to the diversity of learners (Harris et al., 2020; Miriti, 2019; Rawlings-Goss et al., 2018). Teaching takes many forms, but can consist of (1) active and collaborative learning activities (Corwin et al., 2018; Graham et al., 2013), (2) providing student agency and voice (they are co-creators in results), (3) honoring existing knowledge, (4) avoiding deficit language when teaching. Additional resources for inclusive teaching can be found in the Inclusive Pedagogy Resources compiled by EFI as well as this extensive list of inclusive teaching resources and strategies from the University of Michigan’s Center for Research on Learning and Teaching. There are also efforts within the EFI community and the EFI Education Working Group to compile open educational resources (Willson and Peters, 2021; Willson et al., 2023, Table 1), as well as to develop educational modules in collaboration with faculty at Minority Serving Institutions to teach data science tools that incorporate Traditional Ecological Knowledge and cultural values.
Reversing marginalization
Data science continues to have tremendously low rates of representation from historically excluded and marginalized groups. Consequently, data and computational tools are often created from a narrow world view of priorities, values, and practices (see The Barriers section for more details). When these tools are used on marginalized communities, they are often limited to the interpretations, biases, and preconceived notions of the creators of these tools (David-Chavez and Gavin, 2018). Without centering the knowledge, experience, and perspectives of marginalized groups in the creation of these tools, they become tools of oppression, promoting erasure, perpetuating stereotypes, and continuing violence and harm to communities. If we want ecological forecasting to become a tool to enact meaningful and just change, we have to structurally alter our research methods and practices through a lens of intersectionality to center the voices of marginalized communities, make them leaders in the creation of tools, and coproduce models and tools with communities (Crenshaw, 2014). In Table 1, we demonstrate how structural modifications to research practices can improve engagement with marginalized groups, showing the shift of power towards community benefit. By encouraging the forecasting community to thoughtfully consider how to develop collaborations, we hope future research will center and bring in the perspectives of historically excluded individuals.
Connect with us!
Developing this post has been a learning process for the entire EFI DEI Working Group and we acknowledge that this is an ongoing and iterative process where it is important to hear from additional voices and to continue to learn. We hope that this post can help the scientific and EFI community continue to think about barriers to participating in forecasting and environmental sciences and solutions for overcoming those barriers. We welcome comments, suggestions, and feedback on these ideas presented. Our goal is to turn this post into a manuscript that builds from these ideas and we invite anyone that would like to share comments or participate as a co-author in the manuscript effort to reach out to us in the comments below, at info@ecoforecast.org, on the #inclusion channel on the EFI Slack group, or through Twitter (@eco4cast).
Table 1. We provide a list of different topics related to forecasting (and data science and science in general) that demonstrate how structural modifications to research practices can improve the inclusion of historically marginalized groups. The three columns represent situations where there is the most room for improvement in connecting to and centering marginalized groups, where there is room for improvement, and a column with situations that are most beneficial to the most people. It is important to note that this table is written as a generalization, and all research practices in a project should be decided collaboratively with the community and be aligned with their values. This table was inspired by The Wheel of Power and Privilege and other related work (Hierarchy of Indigenous Data, the Global Indigenous Data Alliance, and models for decolonizing science research, e.g., David-Chavez 2019, David-Chavez et al. 2020). You can also view a PDF of the Table HERE.
| Topic | Situations with the Most Room for Improvement | Situations with Room for Improvement | Situations that are the Most Beneficial and Works to Center and Bring People in |
| Community Involvement | – Research is done on communities without input or with limited input from the community – Research dollars are not directed to the community – Researchers are outsiders to the community | – Coproduction of knowledge between researchers and the community – Research dollars are distributed to work with the community – Researchers include community members – Addresses generational and long-scale impacts | – Marginalized communities are leading research initiatives – Research dollars go directly toward marginalized groups – Community members are PIs on research projects – Research involves children and younger generations in the development and execution of projects |
| Education | – Eurocentric education practices – Value is placed on credentialed programming only – Programs limited to R1 institutions and primarily white institutions – High cost of tuition is inaccessible – Materials are often presented in English only | – Education emphasizes different cultures and values – Improved access to higher education – Programs available to public, community, and tribal institutions. – Inclusion of bilingual materials | – Curriculum material is culturally informed and relevant – Recognition of the impact of non-credentialed programs – Improving access to credentialed/advanced degree programs – Education programs span the spectrum of education (K-12 through post-graduate programs) to promote generational learning – Provides education outside of academic institutions – Traditional ecological knowledge incorporated into education – Materials are created and translated into multiple languages used by the community |
| Benefits & Harms | – Using tools or data that misrepresent a community – Science is done on others without consent – Perpetuating violence, harm, and erasure of marginalized groups – Communities and people are an afterthought in projects – Values are centered on Western ideals – Does not acknowledge the communities where research comes from | – Science is done with the consent of the community but without input in the design – Research provides knowledge for the community – Prioritizes and centers most privileged communities or most represented communities – Land acknowledgments recognize the legacy of colonization | – Working on science in tandem with communities to benefit communities – Giving agency to marginalized communities to define and access research – Centers people and communities in projects – Values are centered on communities ideals – Land back, or land acknowledgments address the continued harm and benefit to the institution |
| Computation & Technology | – Requiring subscriptions for software – Limited training options – Limited computational and internet access | – Using low-cost and accessible tools – Providing access to computers or mobile devices – Use of universal design in materials | – Resources developed for individuals without internet access in mind – Open-source materials are used or generated – Computational resources are readily accessible |
| Data Availability (including journals & tools) | – Data is only available through private access or behind a paywall – Communities and individuals are unable to control data or access to data – Requires specialized software, tools, knowledge of where to access data – Data collected without consent of community or individuals | – Data available via request rather than open online access – Data and tools are published for sharing for further research and collaborations – Data is collected with community knowledge and consent | – Promotes ethical use of data – Acknowledges and supports data sovereignty – Broad education on how to access tools, resources, and data – Data collected with respect to cultural values and practices – Improves the ease of accessing public data – Data is made open upon the wishes and needs of the community |
| Diversity & Justice | – Homogenous racial or cultural research teams – Research perpetuates harm to marginalized groups or maintains the status quo – Funding is focused on short-term impacts – Projects ends when funding ends | – Researchers work with students from diverse backgrounds – Improved representation of marginalized groups in research spaces | – Diverse teams with agency – Research enacts meaningful social change – Funding and research acknowledge the importance of long-term impacts – Project implementation continues after funding ends |
Click here to see the Citations.
Barreras a la inclusión en la predicción ecológica
Antoinette Abeyta1, Jason McLachlan2, Jody Peters2, Nicholas R. Record3, Anna R. Sjodin4§, Olivia Tabares5, Alyssa M. Willson2
Los coautores se enumeran alfabéticamente ya que todos contribuyeron sustancialmente a este proyecto.
1University of New Mexico, Gallup, 2University of Notre Dame, 3Tandy Center for Ocean Forecasting, Bigelow Laboratory for Ocean Sciences, 4Environmental Protection Agency, 5Universidad Nacional Autónoma de México
§Estas opiniones son mías y no reflejan las opiniones o creencias de la EPA.
Traducción por Yerania Serrato-Bucio, University of Notre Dame
RESUMEN
Aquí, presentamos una forma de evaluar las barreras para la inclusión en el pronóstico ecológico (Ecological Forecasting) y las ciencias ambientales, utilizando el ciclo de pronóstico iterativo y gestión adaptativa, también sugerimos formas de ampliar nuestra comprensión del pronóstico ecológico más allá de este ciclo. Comenzamos acentuando tres ejemplos de barreras a la inclusión: hipótesis, modelos y lenguaje. A continuacion, reimaginamos el ciclo de pronónstico iterativo enfatizando y centrando a los grupos marginados, en un intento por hacer a la predicción ecológica una disciplina más inclusiva desde su conceptualización. Finalmente, proporcionamos sugerencias para los próximos pasos que se enfocan en trabajar con estudiantes y revertir la marginación de personas históricamente excluidas.
Invitamos a cualquier persona interesada en participar a unirse a estos esfuerzos. Si tiene comentarios o sugerencias o le gustaría participar como coautor en un manuscrito que se basa en estas ideas, comuníquese con nosotros en los comentarios a continuación, en info@ecoforecast.org, en el canal #inclusion en EFI Slack grupo, a través de Twitter (@eco4cast) o contactar directamente cualquiera de los autores de la publicación del blog.
INTRODUCCIÓN
La ecología, uno de los pilares del pronóstico ecológico, está plagada de experiencias de racismo y sexismo, a pesar de los esfuerzos concertados para mejorar la inclusión y reducir las barreras de entrada (Martínez-Blancas et al., 2023). Una de las tareas del Plan Estratégico DEI (desarrollado por el Grupo de Trabajo de Diversidad, Equidad e Inclusión (DEI) de la Iniciativa de Pronóstico Ecológico (EFI)) es identificar las barreras que obstaculizan la participación de las personas históricamente excluidas en el pronóstico ecológico y otras ciencias ambientales cuantitativas. El grupo de trabajo de EFI DEI ha estado discutiendo esto en reuniones mensuales, asi como en las reuniones anuales de EFI en 2021 y 2022; y en reuniones nacionales (por ejemplo, reuniones de Geoscience Alliance y la Ecological Society of America en 2022). Nuestro objetivo en esta publicación de blog es incitar a la reflexión y al diálogo dentro de la comunidad EFI sobre cuáles son las barreras para el pronóstico ecológico y las formas de comenzar a enfrentarlas . Queremos comenzar una discusión con la comunidad EFI más amplia y todos aquellos interesados en el pronóstico ecológico para obtener información sobre las barreras al construir un pronóstico ecológico y los próximos pasos a seguir para enfrentarlas ,así como soluciones más allá de las que ya hemos considerado.
El pronóstico ecológico iterativo en la tradición promovida por EFI, muchas veces se conceptualiza como un ciclo que se ha centrado en los requisitos técnicos o los resultados de investigación del pronóstico (p. ej., Dietze et al., 2018) (compartido aquí en la Figura 1). Usamos este diagrama conceptual del ciclo de pronóstico iterativo y manejo adaptativo como punto de partida para pensar en los componentes humanos requeridos para el pronóstico, e identificar dónde el ciclo presenta barreras para la entrada y persistencia de la en el pronóstico ecológico y de qué manera. Muchas veces los ciclos de pronóstico existentes centran los resultados de la investigación, dejando a la comunidad como una idea de último momento. Para que el pronóstico ecológico refleje mejor las comunidades con las que trabajamos, debemos estructurar nuestros ciclos de pronóstico para centrar los valores que son importantes para las comunidades a las que servimos.
Por ejemplo, en la reunión de Geoscience Alliance en 2022, dedicamos un tiempo considerable a discutir cómo las comunidades marginadas seguido no tienen acceso a Internet, hardware informático y herramientas de infraestructura cibernética que muchas veces se dan por hecho en la comunidad de pronósticos ecológicos (Comisión Federal de Comunicaciones, 2012), que corresponde a la parte B del ciclo de pronóstico iterativo y gestión adaptativa. La lista de barreras para la persistencia en el pronóstico ecológico rápidamente se volvió demasiado larga para una publicación de blog, ya que nos dimos cuenta de que el ciclo de pronóstico refleja las barreras sistémicas para la inclusión que persisten en el pronóstico ecológico y las ciencias ambientales cuantitativas en general. Esto llevó a la pregunta: ¿Podemos reimaginar un ciclo de pronóstico que incorpore la inclusión en toda la empresa de pronóstico?
LAS BARRERAS
Hipótesis: ¿Quién decide qué se pronostica y cómo?
Las hipótesis, tal como son imaginadas en el proceso científico occidental, se originan dentro de una epistemología específica, o forma de conocer y comprender. Sin embargo, hay muchas epistemologías, y sin compromiso con las comunidades, los pronósticos desarrollados y motivados por la literatura ecológica histórica estarán sesgados hacia lo que se ha estudiado históricamente y los enfoques probados y verdaderos de la investigación científica. En ecología como en muchas disciplinas científicas, la literatura histórica está dominada por hombres blancos. Además, los temas y estudios que han producido la mayor cantidad de datos y resultados positivos (Nakagawa et al. 2022), o los flujos de datos que producen datos consistentemente colectados, archivados y disponibles, serán los más representados y reforzados continuamente. Una alternativa son los pronósticos coproducidos, que centran los supuestos, el conocimiento y las ideas más valiosas para las necesidades de una comunidad (Nyadzi et al., 2022; Record et al., 2022).
De manera similar, la financiación refuerza las barreras perpetuas de entrada para las comunidades históricamente marginadas. Los fondos de investigación que recompensan continuamente la novedad y la vanguardia de la ciencia muchas veces no se alinean con las necesidades locales o comunitarias (Flagg, 2022; Van Horne et al., 2023), y muchas veces no hay incentivos para continuar trabajando con las comunidades locales en problemas persistentes después de que termine el ciclo de subvenciones. Además, los investigadores de grupos históricamente excluidos, muchas veces más conscientes de las necesidades locales o comunitarias o que trabajan en el Sur Global, tienen su trabajo publicado y exhibido menos que los científicos en las instituciones del Norte Global (Smith et al., 2023), perpetuando así las barreras para publicar y financiar investigaciones relacionadas con los problemas de la comunidad.
Modelos: ¿Quién genera el modelo y quién tiene acceso a los modelos y datos?
Los modelos son, por definición, simplificaciones de la verdad. Los aspectos de la verdad que se simplifican están inherentemente sesgados por aquellos que generan los modelos, y los modelos frecuentemente son desarrollados para reflejar la hipótesis de un investigador sobre cómo funciona un sistema. Cuantos más aspectos se omiten para crear un modelo de trabajo, más oportunidades existen para eliminar perspectivas y verdades entendidas por las personas marginadas. La generación de modelos está sujeta a las mismas debilidades epistemológicas que las hipótesis porque los modelos en muchos sentidos son nuestras hipótesis. Para los sistemas ecológicos, específicamente, los mecanismos son complejos, y la inclusión de la diversidad epistemológica se vuelve cada vez más importante para la comprensión contextual en sistemas tan complejos (Page, 2014). Importantemente, la comprensión mecanicista y las decisiones basadas en información producida en asociación entre epistemologías son más sólidas (Berkes, 2009; Schuttenberg y Guth, 2015; Wheeler y Root-Bernstein, 2020). Entonces, además del valor inherente de un proceso más inclusivo (Morrison y Steltzer, 2021; NASEM, 2022), incorporando diferentes perspectivas puede proporcionar una comprensión más holística y posiblemente más sólida de los sistemas naturales.
Además, la creación de los modelos que producen pronósticos está influenciada por quién tiene acceso para usar o ejecutar los modelos. No todos los modelos son de código abierto y muchos tienen un legado histórico de propiedad que puede dificultar que las personas nuevas en esta área aprendan a ejecutar un cierto modelo. Incluso los modelos que se pueden construir desde cero (por ejemplo, los modelos de regresión lineal) requieren conocimientos estadísticos que mayormente son inaccesibles para los académicos fuera de los entornos académicos intensivos en investigación.
La propiedad de los datos también puede ser una barrera para crear modelos de pronóstico. Por un lado, hay muchos conjuntos de datos de código abierto (por ejemplo, NEON). Sin embargo, estos datos pueden ser demasiado grandes para obtener acceso usando computadoras portátiles personales, los datos muchas veces no son colectados por las mismas maneras en todas las ubicaciones (p. ej., NEON), y los datos que se han colectado estarán sesgados hacia los intereses de quienes han configurado el proceso de coleccion. También hay casos en los que se debe considerar la soberanía de los datos (Vera et al., 2019) y en los que los datos deben mantenerse propietarios (p. ej., trabajar con datos culturalmente relevantes o sujetos humanos). De manera similar, ejecutar modelos y hacer pronósticos probabilísticos requiere acceso a recursos computacionales y experiencia. El entrenamiento cuantitativo básico no es universal ni creado igual (Willson et al., 2023).
Idioma
El uso del inglés como lingua franca en el contexto científico, impone barreras a quienes no son hablantes nativos del idioma en diferentes aspectos. Desde la dificultad para adquirir nuevos conocimientos en una lengua diferente a la materna, pasando por limitación de oportunidades de estudio y laborales, hasta sesgos de publicación y experiencias de discriminación en instituciones académicas (Woolston & Osorio 2019).
A lo largo del siglo XX se ha observado que el inglés pasó de ser parte de un modelo plurilingüe de comunicación científica internacional, en el que otros idiomas, como el francés y alemán también eran comúnmente utilizados, a tener un dominio casi absoluto en la comunicación de las ciencias naturales y sociales, lo que limita cómo y quiénes pueden comunicar ciencia e incluso aprenderla (Hamer, 2013; Amano et al 2021).
En el caso particular del Ecological Forecasting, al aprendizaje de tópicos complejos como la estadística, modelación matemática y programación, se añade la dificultad de hacerlo en inglés para hablantes ESL (English as a Second Language), ya que la mayoría de los textos, artículos y recursos de apoyo (e.g. foros, videos, tutoriales) están en este idioma (Amano et al. 2021). Prueba de ello es el repositorio que como Education Section de EFI hemos colectado, con materiales exclusivamente en inglés. Si bien esto está sesgado por la composición lingüística de nuestro grupo, es un reflejo de muchos tópicos en ciencias.
Si bien la enseñanza del idioma inglés suele estar en la currícula de la gran mayoría de países no angloparlantes desde la educación básica, y un 20% de la población global se encuentra estudiando inglés como segunda lengua (TEFL Academy 2020), la comprensión necesaria del idioma para poder aprender y producir predicciones ecológicas difícilmente puede ser garantizada para personas que no hayan recibido instrucción privada y vienen de contextos socioeconómicos privilegiados. Esto impone dificultades a las personas interesadas en investigación que no hablen inglés tanto para adquirir nuevos conocimientos como para hacer posgrados, colaboraciones de investigación y publicar en revistas internacionales (Woolston & Osorio 2019; Amano et al 2021).
HACER EXPLÍCITA LA INCLUSIÓN EN LOS CICLOS DE PRONÓSTICO
El ciclo de pronóstico que se muestra en la Figura 1 ha aparecido en diferentes iteraciones en estudios subsecuentes (por ejemplo, Moore et al. 2022). Hemos agregado dos “ciclos” de pronóstico alternativos, que se describen a continuación, a esta lista, con el objetivo de reducir las barreras a la inclusión. Mientras considerábamos figuras alternativas, preguntamos: “¿Cómo deben ser? ¿Debería ser un ciclo o algún otro modelo conceptual?” Las dos figuras que se presentan aquí deben considerarse como primeros borradores y dan algunos elementos de reflexión sobre las barreras a la inclusión en el proceso de pronóstico y cómo enfrentarlas. En el futuro, esperamos que el rediseño del marco de pronóstico ecológico pueda ser, en sí mismo, un proceso inclusivo. Presentamos figuras que representan los ciclos de pronóstico en este paquete de diapositivas, donde agradecemos las contribuciones adicionales de los lectores e invitamos a cualquier persona interesada a unirse a nuestros esfuerzos para escribir un manuscrito asociado con este proyecto.
Ciclo de Pronóstico Centrado en la Comunidad – Ejemplo 1
La ciencia se alaba mucho por su objetividad, pero cada hipótesis o pregunta conlleva sesgos inherentes que reflejan los valores, los procesos de pensamiento y las experiencias de los investigadores, como se discutió anteriormente en la sección Las Barreras. Estos valores se muestran cuándo se aplican los hallazgos científicos, como en la toma de decisiones basada en pronósticos, y el usuario final usualmente es diferente que el investigador, con diferentes valores, procesos de pensamiento, y experiencias. En el grupo de trabajo DEI de EFI, pensamos mucho en estas diferencias y en cómo unirlas para los objetivos comunes de mejorar la área de la predicción ecológica y promover la toma de decisiones ecológicas informadas. Reconocemos no solo el valor inherente de la inclusión (Morrison y Steltzer, 2021), sino también el beneficio que las diferentes experiencias y conocimientos pueden tener en una área emergente como el nuestro (Woelmer et al. 2021, Willson et al., 2023).1
Con la inclusión en mente, creamos figuras como la Figura 2 para enfocar el ciclo de pronóstico dentro de una comunidad de práctica diversa. La Figura 2 enfatiza centrar los objetivos del proyecto dentro de los valores de los investigadores y usuarios finales (círculo azul). La ética, por lo tanto, no puede ser una idea de último momento: la evaluación y reevaluación continua de las metas, los valores y la ética debe ser un elemento de acción discreto. Estos sesgos luego se reconocen explícitamente como información del proceso científico (círculo rojo) y viceversa (flechas moradas). Importantemente, los que están involucrados en el esfuerzo de investigación de pronósticos pueden unirse al proceso desde el círculo azul o rojo, lo que demuestra las cualidades interdisciplinarias de los pronósticos. Y finalmente, las decisiones se pueden tomar sin ciencia, pero no se pueden tomar independientemente de los valores y sesgos personales (flechas negras internas).
1 El valor de la diversidad y la inclusión va mucho más allá de la previsión ecológica. Además, consulte la declaración de DEI en la página web del Grupo de trabajo de EFI DEI.
Ciclo de pronóstico centrado en la comunidad – Ejemplo 2, modelo de práctica en el Tandy Center for Ocean Forecasting
El Tandy Center for Ocean Forecasting trabaja en el desarrollo de pronósticos para comunidades, industrias y otros usuarios. Al pensar en la inclusión, las personas del Centro Tandy están pensando en aquellas comunidades que se ven afectadas por los pronósticos que crean y las decisiones basadas en ellos. En el ciclo de pronóstico convencional (Figura 1), los científicos están centrados. Sin embargo, algunas de las lecciones que los pronosticadores de ecosistemas oceánicos han aprendido y han tenido la generosidad de compartir a lo largo de los años han tenido que ver con las consecuencias no deseadas y los daños accidentales causados por programas de pronóstico bien intencionados (Hobday et al., 2019). Ser pronosticador puede ser precario, y probablemente sea imposible evitar todos los escollos, pero con suerte, podemos aprender de algunas de estas lecciones. El Centro trabaja bajo la creencia de que ser más inclusivo puede ayudar a alinear las necesidades de las comunidades que usan, o se ven afectadas por, el pronóstico con el diseño del programa de pronóstico. El esquema que se incluye a continuación (Figura 3) proviene de la documentación de orientación del Tandy Center (Record, 2022). No es exactamente un ciclo, sino más como un mapa para guiar los diálogos con diferentes grupos comunitarios para que puedan colaborar en cada paso. También hay un video que recorre la figura. En resumen, las comunidades deben ser socios durante todo el proceso, contribuyendo al diseño del sistema. Al centrarnos en los usuarios de pronósticos en vez de los pronosticadores, esperamos ayudar a que el desarrollo de pronósticos sea más accesible y llegue a nuevas personas y lugares que podrían ser de bajos recursos o están excluidos de la corriente principal de las aplicaciones de pronósticos.
Debilidades notables que aún permanecen
Por supuesto, incluir todo en una sola figura es un desafío (por eso la publicación de este blog). Discurso continuado sobre cómo afrontar las debilidades se comparte en Próximos Pasos. Además, las ideas más notables se han omitido o se les ha quitado énfasis en las figuras anteriores, pero se han discutido a lo largo de las reuniones del grupo de trabajo. Por ejemplo, los esfuerzos de diversidad, equidad, inclusión y justicia (DEIJ) se enumeran muchas veces en las solicitudes de subvenciones como impactos más amplios, pero no se considera que contribuyan al mérito intelectual. En la Tabla 1 se puede encontrar una lista más completa, que incluye algunas alternativas más inclusivas.
PRÓXIMOS PASOS
Pensando en los estudiantes
El legado de las barreras a la inclusión se ha llevado a cabo a través de la educación científica, y romper este legado debe incluir el pensamiento sobre la educación. Los estudiantes de hoy están muy motivados, ansiosos y listos para enfrentar asuntos generalmente definidos sobre diversidad, equidad, inclusión y justicia. Esta pasión se forma a partir de una variedad de experiencias e identidades. La buena educación y los enfoques pedagógicos están atentos de la diversidad de los alumnos (Harris et al., 2020; Miriti, 2019; Rawlings-Goss et al., 2018). La enseñanza toma muchas formas, pero puede consistir en (1) actividades de aprendizaje activas y colaborativas (Corwin et al., 2018; Graham et al., 2013), (2) proporcionar agencia y voz a los estudiantes (son co-creadores en los resultados) , (3) honrar los conocimientos existentes, (4) evitar el lenguaje deficitario al enseñar. Se pueden encontrar recursos adicionales para la enseñanza inclusiva en los Recursos de pedagogía inclusiva compilados por EFI, así como en esta extensa lista de recursos y estrategias de enseñanza inclusiva del Centro de Investigación sobre el Aprendizaje y la Enseñanza de la Universidad de Michigan. También hay esfuerzos dentro de la comunidad de EFI y el Grupo de Trabajo de Educación de EFI para compilar recursos educativos abiertos (Willson and Peters, 2021; Willson et al., 2023, Tabla 1), así como para desarrollar módulos educativos en colaboración con profesores de Instituciones al Servicio de las Minorías para enseñar herramientas de ciencia de datos que incorporan conocimientos ecológicos tradicionales y valores culturales.
Revertir la marginación
La ciencia de datos continúa teniendo tasas de representación tremendamente bajas de grupos históricamente excluidos y marginados. En consecuencia, los datos y las herramientas informáticas muchas veces se crean a partir de una visión limitada del mundo de prioridades, valores y prácticas (consulte la sección Las barreras para obtener más detalles). Cuando estas herramientas se utilizan en comunidades marginadas, muchas veces son limitadas a las interpretaciones, sesgos y nociones preconcebidas de los creadores de estas herramientas (David-Chavez y Gavin, 2018). Sin centrar el conocimiento, la experiencia y las perspectivas de los grupos marginados en la creación de estas herramientas, se convierten en herramientas de opresión, que promueven el borrado, la perpetuación de estereotipos, y la continuación de la violencia y el daño a las comunidades. Si queremos que el pronóstico ecológico se convierta en una herramienta para promulgar un cambio significativo y justo, tenemos que alterar estructuralmente nuestros métodos y prácticas de investigación a través de una lente de interseccionalidad para centrar las voces de las comunidades marginadas, convertirlas en líderes en la creación de herramientas, y coproducir modelos y herramientas con las comunidades (Crenshaw, 2014). En la Tabla 1, mostramos cómo las modificaciones estructurales a las prácticas de investigación pueden mejorar el compromiso con los grupos marginados, mostrando la transferencia de poder hacia el beneficio de la comunidad. Al animar a la comunidad de pronósticos a considerar cuidadosamente cómo desarrollar colaboraciones, esperamos que las investigaciones futuras centren y traigan las perspectivas de las personas históricamente excluidas.
¡Conéctate con nosotros!
El desarrollo de esta publicación ha sido un proceso de aprendizaje para todo el grupo de trabajo EFI DEI y reconocemos que se trata de un proceso continuo e iterativo en el que es importante escuchar voces adicionales y seguir aprendiendo. Esperamos que esta publicación pueda ayudar a la comunidad científica y de EFI a seguir pensando en las barreras para participar en la predicción y las ciencias ambientales y las soluciones para superar esas barreras. Damos la bienvenida a los comentarios, sugerencias y reacciones sobre estas ideas presentadas. Nuestro objetivo es convertir esta publicación en un manuscrito que se base en estas ideas e invitamos a cualquier persona que desee compartir comentarios o participar como coautor en el esfuerzo del manuscrito a comunicarse con nosotros en los comentarios a continuación, en info@ecoforecast.org, en el canal #inclusion del grupo EFI Slack, o a través de Twitter (@eco4cast).
Tabla 1. Esta tabla proporciona una lista de diferentes temas relacionados con el pronóstico (y la ciencia de datos y la ciencia en general) que demuestran cómo las modificaciones estructurales a las prácticas de investigación pueden mejorar la inclusión de grupos históricamente marginados. Las tres columnas representan situaciones en las que hay mayor margen de mejora para conectar y centrar a los grupos marginados, en las que hay espacio para mejorar, y una columna con situaciones que son más beneficiosas para la mayoría de las personas. Es importante señalar que esta tabla está escrita como una generalización, y todas las prácticas de investigación en un proyecto deben decidirse en colaboración con la comunidad y estar alineadas con sus valores. Esta tabla se inspiró en The Wheel of Power and Privilege y otros trabajos relacionados (Jerarquía de datos indígenas, Global Indigenous Data Alliance y modelos para descolonizar la investigación científica, por ejemplo, David-Chavez 2019, David-Chavez et al. 2020). También puede ver un PDF de la Tabla AQUÍ.
| Tema | Situaciones con mayor margen de mejora | Situaciones con espacio para mejorar | Situaciones que son las más beneficiosas y funcionan para centrar y atraer a las personas |
| Participación de la comunidad | – La investigación se realiza en comunidades sin contribuciones o con contribuciones limitadas de la comunidad – Los dólares de investigación no están dirigidos a la comunidad – Los investigadores son desconocidos a la comunidad | – Coproducción de conocimiento entre investigadores y la comunidad – Los dólares de investigación se distribuyen para trabajar con la comunidad – Los investigadores incluyen miembros de la comunidad – Reconocer y afrontar los impactos generacionales y a largo plazo | – Comunidades marginadas dirigen iniciativas de investigación – Los dólares de investigación van directamente a los grupos marginados – Los miembros de la comunidad son IPs en proyectos de investigación – La investigación involucra a niños y jóvenes en el desarrollo y ejecución de proyectos |
| Educación | – Prácticas educativas eurocéntricas – El valor se asigna solo a la programación con credenciales – Programas limitados a instituciones R1 y principalmente instituciones blancas – El alto costo de la matrícula es inaccesible – Los materiales mayormente se presentan sólo en inglés | – La educación enfatiza diferentes culturas y valores – Mejor acceso a la educación superior – Programas disponibles para instituciones públicas, comunitarias y tribales – Inclusión de materiales bilingües | – El material del plan de estudios es culturalmente informado y relevante – Reconocimiento del impacto de los programas no acreditados – Improving access to credentialed/advanced degree programs – Mejorar el acceso a programas acreditados/de grado avanzado – Los programas educativos abarcan el espectro de la educación (K-12 hasta programas de posgrado) para promover el aprendizaje generacional – Proporciona educación fuera de las instituciones académicas – Conocimientos ecológicos tradicionales incorporados en la educación – Los materiales se crean y traducen en los varios idiomas usados por la comunidad |
| Beneficios y daños | – Usar herramientas o datos que mal representan una comunidad – La ciencia se lleva a cabo sobre personas sin consentimiento – Perpetuación de la violencia, el daño y el borrado de grupos marginados – Las comunidades y las personas son consideradas como una idea de último momento en los proyectos – Los valores se centran en los ideales occidentales – No reconoce a las comunidades de donde proviene la investigación | – La ciencia se lleva a cabo con el consentimiento de la comunidad pero sin sus contribuciones en el diseño – La investigación proporciona conocimiento a la comunidad – Prioriza y centra las comunidades más privilegiadas o las comunidades más representadas – Reconocimientos de tierras reconocen el legado de la colonización | – Trabajando en ciencia en conjunto con las comunidades para beneficiar a las comunidades – Dar agencia a las comunidades marginadas para definir y tener acceso a la investigación – Centra a las personas y las comunidades en los proyectos – Los valores se centran en los ideales de las comunidades – Devolución de tierras, o los reconocimientos de tierras reconociendo el daño y el beneficio continuos para la institución |
| Computación y Tecnología | – Requerir suscripciones para software – Opciones limitadas de entrenamiento – Acceso computacional y a internet limitado | – Uso de herramientas accesibles y de bajo costo – Proporcionar acceso a computadoras o dispositivos móviles – Uso del diseño universal en materiales | – Recursos desarrollados para personas sin acceso a Internet en mente – Se utilizan o generan materiales de código abierto – Los recursos computacionales son fácilmente accesibles |
| Disponibilidad de datos (incluidas revistas y herramientas) | – Los datos solo están disponibles a través del acceso privado o detrás de un muro de pago – Las comunidades y los individuos no pueden controlar los datos o el acceso de datos – Requiere software especializado, herramientas, y conocimiento de dónde acceder a los dato – Datos colectados sin el consentimiento de la comunidad o los individuos | – Datos disponibles por solicitud en lugar de acceso abierto en línea – Los datos y las herramientas se publican para compartir en futuras investigaciones y colaboraciones – Los datos son colectados con el conocimiento y consentimiento de la comunidad | – Promueve el uso ético de los datos – Reconoce y apoya la soberanía de datos – Amplia educación sobre cómo obtener acceso a herramientas, recursos y datos – Datos colectados con respecto a los valores y prácticas culturales – Mejora la facilidad de acceso a datos públicos – Los datos se abren según los deseos y necesidades de la comunidad |
| Diversidad y Justicia | – Equipos de investigacion homogéneos en terminos de raza o cultura – La investigación perpetúa el daño a los grupos marginados o mantiene el statu quo – La financiación se enfoca en los impactos a corto plazo – Los proyectos finalizan cuando finaliza la financiación | – Los investigadores trabajan con estudiantes de orígenes diversos – Mejora la representación de los grupos marginados en los espacios de investigación | – Equipos diversos con agencia – La investigación promulga un cambio social significativo – La financiación y la investigación reconocen la importancia de los impactos a largo plazo – La implementación del proyecto continúa después de que finaliza la financiación |
Citations
Amano, T., Rios Rojas, C., & Boum, I. I. Y, Calvo M, Misra BB. 2021. Ten tips for overcoming language barriers in science. Nature Human Behaviour, 5(9), 1119-1122.
Berkes, F., 2009. Indigenous ways of knowing and the study of environmental change. J. R. Soc. N. Z. 39, 151–156. https://doi.org/10.1080/03014220909510568
Corwin, L.A., Prunuske, A., Seidel, S.B., 2018. Scientific presenting: Using evidence-based classroom practices to deliver effective conference presentations. CBE Life Sci. Educ. 17, es1. https://doi.org/10.1187/cbe.17-07-0146
Crenshaw, K. 2014. On Intersectionality: Essential writings. The New Press.
David-Chavez, D.M., Gavin, M.C., 2018. A global assessment of Indigenous community engagement in climate research. Environ. Res. Lett. 13, 123005. https://doi.org/10.1088/1748-9326/aaf300
David-Chavez DM. 2019. A guiding model for decolonizing environmental science research and restoring relational accountability with Indigenous communities (Doctoral dissertation, Colorado State University).
David-Chavez DM, Valdez S, Estevez JB, Meléndez Martínez C, Garcia Jr AA, Josephs K, Troncoso A. Community-based (rooted) research for regeneration: understanding benefits, barriers, and resources for Indigenous education and research. AlterNative: An International Journal of Indigenous Peoples. 2020 Sep;16(3):220-32.
Dietze, M.C., Fox, A., Beck-Johnson, L.M., Betancourt, J.L., Hooten, M.B., Jarnevich, C.S., Keitt, T.H., Kenney, M.A., Laney, C.M., Larsen, L.G., Loescher, H.W., Lunch, C.K., Pijanowski, B.C., Randerson, J.T., Read, E.K., Tredennick, A.T., Vargas, R., Weathers, K.C., White, E.P., 2018. Iterative near-term ecological forecasting: Needs, opportunities, and challenges. Proc. Natl. Acad. Sci. 115, 1424–1432. https://doi.org/10.1073/pnas.1710231115
Federal Communications Commission, 2012. Eighth Broadband Progress Report (No. FCC 12-90).
Flagg, M., 2022. Reward research for being useful — not just flashy. Nature 610, 9–9. https://doi.org/10.1038/d41586-022-03131-7
Graham, M.J., Frederick, J., Byars-Winston, A., Hunter, A.-B., Handelsman, J., 2013. Increasing Persistence of College Students in STEM. Science 341, 1455–1456. https://doi.org/10.1126/science.1240487
Hamel, R. E. 2013. El campo de las ciencias y la educación superior entre el monopolio del inglés y el plurilingüismo: elementos para una política del lenguaje en América Latina. Trabalhos em linguística aplicada, 52, 321-384.
Harris, B.N., McCarthy, P.C., Wright, A.M., Schutz, H., Boersma, K.S., Shepherd, S.L., Manning, L.A., Malisch, J.L., Ellington, R.M., 2020. From panic to pedagogy: Using online active learning to promote inclusive instruction in ecology and evolutionary biology courses and beyond. Ecol. Evol. 10, 12581–12612. https://doi.org/10.1002/ece3.6915
Hobday, A.J., Hartog, J.R., Manderson, J.P., Mills, K.E., Oliver, M.J., Pershing, A.J., Siedlecki, S., 2019. Ethical considerations and unanticipated consequences associated with ecological forecasting for marine resources. ICES J. Mar. Sci. 76, 1244–1256. https://doi.org/10.1093/icesjms/fsy210
Martínez-Blancas, A., Bender, A., Zepeda, V., McGuire, R., Tabares, O., Amarasekare, P., Mastretta-Yanes, A., Miriti, M., Santos, A.M.C., Vaz, M.C., 2023. Surviving Racism and Sexism in Academia: Sharing Experiences, Insights, and Perspectives. Bull. Ecol. Soc. Am. 104, e02033. https://doi.org/10.1002/bes2.2033
Miriti, M.N., 2019. Nature in the eye of the beholder: A case study for cultural humility as a strategy to broaden participation in STEM. Educ. Sci. 9, 291. https://doi.org/10.3390/educsci9040291
Moore TN, Thomas RQ, Woelmer WM, Carey CC. Integrating Ecological Forecasting into Undergraduate Ecology Curricula with an R Shiny Application-Based Teaching Module. Forecasting. 2022 Jun 30;4(3):604-33.
Morrison, D.L., Steltzer, H., 2021. Diverse values, philosophies and ideas beget innovation and resilience in ecology and for our world. Ecol. Appl. 31, e02351. https://doi.org/10.1002/eap.2351
National Academies of Sciences, Engineering, and Medicine (NASEM), 2022. Next Generation Earth Systems Science at the National Science Foundation. National Academies Press, Washington, D.C. https://doi.org/10.17226/26042
Nakagawa, S., Lagisz, M., Jennions, M. D., Koricheva, J., Noble, D. W. A., Parker, T. H., Sánchez-Tójar, A., Yang, Y., & O’Dea, R. E. 2022. Methods for testing publication bias in ecological and evolutionary meta-analyses. Methods Ecol. Evol. 13, 4– 21. https://doi.org/10.1111/2041-210X.13724
Nyadzi, E., Werners, S.E., Biesbroek, R., Ludwig, F., 2022. Towards weather and climate services that integrate indigenous and scientific forecasts to improve forecast reliability and acceptability in Ghana. Environ. Dev. 42, 100698. https://doi.org/10.1016/j.envdev.2021.100698
Page, S.E., 2014. Where diversity comes from and why it matters? Eur. J. Soc. Psychol. 44, 267–279. https://doi.org/10.1002/ejsp.2016
Rawlings-Goss, R., Cassel, L. (Boots), Cragin, M., Cramer, C., Dingle, A., Friday-Stroud, S., Herron, A., Horton, N., Inniss, T.R., Jordan, K., Ordóñez, P., Rudis, M., Rwebangira, R., Schmitt, K., Smith, D., Stephens, S., 2018. Keeping data science broad: Negotiating the digital and data divide among higher education institutions. Workshop Bridg. Digit. Data Divide.
Record, N.R., Evanilla, J., Kanwit, K., Burnell, C., Cartisano, C., Lewis, B.J., MacLeod, J., Tupper, B., Miller, D.W., Tracy, A.T. and White, C., 2022. Benefits and Challenges of a Stakeholder-Driven Shellfish Toxicity Forecast in Coastal Maine. Frontiers in Marine Science, p.1031.
Record, N., 2022. Early Warning Systems for Harmful Algae: A Stakeholder-Centered Framework. https://doi.org/10.13140/RG.2.2.24501.14568
Schuttenberg, H.Z., Guth, H.K., 2015. Seeking our shared wisdom: a framework for understanding knowledge coproduction and coproductive capacities. Ecol. Soc. 20(1). http://www.jstor.org/stable/26269755
Smith, O.M., Davis, K.L., Pizza, R.B., Waterman, R., Dobson, K.C., Foster, B., Jarvey, J.C., Jones, L.N., Leuenberger, W., Nourn, N., Conway, E.E., Fiser, C.M., Hansen, Z.A., Hristova, A., Mack, C., Saunders, A.N., Utley, O.J., Young, M.L., Davis, C.L., 2023. Peer review perpetuates barriers for historically excluded groups. Nat. Ecol. Evol. 7, 512–523. https://doi.org/10.1038/s41559-023-01999-w
TEFL. 2022. English language teaching statistics. Retrieved from https://www.theteflacademy.com/blog/english-language-teaching-statistics/
Van Horne, Y.O., Alcala, C.S., Peltier, R.E., Quintana, P.J.E., Seto, E., Gonzales, M., Johnston, J.E., Montoya, L.D., Quirós-Alcalá, L., Beamer, P.I., 2023. An applied environmental justice framework for exposure science. J. Expo. Sci. Environ. Epidemiol. 33, 1–11. https://doi.org/10.1038/s41370-022-00422-z
Vera, L.A., Walker, D., Murphy, M., Mansfield, B., Siad, L.M., Ogden, J., 2019. When data justice and environmental justice meet: formulating a response to extractive logic through environmental data justice. Inf. Commun. Soc. 22, 1012–1028. https://doi.org/10.1080/1369118X.2019.1596293
Wheeler, H.C., Root-Bernstein, M., 2020. Informing decision-making with Indigenous and local knowledge and science. J. Appl. Ecol. 57, 1634–1643. https://doi.org/10.1111/1365-2664.13734
Willson, A., Peters, J. Ecological Forecasting Repository of Online Educational Resources. https://doi.org/10.25334/XAW7-JW16
Willson, A.M., Gallo, H., Peters, J.A., Abeyta, A., Bueno Watts, N., Carey, C.C., Moore, T.N., Smies, G., Thomas, R.Q., Woelmer, W.M., McLachlan, J.S., 2023. Assessing opportunities and inequities in undergraduate ecological forecasting education. Ecol. Evol. 13, e10001. https://doi.org/10.1002/ece3.10001
Woolston, C., Osório, J. (2019). When English is not your mother tongue. Nature, 570(7760), 265-267.
Woelmer W.M., L.M. Bradley, L.T. Haber, D.H. Klinges, A.S.L. Lewis, E.J. Mohr, C.L. Torrens, K.I. Wheeler, A.M. Willson. 2021. Ten simple rules for training yourself in an emerging field. PLOS Computational Biology 17(10): e1009440. https://doi.org/10.1371/journal.pcbi.1009440
