Mesa: – "Evidencia, robustez y (ab)uso de datos" – Epistemología de las prácticas científicas

View Github Repository Open presentation in a new window

erreJulian

See all presentation from erreJulian

Mesa: – "Evidencia, robustez y (ab)uso de datos" – Epistemología de las prácticas científicas

0 0

crimen

On Github erreJulian / crimen

Mesa:

"Evidencia, robustez y (ab)uso de datos"

Epistemología de las prácticas científicas

Trabajos

El crimen de doblecontar Robustez experimental en neurociencias. Una evaluación de su alcance y relevancia Evidencia y robustez en la observación astronómica contemporánea

Esquema

Double-counting Mayo v. Hudson Estrategias exploratorias Contemos de nuevo

Double-Counting

Double-counting refiere a la práctica de utilizar dos veces la misma evidencia en un mismo proceso de construcción y corroboración de una hipótesis.

Double-counting

  • Intuitivamente es una prohibición sensata.
  • Suena mucho a una falacia.
  • Vicios de circularidad.

Double-counting

Si el fit entre los datos y la hipótesis no son sorprendentes, es fácil de conseguir o incluso si H es falsa entonces los datos x no deberían ser consideradas como evidencia a favor de H.

No doblecontarás:

"Si los datos x han sido utilizados para construir una hipótesis H, entonces x no debería utilizarse de nuevo como evidencia a favor de H"

Mayo, 2014 (p.79)

Mayo

Requisito de severidad

Para que x cuente como buena evidencia para H se requiere que: x esté de acuerdo (fits) con H, y tal nivel de acuerdo debe ser improbable o “sorpresivo” si H fuera falsa.

Mayo, 2014 (p.79)

No siempre es sorprendente que x se adecue a H. Que H estuviera construida deliberadamente para que se de tal correspondencia no implicaría necesariamente que el requerimiento de severidad se viole. Ver de qué manera los datos x, en conjunto con las condiciones iniciales y los supuestos auxiliares descartan formas en las sea posible inferir H por error.

La manera de evaluar eso es por vía de cálculo de probabilidades

Robert G. Hudson

Al evaluar la relevancia de un dato hay muchas cosas involucradadas, más que meramente considerar la significancia estadística en relación a una hipótesis determinada
"El foco excesivo en la importancia de las estadísticas en la investigación experimental es una debilidad en la filosofía de error estadístico de Mayo" Hudson, 2003, p. 124

Ejemplo del HWPF

Corrientes neutrales en la interacción débil Era clave la no detección de muones Utilizaban una simulación Monte Carlo para estimar cuántos eventos sin muones eran normales (falsos positivos)
  • El equipo que usaban era muy nuevo y pensaron que era mejor calibrarlo que confiar en la Monte Carlo
  • La manera en la que redujeron el margen de error, no por métodos estadísticos
"Era un argumento que a Cline le gustaba: una pequeña selección de eventos, limpios de efectos en el borde. Luego de los ajustes, las detecciones se hacían al centro del detector, con una pista de muones que hubiera sido fácilmente observable" "Un análisis que no requería ni la suma estadística de muchos eventos ni la aplicación de modelos Monte Carlo". Galison, 1987, p. 236
"Cuando evidencia es utilizada para construir una hipótesis, puede ser confirmatoria de la hipótesis siempre y cuando haya bases para justificar que indica de manera confiable la verdad de la hipótesis" Hudson, 2003, pp. 121-122

El análisis sobre evidencia se hace más complejo cuando uno considera cómo trabajan los científicos

El ejemplo del HWPF es una muestra

Explorando el terreno

  • Franklin (2005): Exerpimentos exploratorios.
  • García y Velasco (2013): Estrategias exploratorias.

Franklin

Un tipo de experimentación que no está guiado por teoría

"Experimentos exploratorios"

Hereford et al. (1980)

“El patrón temporal de la síntesis de histona es un reflejo de la transcripción periódica de genes de histona en el ciclo celular” Hereford et al., 1981, p. 367 En aquel momento se creía que la concentración de histona se regulaba luego de la transcripción del ARN mensajero de dicha proteína. Para evaluar si también había una regulación de la transcripción, se midió la concentración del ARN mensajero en las células de levadura en distintas etapas del ciclo celular. Una variación en los niveles de ARN mensajero durante el ciclo indicaría que había una regulación de la transcripción (cf. Franklin, 2005, p. 890). El experimento mostró que había importantes diferencias en la cantidad de ARN mensajero de histona en el curso del ciclo celular. Aunque es discutible que el experimento fue realizado efectivamente para corroborar una hipótesis, Franklin sostiene que como menos sirvió para recabar evidencia a favor. El diseño experimental era bastante simple, por esta razón podía realizar una sola medición a la vez. En palabras de Franklin: Los científicos cultivaban ARN mensajero en el lapso de unos minutos, provenientes de un cultivo de células de levadura que estaban en la misma etapa del ciclo celular y analizaban cuanto ARN mensajero de histona estaba presente utilizando el Northern Blot (...) Primero, la muestra se separa por tamaño en un gel bidimensional eléctricamente cargado y luego se etiqueta utilizando un reactivo o un colorante que se ata al ARN mensajero de interés. (2005, p. 890)

Spellman et al. (1998)

“Crear un catálogo comprensivo de genes de levadura cuyos niveles de transcripción varíen periodicamente en el ciclo celular” (Franklin, 2005, p. 893) El experimento que condujo Spellman no fue dirigido por una teoría, en el sentido que si fue el de Hereford, puesto que no contaban con ninguna hipótesis o mecanismo sujeta a la exploración. En otras palabras, no había una teoría local como en el caso de Hereford.

Dos niveles en que la investigación es guiada por teoría:

"De fondo” tiene que ver con el conocimiento sistemático de biología molecular, junto con ejemplos clásicos que permitieron ilustrar posibles mecanismos celulares. "Local”, involucra el comportamiento de los objetos que son estudiados.
  • En el caso de Hereford, la histona.
  • ¿En el caso de Spellman? Ninguno.

Estrategias exploratorias

Contemos de nuevo

  • Tanto Mayo como Hudson conceden que hay instancias legítimas de double-counting.
  • Aún así, si consideramos estrategias exploratorias, vemos que la relación entre evidencia e hipótesis es intrincada.
  • Es probable que se requiera de otro método para evitar vicios de circularidad al usar evidencia.

Muchas gracias

Correo: julianreynoso@gmail.com

Presentación: http://errejulian.github.io/crimen

Referencias

Franklin, L. R. (2005). Exploratory experiments. Philosophy of Science, 72(5):888–899. Galison, P. (1987). How experiments end. University of Chicago Press, Chicago. García, P. y Velasco, M. (2013). Exploratory strategies: experiments and simulations. In J. M. Duran and A. Eckart (eds.), Computer Simulations and the Changing Face of Scientific Experimentation, 99–108. Hudson, R. G. (2003). Novelty and the 1919 eclipse experiments. Studies in History and Philosophy of Science Part B: Studies in History and Philosophy of Modern Physics, 34(1):107–129. Mayo, D. (2014). Some surprising facts about (the problem of) surprising facts. Studies in History and Philosophy of Science Part A, 45:79–86. Mayo, D. G. (1996). Error and the growth of experimental knowledge. Science and its conceptual foundations. University of Chicago Press, Chicago.
Mesa: "Evidencia, robustez y (ab)uso de datos" Epistemología de las prácticas científicas