Читать книгу: «Estadística práctica para ciencia de datos con R y Python»
Segunda edición original publicada en inglés por O’Reilly con el título Practical Statistics for Data Scientists, ISBN 978-1-492-07294-2 © Peter Bruce, Andrew Bruce y Peter Gedeck, 2020. This translation is published and sold by permission of O’Reilly Media, Inc., which owns or controls all rights to publish and sell the same.
Título de la edición en español:
Estadística práctica para ciencia de datos con R y Python
Segunda edición en español, 2022
© 2022 MARCOMBO, S.L.
www.marcombo.com
Diseño de portada: Karen Montgomery
Ilustración: Rebecca Demarest
Traducción: Francisco Martínez Carreno
Corrección: Nuria Barroso
«Cualquier forma de reproducción, distribución, comunicación pública o transformación de esta obra solo puede ser realizada con la autorización de sus titulares, salvo excepción prevista por la ley. La presente publicación contiene la opinión del autor y tiene el objetivo de informar de forma precisa y concisa. La elaboración del contenido, aunque se ha trabajado de forma escrupulosa, no puede comportar una responsabilidad específica para el autor ni el editor de los posibles errores o imprecisiones que pudiera contener la presente obra.»
ISBN: 978-84-267-3454-9
Producción del ePub: booqlab
Nos gustaría dedicar este libro al recuerdo de nuestros padres, Victor G. Bruce y Nancy C. Bruce, que cultivaron la pasión por las matemáticas y la ciencia. También a nuestros primeros tutores John W. Tukey, Julian Simon y a nuestro amigo de toda la vida Geoff Watson, que nos animaron a seguir la carrera de estadística.
Peter Bruce y Andrew Bruce
Me gustaría dedicar este libro a Tim Clark y Christian Kramer, a los que agradezco profundamente su investigación científica y su amistad.
Peter Gedeck
Contenidos
Prefacio
1. Análisis exploratorio de datos
Elementos de datos estructurados
Lecturas complementarias
Datos rectangulares
Marcos de datos e índices
Estructuras de datos no rectangulares
Lecturas complementarias
Estimación de la localización
Media
Estimación de medianas robustas
Ejemplo: estimaciones de localización de la población y tasas de homicidios
Lecturas complementarias
Estimación de la variabilidad
Desviación estándar y estimaciones relacionadas
Estimación basada en percentiles
Ejemplo: estimaciones de variabilidad de la población estatal
Lecturas complementarias
Exploración de la distribución de datos
Percentiles y diagramas de caja
Tablas de frecuencias e histogramas
Diagrama y estimación de la curva de densidad
Lecturas complementarias
Exploración de datos binarios y categóricos
Moda
Valor esperado
Probabilidad
Lecturas complementarias
Correlación
Diagramas de dispersión
Lecturas complementarias
Exploración de dos o más variables
Agrupación hexagonal y contornos (representación numérica frente a datos numéricos)
Dos variables categóricas
Datos categóricos y numéricos
Visualización de varias variables
Lecturas complementarias
Resumen
2. Distribuciones de datos y muestreo
Muestreo aleatorio y sesgo de la muestra
Sesgo
Selección aleatoria
Tamaño frente a calidad: ¿cuándo importa el tamaño?
Media muestral frente a media poblacional
Lecturas complementarias
Sesgo de selección
Regresión a la media
Lecturas complementarias
Distribución muestral del estadístico
Teorema del límite central
Error estándar
Lecturas complementarias
Bootstrap
Remuestreo frente a bootstrapping
Lecturas complementarias
Intervalos de confianza
Lecturas complementarias
Distribución normal
Normal estándar y diagramas QQ
Distribuciones de cola larga
Lecturas complementarias
Distribución t de Student
Lecturas complementarias
Distribución binomial
Lecturas complementarias
Distribución chi cuadrado
Lecturas complementarias
Distribución F
Lecturas complementarias
La distribución de Poisson y distribuciones relacionadas
Distribución de Poisson
Distribución exponencial
Estimación de la tasa de fallos
Distribución de Weibull
Lecturas complementarias
Resumen
3. Experimentos estadísticos y pruebas significativas
Prueba A/B
¿Por qué tener un grupo de control?
¿Por qué solo A/B? ¿Por qué no C, D, …?
Lecturas complementarias
Pruebas de hipótesis
La hipótesis nula
Hipótesis alternativa
Pruebas de hipótesis unidireccionales o bidireccionales
Lecturas complementarias
Remuestreo
Prueba de permutación
Ejemplo: adherencia de la web
Pruebas de permutación exhaustiva y de bootstrap
Pruebas de permutación: el resultado final de la ciencia de datos
Lecturas complementarias
Significación estadística y valores p
Valor p
Alfa
Errores de tipo 1 y 2
Ciencia de datos y valores p
Lecturas complementarias
Pruebas t
Lecturas complementarias
Pruebas múltiples
Lecturas complementarias
Grados de libertad
Lecturas complementarias
ANOVA
Estadístico F
ANOVA bidireccional
Lecturas complementarias
Prueba de chi cuadrado
Prueba de chi cuadrado: enfoque de remuestreo
Prueba de chi cuadrado: teoría estadística
Prueba exacta de Fisher
Relevancia para la ciencia de datos
Lecturas complementarias
Algoritmo Multi-Arm Bandit
Lecturas complementarias
Potencia y tamaño de la muestra
Tamaño de la muestra
Lecturas complementarias
Resumen
4. Regresión y pronóstico
Regresión lineal simple
La ecuación de regresión
Valores ajustados y residuos
Mínimos cuadrados
Pronóstico frente a explicación (elaboración de perfiles)
Lecturas complementarias
Regresión lineal múltiple
Ejemplo: datos de las viviendas del condado de King
Evaluación del modelo
Validación cruzada
Selección del modelo y regresión escalonada
Regresión ponderada
Lecturas complementarias
Pronóstico mediante la regresión
Los peligros de la extrapolación
Intervalos de confianza y de pronóstico
Variables de tipo factor en la regresión
Representación de variables ficticias
Variables de tipo factor con muchos niveles
Variables de tipo factor ordenadas
Interpretación de la ecuación de regresión
Predictoras correlacionadas
Multicolinealidad
Variables de confusión
Interacciones y efectos principales
Diagnósticos de regresión
Valores atípicos
Valores influyentes
Heterocedasticidad, anormalidad y errores correlacionados
Diagramas de residuos parciales y falta de linealidad
Regresión polinomial y por spline
Polinomial
Splines
Modelos aditivos generalizados
Lecturas complementarias
Resumen
5. Clasificación
Bayes ingenuo
Por qué la clasificación bayesiana exacta no es práctica
La solución ingenua
Variables predictoras numéricas
Lecturas complementarias
Análisis discriminante
Matriz de covarianza
Discriminante lineal de Fisher
Un ejemplo sencillo
Lecturas complementarias
Regresión logística
Función de respuesta logística y logit
Regresión logística y GLM
Modelos lineales generalizados
Valores pronosticados de regresión logística
Interpretación de los coeficientes y de la razón de oportunidades
Regresión lineal y logística: similitudes y diferencias
Evaluación del modelo
Lecturas complementarias
Evaluación de modelos de clasificación
Matriz de confusión
El problema de las clases raras
Precisión, exhaustividad y especificidad
Curva ROC
AUC
Sustentación
Lecturas complementarias
Estrategias para datos que no están equilibrados
Submuestreo
Sobremuestreo y aumento/disminución de la ponderación
Generación de datos
Clasificación basada en los costes
Exploración de pronósticos
Lecturas complementarias
Resumen
6. Aprendizaje automático estadístico
K-vecinos más cercanos
Un pequeño ejemplo: pronóstico del incumplimiento de préstamos
Métricas de distancia
Codificador One-Hot
Estandarización (normalización, puntuación z)
Elección de K
KNN como motor de características
Modelos de árbol
Un ejemplo sencillo
Algoritmo de partición recursiva
Medición de la homogeneidad o la impureza
Detención del crecimiento del árbol
Pronóstico de un valor continuo
Cómo se utilizan los árboles
Lecturas complementarias
Métodos de bagging y bosque aleatorio
Bagging
Bosque aleatorio
Importancia de la variable
Hiperparámetros
Boosting
El algoritmo boosting
XGBoost
Regularización: evitación del sobreajuste
Hiperparámetros y validación cruzada
Resumen
7. Aprendizaje no supervisado
Análisis de componentes principales
Un ejemplo sencillo
Cálculo de los componentes principales
Interpretación de componentes principales
Análisis de correspondencias
Lecturas complementarias
Agrupación K-means
Un ejemplo sencillo
Algoritmo K-means
Interpretación de los grupos
Selección del número de grupos
Agrupación jerárquica
Un ejemplo sencillo
El dendrograma
El algoritmo de aglomeración
Medidas de disimilitud
Agrupación basada en el modelo
Distribución normal multivariante
Mezclas de distribuciones normales
Selección del número de grupos
Lecturas complementarias
Variables categóricas y escalado
Escalado de variables
Variables dominantes
Datos categóricos y distancia de Gower
Problemas con la agrupación de datos mixtos
Resumen
Bibliografía
Prefacio
Este libro está dirigido a científicos de datos familiarizados de algún modo con los lenguajes de programación R y/o Python, y con una formación básica (quizás irregular o efímera) a la estadística. Dos de los autores de este libro llegamos al mundo de la ciencia de datos desde el mundo de la estadística y apreciamos en cierta medida la contribución que la estadística puede hacer al arte de la ciencia de datos. Al mismo tiempo, somos muy conscientes de las limitaciones de la enseñanza de la estadística tradicional: la estadística como disciplina tiene un siglo y medio de vida, y la mayoría de los libros de texto y cursos de estadística están cargados con el impulso y la inercia de un transatlántico. Todos los métodos de este libro tienen alguna conexión, histórica o metodológica, con la disciplina de la estadística. No se incluyen los métodos que evolucionaron principalmente a partir de la informática, como es el caso de las redes neuronales.
El libro tiene dos objetivos:
• Presentar, en forma digerible, navegable y de fácil referencia, conceptos clave de estadística que son relevantes para la ciencia de datos.
• Explicar qué conceptos son importantes y útiles desde la perspectiva de la ciencia de datos, cuáles lo son menos y por qué.
Convenciones que se utilizan en el libro
Términos clave
La ciencia de datos es la fusión de varias disciplinas, entre las que se incluyen la estadística, la informática, las tecnologías de la información y campos específicos de este ámbito. Como consecuencia, se pueden utilizar varios términos diferentes para referirse a un concepto dado. Los términos clave y sus sinónimos se destacarán a lo largo del libro en un recuadro como este.
 | Este elemento indica un consejo o una sugerencia. |
 | Este elemento indica una nota general. |
 | Este elemento indica una advertencia o precaución. |
Uso de los ejemplos de código
En todos los casos, el libro proporciona ejemplos de código, en primer lugar en R y a continuación en Python. Para evitar repeticiones innecesarias, generalmente solo se muestran los resultados y gráficos que genera el código R. También omitimos el código necesario para cargar tanto los paquetes como los conjuntos de datos requeridos. Se puede acceder al código completo y los conjuntos de datos para su descarga en www.marcombo.info con el código DATOS22.
Este libro está aquí para ayudarte a hacer tu trabajo. En general, si en el libro se facilitan códigos de ejemplo, puedes usarlos en tus programas y documentación. No necesitas ponerte en contacto con nosotros para pedir permiso a menos que vayas a reproducir una parte importante del código. Por ejemplo, escribir un programa que use varios fragmentos de código del libro no requiere permiso. Vender o distribuir ejemplos de los libros de O’Reilly y de Marcombo requiere permiso. Responder a una pregunta proporcionando la referencia del libro y citar el código de un ejemplo no requiere permiso. La incorporación de una cantidad importante del código de los ejemplos del libro en la documentación de tu producto requiere permiso.
Generalmente no pedimos que se incluya una atribución, pero apreciamos que se haga. Una atribución contiene el título, autor, editor e ISBN. Por ejemplo: "Estadística práctica para ciencia de datos con R y Python de Peter Bruce, Andrew Bruce y Peter Gedeck (Marcombo y O’Reilly). Copyright 2022 Peter Bruce, Andrew Bruce y Peter Gedeck, 978-84-267-3443-3".
Si crees que el uso por tu parte de los ejemplos de código no está justificado o no respeta el permiso otorgado más arriba, no dudes en ponerte en contacto con nosotros en info@marcombo.com.
Agradecimientos
Los autores queremos expresar nuestro agradecimiento al numeroso grupo de personas que han contribuido a hacer realidad este libro.
Gerhard Pilcher, director ejecutivo de la empresa de minería de datos Elder Research, revisó los primeros borradores del libro y nos facilitó sus correcciones, así como detallados y útiles comentarios. Del mismo modo, Anya McGuirk y Wei Xiao, estadísticos de SAS, y Jay Hilfiger, autor de O'Reilly, proporcionaron comentarios útiles sobre los borradores iniciales del libro. Toshiaki Kurokawa, que tradujo la primera edición al japonés, realizó un completo trabajo de revisión y corrección durante la traducción. Aaron Schumacher y Walter Paczkowski revisaron minuciosamente la segunda edición del libro y aportaron numerosas sugerencias útiles y valiosas por las cuales les estamos muy agradecidos. No hace falta decir que cualquier error que exista es solo nuestro.
En O'Reilly, Shannon Cutt nos orientó con buen ánimo y la adecuada dosis de insistencia en el proceso de publicación. Por otra parte, Kristen Brown dirigió con éxito la fase de producción del libro. Rachel Monaghan y Eliahu Sussman, cuidadosa y pacientemente, corrigieron y mejoraron la redacción, mientras que Ellen Troutman-Zaig preparó el índice. Nicole Tache tomó las riendas de la segunda edición y dirigió el proceso de manera eficaz, proporcionando muchas y buenas sugerencias editoriales para mejorar la legibilidad del libro para una amplia audiencia. También agradecemos a Marie Beaugureau, que inició nuestro proyecto en O’Reilly, así como a Ben Bengfort, autor de O’Reilly e instructor de Statistics.com, que nos presentó a O’Reilly.
Nosotros, y los contenidos de este libro, también nos hemos beneficiado de las muchas conversaciones que Peter ha tenido a lo largo de los años con Galit Shmueli, coautor de otros proyectos editoriales.
Finalmente, nos gustaría agradecer especialmente a Elizabeth Bruce y Deborah Donnell su paciencia y apoyo para hacer posible este proyecto.
CAPÍTULO 1
Análisis exploratorio de datos
Este capítulo se centra en el primer paso de cualquier proyecto de ciencia de datos: la exploración de los datos.
La estadística clásica se ocupó casi exclusivamente de la inferencia, un conjunto de procedimientos, a veces complejo, para sacar conclusiones sobre grandes poblaciones a partir de muestras de pequeño tamaño. En 1962, John W. Tukey (figura 1.1) propugnó una reforma de la estadística en su trabajo académico de investigación "The Future of Data Analysis" [Tukey, 1962]. Propuso una nueva disciplina científica llamada análisis de datos (data analysis) que incluía la inferencia estadística como un componente más. Tukey forjó vínculos con los colectivos profesionales de ingeniería e informática (acuñó los términos bit, abreviatura de dígito binario, y software), y sus principios originales son sorprendentemente duraderos y forman parte de los fundamentos de la ciencia de datos. El campo del análisis exploratorio de datos se estableció con el que es ahora un libro clásico de Tukey publicado en 1977: Exploratory Data Analysis [Tukey, 1977]. Tukey presentó diagramas sencillos (por ejemplo, diagramas de caja, diagramas de dispersión) que, junto con resúmenes estadísticos (media, mediana, cuantiles, etc.), ayudan a dibujar la imagen de un conjunto de datos.
Con la disponibilidad de forma inmediata de la capacidad de cálculo y el potente software de análisis de datos, el análisis exploratorio de datos ha evolucionado mucho más allá de lo que fue su alcance original. Los impulsores clave de esta disciplina han sido el rápido desarrollo de nuevas tecnologías, el acceso a una mayor cantidad de datos y más importantes, así como la mayor utilización del análisis cuantitativo en numerosas disciplinas. David Donoho, profesor de estadística de la Universidad de Stanford y exalumno de Tukey, es autor de un excelente artículo inspirado en su exposición para el taller del centenario del nacimiento de Tukey (Tukey Centennial) en Princeton, Nueva Jersey [Donoho, 2015]. Donoho localiza la génesis de la ciencia de datos en el trabajo pionero de Tukey sobre el análisis de datos.
Figura 1.1 John Tukey, el eminente estadístico cuyas ideas, que desarrolló hace más de 50 años, constituyen la base de la ciencia de datos.
Elementos de datos estructurados
Los datos proceden de muchas fuentes: mediciones de sensores, eventos, texto, imágenes y vídeos. Internet de las cosas (Internet of Things [IoT]) vomita caudales de información. Gran parte de estos datos no están estructurados: las imágenes son una colección de píxeles, y cada píxel contiene información sobre el color RGB (rojo, verde, azul). Los textos son secuencias de palabras y caracteres que no son palabras, y a menudo están organizados por secciones, subsecciones, etc. Los flujos de clics son secuencias de acciones de un usuario que interactúa con una aplicación o una página web. De hecho, un desafío importante de la ciencia de datos es convertir este torrente de datos sin procesar en información útil. Para aplicar los conceptos estadísticos tratados en el libro, los datos en bruto, no estructurados, deben procesarse y manejarse en un formato estructurado. Una de las formas más habituales en la que se presentan los datos estructurados es una tabla con filas y columnas, bien porque los datos pueden proceder de una base de datos relacional o porque los recopilamos así para su estudio.
Hay dos tipos básicos de datos estructurados: numéricos y categóricos. Los datos numéricos se presentan en dos modalidades: datos de carácter continuo (continuous), como es el caso de la velocidad del viento o la duración del tiempo, y discreto (discrete), como el recuento de las veces que ocurre un evento. Los datos categóricos (categorical) adoptan solo un conjunto fijo de valores, como pueden ser los tipos de pantallas de TV (plasma, LCD, led, etc.) o los nombres de los estados (Alabama, Alaska, etc.). Los datos binarios (binary) son un importante caso especial de datos categóricos que adoptan solo uno de dos valores, como 0/1, sí/no o verdadero/falso. Otro tipo muy útil de datos categóricos son los datos ordinales (ordinal), con los que se ordenan las categorías. Un ejemplo de estos datos es una clasificación numérica (1, 2, 3, 4 o 5).
¿Por qué nos molestamos en analizar la taxonomía de los tipos de datos? Pues porque resulta que a los efectos del análisis de datos y del modelado predictivo, el tipo de datos es importante para ayudar a determinar qué tipo de presentación visual utilizar, si la de análisis de datos o la de modelos estadísticos. De hecho, el software de la ciencia de datos, como R y Python, utiliza los tipos de datos para mejorar el rendimiento computacional. Y lo que es más importante, el tipo de datos de una variable determina cómo realizará el software los cálculos para esa variable.
Términos clave de los tipos de datos
Numéricos
Datos que se expresan en una escala numérica.
Continuos
Datos que pueden adoptar cualquier valor dentro de un intervalo. (Sinónimos: intervalo, flotante, numérico)
Discretos
Datos que solo pueden adoptar valores enteros, como los valores contables. (Sinónimos: entero, contable)
Categóricos
Datos que solo pueden adoptar un conjunto específico de valores que representan un conjunto de categorías posibles. (Sinónimos: enumeraciones, enumerado, factores, nominal)
Binarios
Son un caso especial de datos categóricos con solo dos categorías de valores, por ejemplo, 0/1, verdadero/falso. (Sinónimos: dicotómico, lógico, indicador, booleano)
Ordinales
Datos categóricos que tienen un orden explícito. (Sinónimos: factor ordenado)
Los ingenieros de software y los programadores de bases de datos pueden preguntarse por qué incluso necesitamos la noción de datos categóricos (categorical) y ordinales (ordinal) para el análisis. Después de todo, las categorías son simplemente una colección de valores de texto (o numéricos) y la base de datos subyacente maneja automáticamente la representación interna. Sin embargo, la identificación explícita de datos como categóricos, como algo diferente al texto, ofrece algunas ventajas:
• Saber que los datos son categóricos puede actuar como una señal que indica al software cómo deben comportarse los procedimientos estadísticos, como crear un gráfico o ajustar un modelo. En particular, los datos ordinales se pueden representar mediante ordered.factor en R, conservando el orden especificado por el usuario en gráficos, tablas y modelos. En Python, scikit-learn admite datos ordinales con sklearn.preprocessing.OrdinalEncoder.
• El almacenamiento y la indexación se pueden optimizar (como en una base de datos relacional).
• Los posibles valores que puede adoptar una variable categórica dada se aplican al software (como puede ser una enumeración).
El tercer "beneficio" puede conducir a un comportamiento no deseado o inesperado: el comportamiento predeterminado de las funciones de importación de datos en R (por ejemplo, read.csv) es convertir automáticamente una columna de texto en un factor.
Las operaciones posteriores en esa columna supondrán que los únicos valores permitidos para la columna son los que se importaron originalmente, y la asignación de un nuevo valor de texto introducirá una advertencia y producirá un NA (valor ausente). El paquete pandas de Python no realizará dicha conversión automáticamente. Sin embargo, podemos especificar una columna como categórica explícitamente con la función read_csv.
Ideas clave
• Los datos se clasifican en el software generalmente por tipos.
• En los tipos de datos están incluidos los numéricos (continuos, discretos) y categóricos (binarios, ordinales).
• La tipificación de datos en el software actúa como una señal que le indica al software cómo debe procesarlos.
Lecturas complementarias
• Los tipos de datos pueden crear confusión, ya que estos pueden superponerse, y la taxonomía de un tipo de software puede diferir de la de otro. El sitio web de RTutorial (www.r-tutor.com/) incluye la taxonomía de R. La documentación de pandas (https://pandas.pydata.org/docs/user_guide/) describe los diferentes tipos de datos y cómo se pueden manejar en Python.
• La clasificación de tipos de datos de las bases de datos es más detallada al incorporar consideraciones de niveles de precisión, campos de longitud fija o variable, entre otras cosas. Consultar la guía de W3Schools para SQL (www.w3schools.com/sql/).
Datos rectangulares
El marco de referencia típico para un análisis en ciencia de datos es el objeto de datos rectangulares (rectangular data), como puede ser una hoja de cálculo o una tabla de base de datos.
Datos rectangulares (rectangular data) es el término general asociado a una matriz bidimensional con filas que indican registros (casos) y columnas que indican características (variables). El marco de datos (data frame) es el formato específico en R y Python. Los datos no siempre tienen esta apariencia al principio: los datos no estructurados (por ejemplo, texto) deben procesarse y manipularse para que se puedan representar como un conjunto de características en la matriz de datos rectangulares (consultar "Elementos de datos estructurados" en la página 2). Para la mayor parte de las tareas de análisis y modelado de datos, los datos de las bases de datos relacionales deben extraerse y colocarse en una sola tabla.
Términos clave de los datos rectangulares
Marco de datos
Los datos rectangulares (como puede ser una hoja de cálculo) son la estructura básica de datos para los modelos estadísticos y de aprendizaje automático.
Característica
Una columna de una tabla se denomina generalmente característica (feature).
Sinónimos
atributo, entrada, predictor, variable
Resultado
Muchos proyectos de ciencia de datos implican pronosticar un resultado (outcome), a menudo un resultado de sí/no (en la tabla 1.1, es si "la subasta ha sido competitiva o no"). A veces, las características (features) se utilizan para pronosticar el resultado (outcome) de un estudio.
Sinónimos
variable dependiente, respuesta, objetivo, salida
Registros
A una fila dentro de una tabla se le denomina generalmente registro (register).
Sinónimos
caso, ejemplo, instancia, observación, patrón, muestra
Tabla 1.1 Típico formato del marco de datos
En la tabla 1.1, hay una combinación de datos medidos o contabilizados (por ejemplo, duración y precio) y datos categóricos (por ejemplo, categoría y divisa). Como se ha mencionado anteriormente, una forma especial de variable categórica es una variable binaria (sí/no o 0/1), como se ve en la columna de la derecha en la tabla 1.1, una variable indicadora que muestra si una subasta ha sido competitiva (si ha tenido varios postores) o no. Esta variable indicadora también resulta ser una variable de resultado (outcome), cuando el escenario es pronosticar si una subasta es competitiva o no.
Marcos de datos e índices
Las tablas de bases de datos tradicionales tienen una o más columnas designadas como índice, esencialmente un número de fila. Esta funcionalidad puede mejorar enormemente la eficiencia de determinadas consultas a bases de datos. En Python, con la biblioteca de pandas, la estructura básica de datos rectangulares es el objeto DataFrame. Por defecto, se crea un índice de enteros automático para un DataFrame basado en el orden de las filas. En pandas, también es posible establecer índices jerárquicos/multinivel para mejorar la eficiencia de ciertas operaciones.
En R, la estructura básica de datos rectangulares es el objeto data.frame. data.frame también tiene un índice implícito de enteros basado en el orden de las filas. El data.frame nativo de R no admite índices especificados por el usuario o multinivel, aunque se puede crear una clave personalizada mediante el atributo row.names. Para superar esta deficiencia, hay dos nuevos paquetes que se están utilizando de forma generalizada: data.table y dplyr. Ambos admiten índices multinivel y ofrecen importantes aumentos de velocidad cuando se trabaja con data.frame.
Diferencias terminológicas
La terminología de datos rectangulares puede resultar confusa. Los estadísticos y los científicos de datos usan términos diferentes para referirse al mismo concepto. Para un estadístico, las variables predictoras (predictor variables) se utilizan en un modelo para pronosticar una respuesta (response) o variable dependiente (dependent variable). Para un científico de datos, las características (features) se utilizan para pronosticar un objetivo (target). Los sinónimos resultan particularmente confusos: los informáticos usarán el término muestra (sample) para una única fila. Una muestra (sample) para un estadístico es una colección de filas.
Estructuras de datos no rectangulares
Existen otras estructuras de datos además de los datos rectangulares.
Los datos de serie de tiempo registran mediciones sucesivas de la misma variable. Es la materia prima de los métodos de pronóstico estadístico y también es un componente clave de los datos generados por los dispositivos del Internet de las cosas.
Las estructuras de datos espaciales, que se utilizan en cartografía y análisis de la localización, son más complejas y variadas que las estructuras de datos rectangulares. En la representación del objeto (object), el foco de los datos es un objeto (por ejemplo, una casa) y sus coordenadas espaciales. La vista de campo (field), por el contrario, se centra en pequeñas unidades de espacio y el valor de la métrica correspondiente (brillo de píxeles, por ejemplo).
Las estructuras de datos en forma de gráficos (o redes) se utilizan para representar relaciones físicas, sociales y abstractas. Por ejemplo, un gráfico de una red social, como Facebook o LinkedIn, puede representar conexiones entre personas en la red. Los centros de distribución conectados por carreteras son un ejemplo de una red física. Las estructuras de gráficos son útiles para ciertos tipos de problemas, como la optimización de redes o los sistemas de recomendación.
Cada uno de estos tipos de datos tiene su metodología especializada en ciencia de datos. El enfoque de este libro se centra en los datos rectangulares, el bloque de construcción fundamental del modelado predictivo.
Gráficos en estadística
En informática y tecnologías de la información, el término gráfico (graph) hace referencia normalmente a la descripción de las conexiones entre entidades y a la estructura de datos subyacente. En estadística, gráfico (graph) se utiliza para referirse a una variedad de diagramas y visualizaciones (visualizations), no solo de conexiones entre entidades, aunque el término se aplica solo a la visualización, no a la estructura de datos.
Ideas clave
• La estructura de datos básica en ciencia de datos es una matriz rectangular en la que las filas están formadas por registros y las columnas son las variables (características).
• La terminología puede resultar confusa. Existe una serie de sinónimos, procedentes de diferentes disciplinas, que contribuyen a la ciencia de datos (estadística, informática y tecnologías de la información).
Lecturas complementarias
• Documentación sobre marcos de datos en R (https://stat.ethz.ch/R-manual/R-devel/library/base/html/data.frame.html).
• Documentación sobre marcos de datos en Python (https://pandas.pydata.org/pandas-docs/stable/user_guide/dsintro.html).
Estimación de la localización
Las variables, con los datos medidos o procedentes de recuentos, pueden tener miles de valores distintos. Un paso fundamental para explorar los datos es obtener un "valor típico" para cada característica (variable): una estimación de dónde se encuentra la mayoría de los datos (es decir, su tendencia central).
Términos clave de la estimación de la localización
Media
Suma de todos los valores dividida por el número de valores.
Sinónimos
promedio
Media ponderada
Suma de todos los valores multiplicados por cada ponderación y dividida por la suma de las ponderaciones.
Sinónimo
promedio ponderado
Mediana
Valor tal que la mitad del número de datos se encuentra por encima y la otra mitad por debajo de dicho valor.
Sinónimo
Percentil 50
Percentil
Valor tal que el P por ciento de los datos se encuentra por debajo del mismo.
Sinónimo
cuantil
Mediana ponderada
Valor tal que la mitad de la suma de las ponderaciones se encuentra por encima y la otra mitad por debajo de los datos ordenados.
Media recortada
El promedio de todos los valores después de eliminar un número fijo de valores extremos.
Sinónimo
media truncada
Robusto
Insensible a valores extremos.
Sinónimo
resistente
Atípico
Valor de un dato que es muy diferente de la mayoría de los valores de datos.
Sinónimo
valor extremo
A primera vista, resumir los datos puede parecer bastante trivial: simplemente hay que extraer la media (mean) de los datos. De hecho, si bien la media es fácil de calcular y conveniente de usar, es posible que no siempre sea la mejor medida para representar un valor central. Por esta razón, los estadísticos han desarrollado y promovido varias estimaciones alternativas a la media.
Métricas y estimaciones
Los estadísticos a menudo utilizan el término estimación (estimate) para referirse a un valor calculado a partir de los datos disponibles, para establecer una distinción entre lo que vemos a partir de los datos y el verdadero estado teórico o exacto de las cosas. Es más probable que los científicos de datos y los analistas de negocios se refieran a este valor como métrica (metric). La diferencia refleja el enfoque de la estadística frente al de la ciencia de datos. Hay que tener en cuenta que la explicación de la incertidumbre se encuentra en el corazón de la disciplina de la estadística, mientras que el foco de la ciencia de datos son los objetivos concretos de las organizaciones o de las empresas. Por lo tanto, los estadísticos estiman y los científicos de datos miden.
Media
La estimación más elemental para la localización es el valor medio o promedio (average). La media es la suma de todos los valores dividida por el número de valores. Consideremos el siguiente conjunto de números: {3 5 1 2}. La media es (3 + 5 + 1 +2) / 4 = 11/4 = 2.75. Nos encontraremos el símbolo x (pronunciado "barra x") que se utiliza para representar la media de la muestra de una población. La fórmula para calcular la media de un conjunto de n valores x1, x2, ..., xn es:
N (o n) se refiere al número total de registros u observaciones. En estadística, se escribe con mayúscula si se refiere a una población y en minúscula si se refiere a una muestra de una población. En la ciencia de datos, esa distinción no es vital, por lo que se puede ver de las dos formas.
La variación de la media se conoce como media truncada (trimmed mean), que se calcula ignorando un número fijo, en cada extremo, de valores ordenados y a continuación se calcula el promedio de los valores restantes. Al representar los valores ordenados por x(1), x(2), ..., x(n) donde x(1) es el valor más pequeño y x(n) el valor más grande, la fórmula para calcular la media recortada con los p valores más pequeños y más grandes omitidos es:
La media truncada elimina la influencia de valores extremos. Por ejemplo, en el buceo internacional, se eliminan las puntuaciones máxima y mínima de cinco jueces, y la puntuación final es el promedio de las puntuaciones de los tres jueces restantes (https://en.wikipedia.org/wiki/Diving_(sport)#Scoring_the_dive). Esto hace que sea difícil para un solo juez manipular la puntuación, tal vez para favorecer al concursante de su país. Las medias truncadas se utilizan habitualmente y, en muchos casos, son preferibles a la media ordinaria. En el apartado "Estimación de medianas robustas" de la página 10 se amplía esta información.
Otro tipo de media es la media ponderada (weighted mean), que se calcula multiplicando cada valor de datos xi por el peso wi especificado por el usuario y dividiendo su suma por la suma de las ponderaciones. La fórmula para una media ponderada es:
Hay dos motivos fundamentales para usar una media ponderada:
• Algunos valores son intrínsecamente más variables que otros, y las observaciones muy variables reciben un peso menor. Por ejemplo, si tomamos el promedio de varios sensores y uno de los sensores es menos preciso, entonces podríamos reducir la ponderación de los datos de ese sensor.
• Los datos recopilados no representan por igual a los diferentes grupos que nos interesa medir. Por ejemplo, debido a la forma en la que se ha realizado un experimento en línea, es posible que no tengamos un conjunto de datos que refleje con precisión todos los grupos en la base de datos de los usuarios. Para corregir eso, podemos dar un mayor peso a los valores de los grupos que tengan una menor representación.
Estimación de medianas robustas
La mediana (median) es el valor central de una lista de datos ordenados de menor a mayor. Si hay un número par de valores de datos, el valor medio es uno que no está realmente en el conjunto de datos, sino el promedio de los dos valores que dividen los datos ordenados en mitades superior e inferior. En comparación con la media, que utiliza todas las observaciones, la mediana depende solo de los valores situados en el centro de los datos ordenados. Si bien esto puede parecer una desventaja, dado que la media es mucho más sensible a los datos, hay muchos casos en los que la mediana es una mejor métrica para la localización. Supongamos que queremos analizar los ingresos familiares típicos en los vecindarios de los alrededores del lago Washington en Seattle. Al comparar el vecindario de Medina con el de Windermere, la utilización de la media produciría resultados muy diferentes porque Bill Gates vive en Medina. Si usamos la mediana, no importará lo rico que sea Bill Gates, porque la posición de la observación intermedia seguirá siendo la misma.
Por las mismas razones por las que se usa una media ponderada, también es posible calcular una mediana ponderada (weighted median). Al igual que con la mediana, primero ordenamos los datos, aunque cada valor de los datos tiene una ponderación asociada. En lugar del número del medio, la mediana ponderada es un valor tal que la suma de las ponderaciones es igual para las mitades inferior y superior de la lista ordenada. Como la mediana, la mediana ponderada es robusta a valores atípicos.
Valores atípicos
A la mediana se le conoce como una estimación robusta (robust) de la localización, ya que no está influenciada por valores atípicos (outliers) (casos extremos) que podrían sesgar los resultados. Un valor atípico es cualquier valor que está muy lejos de los otros valores en el conjunto de datos. La definición exacta de valor atípico es algo subjetiva, a pesar de que se utilizan ciertas convenciones en distintos resúmenes de datos y diagramas (consultar "Percentiles y diagramas de caja" en la página 20). Ser un valor atípico en sí mismo no hace que un valor de los datos no sea válido o sea erróneo (como en el ejemplo anterior con Bill Gates). Aun así, los valores atípicos son a menudo el resultado de errores de datos, como la combinación de datos de diferentes unidades (kilómetros en lugar de metros) o las lecturas incorrectas de un sensor. Cuando los valores atípicos son el resultado de datos incorrectos, la media dará como resultado una estimación deficiente de la localización, mientras que la mediana seguirá siendo válida. Los valores atípicos deben identificarse y, por lo general, merecen una investigación más profunda.
Detección de anomalías
En contraste con el análisis normal de datos, donde los valores atípicos son a veces informativos y a veces molestos, en la detección de anomalías (anomaly detection) los puntos que nos interesan son los valores atípicos, y la mayor masa de datos sirve principalmente para definir la "normalidad" con la que se miden las anomalías.
La mediana no es la única estimación robusta de la localización. De hecho, la media truncada se usa habitualmente para evitar la influencia de valores atípicos. Por ejemplo, truncar el 10% inferior y superior (una opción frecuente) de los datos proporcionará protección contra valores atípicos en todos los conjuntos de datos, excepto en los más pequeños. La media truncada se puede considerar un compromiso entre la mediana y la media: es robusta a los valores extremos de los datos, pero utiliza más datos para calcular la estimación de la localización.
Otras métricas robustas para la localización
Los estadísticos han desarrollado una plétora de otros estimadores de localización, principalmente con el objetivo de desarrollar un estimador más robusto que la media y también más eficiente (es decir, más capaz de discernir pequeñas diferencias de localización entre conjuntos de datos). Si bien estos métodos son potencialmente útiles para conjuntos de datos pequeños, no es probable que proporcionen algún beneficio adicional para conjuntos con cantidades grandes de datos o incluso de tamaño moderado.
Ejemplo: estimaciones de localización de la población y tasas de homicidios
La tabla 1.2 muestra las primeras filas del conjunto de datos que contienen la población y las tasas de homicidios (en unidades de homicidios por cada 100 000 habitantes y por año) para cada estado de EE. UU. (censo de 2010).
Tabla 1.2 Algunas filas de data.frame de la situación de la población y la tasa de homicidios por estados
Utilizamos R para calcular la media, la media truncada y la mediana de la población:
Para calcular la media y la mediana con Python, podemos emplear los métodos pandas del marco de datos. La media truncada requiere la función trim_mean de scipy.stats:
La media es mayor que la media truncada, que es mayor que la mediana.
Esto se debe a que la media truncada excluye los cinco estados más grandes y más pequeños (trim=0.1 ignora el 10% de cada extremo). Si queremos calcular la tasa de homicidios promedio para el país, necesitamos usar una media o mediana ponderadas para dar cuenta de las diferentes poblaciones de los estados. Dado que el software básico de R no tiene una función para la mediana truncada, necesitamos instalar el paquete matrixStats:
Con NumPy podemos disponer de la media ponderada. Para la mediana ponderada, podemos usar el paquete especializado wquantiles (https://pypi.org/project/wquantiles/):
En este caso, la media ponderada y la mediana ponderada son aproximadamente iguales.
Ideas clave
• La métrica básica para la localización es la media, pero puede ser sensible a valores extremos (valores atípicos).
• Otras métricas (mediana, media truncada) son menos sensibles a valores atípicos y a distribuciones inusuales y, por lo tanto, son más robustas.
Lecturas complementarias
• El artículo de Wikipedia sobre tendencia central contiene un amplio debate sobre varias medidas de localización.
• El clásico Exploratory Data Analysis (Pearson) de John Tukey de 1977 todavía se lee bastante.
Estimación de la variabilidad
La localización es solo una dimensión para extraer el resumen de una característica. Una segunda dimensión, la variabilidad (variability), también conocida como dispersión (dispersion), mide el grado de agrupación o dispersión de los valores de los datos. En el corazón de la estadística se encuentra la variabilidad: hay que medirla, reducirla, distinguir la variabilidad aleatoria de la real, identificar las diversas fuentes de variabilidad real y tomar decisiones teniéndola en cuenta.
Términos clave de métricas de variabilidad
Desviaciones
Diferencias entre los valores observados y la estimación de la localización.
Sinónimos
errores, residuales
Varianza
Suma de los cuadrados de las desviaciones de la media al cuadrado y dividida por n – 1, donde n es el número de valores de datos.
Sinónimo
error cuadrático medio
Desviación estándar
Raíz cuadrada de la varianza.
Desviación media absoluta
Media de los valores absolutos de las desviaciones de la media.
Sinónimos
norma L1, norma Manhattan
Desviación absoluta mediana de la mediana
Mediana de los valores absolutos de las desviaciones de la mediana.
Rango
La diferencia entre el mayor y el menor valor de un conjunto de datos.
Estadísticos ordinales
Métricas basadas en los valores de datos ordenados de menor a mayor.
Sinónimo
rangos
Percentil
Valor tal que el P por ciento de los valores toma este valor o un valor inferior y para (100 – P) el porcentaje toma este valor o un valor superior.
Sinónimo
cuantil
Rango intercuartil
Diferencia entre el percentil 75 y el percentil 25.
Sinónimo
IQR
Así como existen diferentes formas de medir la localización (media, mediana, etc.), también existen diferentes formas de medir la variabilidad.
Desviación estándar y estimaciones relacionadas
Las estimaciones de la variación más utilizadas se basan en las diferencias o desviaciones (deviations) entre la estimación de la localización y los datos observados. Para un conjunto de datos {1, 4, 4}, la media es 3 y la mediana es 4. Las desviaciones de la media son las diferencias: 1 - 3 = –2, 4 - 3 = 1, 4 - 3 = 1. Estas desviaciones nos dicen lo dispersos están los datos en torno al valor central.
Una forma de medir la variabilidad es estimar un valor típico para estas desviaciones. El promedio de las desviaciones en sí no nos diría mucho: las desviaciones negativas compensan las positivas. De hecho, la suma de las desviaciones de la media es precisamente cero. En cambio, un enfoque sencillo consiste en extraer el promedio de los valores absolutos de las desviaciones de la media. En el ejemplo anterior, el valor absoluto de las desviaciones es {2 1 1} y su promedio es (2 + 1 + 1) / 3 = 1.33. A esta medida se conoce como desviación media absoluta (mean absolute deviation) y se calcula con la fórmula:
donde x es la media muestral.
Las estimaciones de variabilidad más conocidas son la varianza (variance) y la desviación estándar (standard deviation), que se calculan a partir del cuadrado de las desviaciones. La varianza es un promedio del cuadrado de las desviaciones y la desviación estándar es la raíz cuadrada de la varianza:
La desviación estándar es mucho más fácil de interpretar que la varianza, ya que está en la misma escala que los datos originales. Aun así, con su fórmula más complicada y menos intuitiva, podría parecer peculiar que en estadística se prefiera la desviación estándar a la desviación media absoluta. Debe su supremacía a la teoría estadística, ya que trabajar matemáticamente con valores al cuadrado es mucho más conveniente que con valores absolutos, especialmente en el caso de modelos estadísticos.
Grados de libertad, y ¿n o n – 1?
En los libros de estadística, siempre se discute por qué tenemos n – 1 en el denominador en la fórmula de la varianza, en lugar de n, lo que conduce al concepto de grados de libertad (degrees of freedom). Esta distinción no es importante ya que n es generalmente lo suficientemente grande como para que no haya mucha diferencia si dividimos entre n o n – 1. Pero en caso de que sea de interés, lo explicamos a continuación. Se fundamenta en la premisa de que deseamos hacer estimaciones sobre una población, basándonos en una muestra.
Si usamos el denominador intuitivo de n en la fórmula de la varianza, subestimaremos el valor real de la varianza y la desviación estándar en la población. Esto se conoce como estimación sesgada (biased). Sin embargo, si dividimos por n – 1 en lugar de n, la varianza se convierte en una estimación no sesgada (unbiased).
Explicar completamente por qué el uso de n conduce a una estimación sesgada implica la noción de grados de libertad, que tiene en cuenta el número de restricciones al calcular una estimación. En este caso, hay n – 1 grados de libertad, ya que hay una restricción: la desviación estándar depende del cálculo de la media muestral. Para la mayoría de los problemas, los científicos de datos no necesitan preocuparse por los grados de libertad.
La varianza, la desviación estándar y la desviación absoluta mediana son robustas a valores atípicos y extremos (consultar "Estimación de medianas robustas" en la página 10, donde se desarrolla un debate sobre estimaciones robustas para la localización). La varianza y la desviación estándar son especialmente sensibles a los valores atípicos, ya que se basan en las desviaciones al cuadrado.
Una estimación robusta de la variabilidad es la desviación absoluta mediana de la mediana (median absolute deviation from the median) o MAD:
donde m es la mediana. Al igual que la mediana, la MAD no se ve influenciada por valores extremos. También es posible calcular la desviación estándar truncada análoga a la media truncada (consultar "Media" en la página 9).
La varianza, la desviación estándar, la desviación media absoluta y la desviación absoluta mediana no son estimaciones equivalentes, incluso en el caso de que los datos provengan de una distribución normal. De hecho, la desviación estándar es siempre mayor que la desviación absoluta media, que a su vez es mayor que la desviación absoluta mediana. A veces, la desviación absoluta mediana se multiplica por un factor de escala constante para adaptarla a la misma escala que la desviación estándar en el caso de una distribución normal. El factor que se utiliza normalmente de 1.4826 significa que el 50% de la distribución normal cae dentro del rango ± MAD.
Estimación basada en percentiles
Un enfoque diferente para estimar la dispersión se centra en observar la distribución de los datos ordenados. Los estadísticos que tienen como base los datos ordenados (clasificados) se denominan estadísticos de orden (order statistics). La medida más elemental es el rango (range): la diferencia entre los números de mayor y menor valor. Es de utilidad conocer los valores mínimos y máximos en sí, además de práctico, para identificar valores atípicos, pero el rango es extremadamente sensible a los valores atípicos y no es muy útil como medida general de la dispersión de datos.
Para evitar la sensibilidad a los valores atípicos, podemos observar el rango de los datos después de eliminar valores de cada extremo. Formalmente, este tipo de estimaciones se basan en diferencias entre percentiles (percentiles). En un conjunto de datos, el percentil P es un valor tal que al menos el P por ciento de los valores toman este valor o un valor inferior y al menos (100 - P) por ciento de los valores toman este valor o un valor superior. Por ejemplo, para encontrar el percentil 80, ordenamos los datos. Luego, comenzando por el valor más pequeño, continuamos hasta el 80% del recorrido para llegar al mayor valor. Hay que tener en cuenta que la mediana es lo mismo que el percentil 50. El percentil es esencialmente lo mismo que el cuantil (quantile), con los cuantiles referenciados por porcentajes (por lo que el cuantil 0.8 es lo mismo que el percentil 80).
Una medida habitual de la variabilidad es la diferencia entre el percentil 25 y el percentil 75, al que se llama rango intercuartílico (interquartile range) (o IQR). Veamos un sencillo ejemplo: {3,1,5,3,6,7,2,9}. Los ordenamos para obtener {1,2,3,3,5,6,7,9}. El percentil 25 está en 2.5 y el percentil 75 está en 6.5, por lo que el rango intercuartílico es 6.5 – 2.5 = 4. El software puede tener enfoques ligeramente diferentes que producen diferentes respuestas (consultar el consejo que aparece más abajo). Normalmente, estas diferencias son mínimas.
Para conjuntos de datos muy grandes, calcular percentiles exactos puede ser muy costoso desde el punto de vista del cálculo, ya que requiere ordenar todos los valores de los datos. El aprendizaje automático y el software estadístico utilizan algoritmos especiales [Zhang-Wang, 2007] para obtener un percentil aproximado que se puede calcular con mucha rapidez y tiene garantizada una cierta precisión.
Percentil: definición precisa
Si tenemos un número par de datos (n es par), entonces el percentil es ambiguo según la definición anterior. De hecho, podríamos tomar cualquier valor entre los estadísticos de orden x(j) y x(j + 1), donde j satisface:
Formalmente, el percentil es el promedio ponderado:
para alguna ponderación w entre 0 y 1. El software estadístico tiene enfoques ligeramente diferentes para elegir w. De hecho, la función quantile de R ofrece nueve alternativas diferentes para calcular el cuantil. A excepción de los conjuntos de datos pequeños, normalmente no es necesario preocuparse por la forma precisa en que se calcula el percentil. En el momento de escribir estas líneas, numpy.quantile de Python solo admite un enfoque: la interpolación lineal.
Ejemplo: estimaciones de variabilidad de la población estatal
La tabla 1.3 (repetición de la tabla 1.2 para hacerlo más cómodo) muestra las primeras filas del conjunto de datos que contienen las tasas de población y de los homicidios para cada estado.
Tabla 1.3 Algunas filas de data.frame de la situación de la población y la tasa de homicidios por estados
Utilizando las funciones integradas de R para la desviación estándar, el rango intercuartílico (IQR) y la desviación absoluta mediana de la mediana (MAD), podemos calcular las estimaciones de variabilidad para los datos de la población estatal:
El marco de datos de pandas proporciona métodos para calcular la desviación estándar y los cuantiles. Usando los cuantiles, podemos determinar fácilmente el IQR. Para la MAD robusta, usamos la función robust.scale.mad del paquete statsmodels:
La desviación estándar es casi dos veces mayor que la MAD (en R, por defecto, la escala de la MAD se ajusta para estar en la misma escala que la de la media). Este hecho no es sorprendente, ya que la desviación estándar es sensible a valores atípicos.
Ideas clave
• La varianza y la desviación estándar son los estadísticos de variabilidad más difundidos y de los que más se informa de manera rutinaria.
• Ambos son sensibles a los valores atípicos.
• Entre las métricas más robustas se encuentran la desviación absoluta media, la desviación absoluta mediana de la mediana y los percentiles (cuantiles).
Lecturas complementarias
• El recurso de estadísticos en línea de David Lane tiene una sección sobre percentiles
(https://onlinestatbook.com/2/introduction/percentiles.html).
• Kevin Davenport tiene una publicación interesante en R-Bloggers (https://www.rbloggers.com/2013/08/absolute-deviation-around-the-median/) sobre las desviaciones de la mediana y sus propiedades robustas.
Exploración de la distribución de datos
Cada una de las estimaciones que tratamos aquí resume los datos en una sola cifra para describir la localización o la variabilidad de los datos. También es interesante explorar cómo se distribuyen los datos en general.
Términos clave de la exploración de la distribución
Diagrama de caja
Diagrama presentado por Tukey para visualizar de forma rápida la distribución de datos.
Sinónimo
diagrama de caja y bigotes
Tabla de frecuencias
Registro del recuento de valores de datos numéricos que caen en un conjunto de intervalos (contenedores).
Histograma
Diagrama de la tabla de frecuencias con los contenedores o intervalos en el eje x y el recuento (o proporción) en el eje y. Aunque los gráficos de barras son visualmente similares, no deben confundirse con los histogramas. Consultar “Exploración de datos binarios y categóricos” en la página 27 para obtener más información sobre las diferencias entre ambas presentaciones.
Diagrama de densidad
Versión suavizada del histograma, a menudo basada en una estimación de la densidad del núcleo (kernel density estimate).
Percentiles y diagramas de caja
En "Estimación basada en percentiles" en la página 16, exploramos cómo se pueden utilizar los percentiles para medir la dispersión de los datos. Los percentiles también son útiles para extraer un resumen de toda la distribución. Es habitual informar los cuartiles (percentiles 25, 50 y 75) y los deciles (percentiles 10, 20,…, 90). Los percentiles son especialmente indicados para extraer el resumen de las colas (tails) (partes de los extremos del rango) de la distribución. La cultura popular ha acuñado el término de los uno por ciento (one-percenters) para referirse a las personas con una riqueza superior al percentil 99.
La tabla 1.4 muestra algunos percentiles de la tasa de homicidios por estados. En R, esta información la facilita la función quantile:
En Python la proporciona el método quantile del marco de datos de pandas:
Tabla 1.4 Percentiles de tasa de homicidios por estados
La mediana es de 4 homicidios por cada 100 000 habitantes, aunque hay bastante variabilidad: el percentil 5 es solo 1.6 y el percentil 95 es 6.51.
Los diagramas de caja (boxplots), presentados por Tukey [Tukey, 1977], utilizan percentiles y permiten visualizar la distribución de datos de una forma rápida. La figura 1.2 muestra el diagrama de caja de la población por cada estado, que proporciona R:
pandas proporciona una serie de gráficos exploratorios básicos para el marco de datos. Uno de ellos es el diagrama de caja:
Figura 1.2 Diagrama de caja de la población por estados.
En este diagrama de caja, podemos ver de forma inmediata que la mediana de la población por estados es de alrededor de 5 millones, la mitad de los estados se encuentran entre aproximadamente 2 millones y 7 millones, y hay algunos valores atípicos de altos niveles de población. La parte superior e inferior del cuadro son los percentiles 75 y 25, respectivamente. La mediana se muestra mediante una línea horizontal dentro del cuadro. Las líneas discontinuas, denominadas bigotes (whiskers), se extienden desde las partes superior e inferior del cuadro para indicar el rango de la mayor parte de los datos. Hay muchas variaciones del diagrama de caja. Ver, por ejemplo, la documentación de la función boxplot de R [R-base, 2015]. Por defecto, la función R extiende los bigotes hasta el punto más alejado fuera de la caja, pero no van más allá de 1.5 veces el IQR. Matplotlib utiliza la misma implementación. Cualquier otro software puede usar una regla diferente.
Los datos que aparecen fuera de los bigotes se representan como puntos o círculos (a menudo considerados valores atípicos).
Tablas de frecuencias e histogramas
La tabla de frecuencias de una variable divide el rango de la variable en segmentos igualmente espaciados y nos dice cuántos valores caen dentro de cada segmento. La tabla 1.5 muestra la tabla de frecuencias de la población por cada estado calculada mediante R:
La función pandas.cut crea una serie que asigna los valores a los segmentos. Mediante el método value_counts, obtenemos la tabla de frecuencias:
Tabla 1.5 Tabla de frecuencias de la población por estados
El estado menos poblado es Wyoming, con 563 626 habitantes, y el más poblado es California, con 37 253 956 habitantes. Esto nos da un rango de 37 253 956 – 563 626 = 36 690 330, que debemos dividir en contenedores de igual tamaño, digamos 10 contenedores. Con 10 contenedores del mismo tamaño, cada contenedor tendrá una anchura de 3 669 033, por lo que el primer contenedor incluirá desde 563 626 a 4 232 658. Por el contrario, el contenedor superior, desde 33 584 923 a 37 253 956, tiene un solo estado: California. Los dos contenedores inmediatamente por debajo del de California están vacíos, hasta llegar a Texas. Es importante incluir los contenedores vacíos. El hecho de que no haya valores en esos contenedores constituye una información valiosa. También puede resultar conveniente experimentar con distintos tamaños de contenedores. Si son demasiado grandes, se pueden ocultar características importantes de la distribución. Si son demasiado pequeños, el resultado es demasiado granular y se pierde la capacidad de ver el panorama general.
Tanto las tablas de frecuencias como los percentiles, extraen el resumen de los datos mediante la creación de contenedores. En general, los cuartiles y deciles tendrán el mismo número de valores en cada contenedor (contenedores de igual número de valores), pero los tamaños de los contenedores serán diferentes. La tabla de frecuencias, por el contrario, tendrá diferente número de valores en los contenedores (contenedores de igual tamaño) y el tamaño de los contenedores será el mismo para todos.
El histograma es un modo de visualizar la tabla de frecuencias, con contenedores en el eje x y los valores de los datos en el eje y. En la figura 1.3, por ejemplo, el contenedor centrado en 10 millones (1e + 07) va de aproximadamente 8 millones a 12 millones, y hay seis estados en ese contenedor. Para crear mediante R el histograma correspondiente a la tabla 1.5, utilizamos la función hist con el argumento breaks:
pandas soporta histogramas para marcos de datos con el método DataFrame.plot.hist. Utilizamos el argumento de palabra clave bins para definir el número de contenedores. Los diversos métodos de diagramas proporcionan como resultado un eje de objetos que permite mejorar el ajuste de la visualización mediante Matplotlib:
El histograma se muestra en la figura 1.3. En general, los histogramas se representan gráficamente teniendo en cuenta que:
• Los contenedores vacíos se incluyen en el gráfico.
• Los contenedores tienen la misma anchura.
• El número de contenedores (o, de manera equivalente, el tamaño del contenedor) depende del usuario.
• Las barras son contiguas: no se muestran espacios vacíos entre las barras, a menos que haya un contenedor vacío.
Figura 1.3 Histograma de población por estados.
Momentos de la distribución estadística
En teoría estadística, la localización y la variabilidad se conocen como el primer y segundo momentos (moments) de una distribución. Los momentos tercero y cuarto se denominan asimetría (skewness) y curtosis (kurtosis). La asimetría se refiere a si los datos están sesgados hacia valores mayores o menores, y la curtosis indica la propensión de los datos a tener valores extremos. Generalmente, no se utilizan métricas para medir la asimetría y la curtosis, sino que se descubren a través de presentaciones visuales como las figuras 1.2 y 1.3.
Diagrama y estimación de la curva de densidad
Relacionado con el histograma existe el diagrama de densidad, que muestra la distribución de los valores de los datos mediante una línea continua. Un diagrama de densidad se puede considerar como un histograma suavizado, aunque normalmente se calcula directamente a partir de los datos a través de una estimación de la densidad del núcleo (kernel density estimate) (ver [Duong, 2001], un breve tutorial). La figura 1.4 muestra la estimación de la densidad, que aparece superpuesta al histograma. En R, podemos calcular la estimación de la densidad utilizando la función density:
pandas proporciona el método density para crear el diagrama de densidad. Utilizamos el argumento bw_method para controlar la suavidad de la curva de densidad:
Las funciones del diagrama a menudo adoptan opcionalmente el argumento de eje (ax), lo que hará que el diagrama se agregue al mismo gráfico.
Una distinción clave del histograma con diagrama de la figura 1.3 es la escala del eje y: el diagrama de densidad corresponde a la representación del histograma en porcentajes en lugar de hacerlo por el número de valores (esta opción la especificamos en R usando el argumento freq=FALSE). Hay que tener en cuenta que el área total por debajo de la curva de densidad es igual a 1 y, en lugar de aparecer el número de valores de los contenedores, calculamos el área que queda por debajo de la curva entre dos puntos cualesquiera en el eje x, que corresponde al porcentaje de la distribución que se encuentra entre esos dos puntos.
Figura 1.4 Densidad de las tasas de homicidios por estados.
Valoración de la densidad
La valoración de la densidad es un tema candente con una larga historia en la literatura estadística. De hecho, se han publicado más de 20 paquetes R que ofrecen funciones para la valoración de la densidad. [Deng-Wickham, 2011] proporciona una revisión completa de los paquetes R, con una recomendación particular para ASH o KernSmooth. Los métodos de valoración de la densidad en pandas y scikit-learn también proporcionan buenas aplicaciones. Para muchos problemas de ciencia de datos, no hay necesidad de preocuparse por los diversos tipos de estimaciones de la densidad, basta con utilizar las funciones básicas.
Ideas clave
• El histograma de frecuencias representa las frecuencias de los resultados (recuentos) en el eje y y los valores de la variable en el eje x. Proporciona de un vistazo una idea de la distribución de los datos.
• La tabla de frecuencias es una versión tabular de las frecuencias de los resultados que se encuentran en un histograma.
• Un diagrama de caja, con la parte superior e inferior de la caja en los percentiles 75 y 25, respectivamente, también da una idea rápida de la distribución de los datos. A menudo se utiliza en visualizaciones paralelas para comparar distribuciones.
• El diagrama de densidad es una versión suavizada del histograma. Requiere una función para estimar el diagrama basado en los datos (por supuesto, son posibles múltiples estimaciones).
Lecturas complementarias
• Un profesor de SUNY Oswego proporciona una guía paso a paso para crear un diagrama de caja (https://www.oswego.edu/~srp/stats/bp_con.htm).
• La valoración de la densidad en R se trata en el artículo del mismo nombre de Henry Deng y Hadley Wickham (http://vita.had.co.nz/papers/density-estimation.pdf).
• R-Bloggers tiene una publicación muy útil sobre histogramas con R (https://www.rbloggers.com/2012/12/basics-of-histograms/), que incluye elementos de personalización, como es el agrupamiento (uso de breaks()).
• R-Bloggers también tiene una publicación similar sobre el diagrama de caja con R (https://www.r-bloggers.com/2013/06/box-plot-with-r-tutorial/).
• Matthew Conlen tiene una presentación interactiva (https://mathisonian.github.io/kde/) que demuestra el efecto de elegir diferentes núcleos y ancho de banda en las estimaciones de densidad del núcleo.
Exploración de datos binarios y categóricos
En el caso de los datos categóricos, las proporciones simples o porcentajes cuentan la historia de los datos.
Términos clave de la exploración de datos categóricos
Moda
Categoría o valor que ocurre con más frecuencia en un conjunto de datos.
Valor esperado
Cuando las categorías se pueden asociar con un valor numérico, el valor esperado proporciona un valor promedio basado en la probabilidad de ocurrencia de una categoría.
Gráficos de barras
Frecuencia o proporción de cada categoría representada en barras.
Gráficos en forma de tarta
Frecuencia o proporción de cada categoría representada en forma de cuña de un pastel.
Obtener el resumen de una variable binaria o una variable categórica con varias categorías es un asunto bastante fácil: sencillamente calculamos la proporción de 1 o las proporciones de las categorías importantes. Por ejemplo, la tabla 1.6 muestra el porcentaje de vuelos que han llegado con retraso a sus destinos como consecuencia de los retrasos en el aeropuerto de Dallas/Fort Worth en 2010. Los retrasos se clasifican como debidos a: factores bajo el control de la aerolínea, retrasos en el sistema de control del tráfico aéreo (CTA), el clima, la seguridad o las aeronaves que llegan tarde.
Tabla 1.6 Porcentaje de retrasos causados por el aeropuerto de Dallas/Fort Worth
Los gráficos de barras, que se ven a menudo en la prensa de gran difusión, son una herramienta visual muy utilizada para mostrar una única variable categórica. Las categorías se enumeran en el eje x y las frecuencias o porcentajes, en el eje y. La figura 1.5 muestra los retrasos por año en el aeropuerto de Dallas/Fort Worth (DFW), y se genera con la función R barplot:
pandas también soporta gráficos de barras para marcos de datos:
Figura 1.5 Gráfico de barras de retrasos de aerolíneas en el aeropuerto de DFW.
Hay que tener en cuenta que un gráfico de barras se parece a un histograma. En un gráfico de barras, el eje x representa diferentes categorías de una variable de tipo factor, mientras que, en un histograma, el eje x representa los valores de una sola variable en una escala numérica. En un histograma, las barras generalmente se muestran tocándose entre sí. Si hay espacios, estos indican valores ausentes en los datos. En un gráfico de barras, las barras se muestran separadas entre sí.
Los gráficos en forma de tarta son una alternativa a los gráficos de barras, aunque los estadísticos y los expertos en visualización de datos generalmente evitan los gráficos en forma de tarta por ser menos informativos visualmente (ver [Few, 2007]).
Datos numéricos como datos categóricos
En "Tablas de frecuencias e histogramas" en la página 22, analizamos las tablas de frecuencias basadas en la agrupación de datos. Esta acción convierte implícitamente los datos numéricos en un factor ordenado. En este sentido, los histogramas y los gráficos de barras son similares, excepto que las categorías del eje x en el gráfico de barras no están ordenadas. La conversión de datos numéricos en datos categóricos es un paso importante y se utiliza de forma generalizada en el análisis de datos, ya que reduce la complejidad (y el tamaño) de los datos. Esto ayuda a descubrir las relaciones entre las características, particularmente en las etapas iniciales del análisis.
Moda
La moda es el valor (o valores en caso de empate) que aparece con mayor frecuencia en los datos. Por ejemplo, la moda de la causa de los retrasos en el aeropuerto de Dallas/Fort Worth es "Inbound" (llegadas). Por citar otro ejemplo, en la mayor parte de Estados Unidos, la moda de la preferencia religiosa sería el cristianismo. La moda es un resumen estadístico simple para datos categóricos y, por lo general, no se utiliza para datos numéricos.
Valor esperado
Un tipo especial de datos categóricos son los datos en los que las categorías representan o pueden asignarse a valores discretos en la misma escala. Un vendedor de una nueva tecnología en la nube, por ejemplo, ofrece dos niveles de servicio, uno con un precio de 300 $ al mes y otro de 50 $ al mes. Este especialista en marketing ofrece seminarios web gratuitos para generar potenciales clientes, y la firma calcula que el 5% de los asistentes se inscribirá en el servicio de 300 $, el 15% se inscribirá en el servicio de 50 $ y el 80% no se inscribirá en nada. Estos datos se pueden resumir, con fines de tipo financiero, en un solo "valor esperado", que es una forma de media ponderada, en la que las ponderaciones son probabilidades.
El valor esperado se calcula de la siguiente manera:
1. Multiplicamos cada resultado por la probabilidad de que ocurra.
2. Sumamos esos valores.
En el ejemplo del servicio en la nube, el valor esperado de un asistente a un seminario web es, por lo tanto, de 22.50 $ al mes, calculado de la siguiente manera:
EV = (0.05)(300) + (0.15)(50) + (0.80)(0) = 22.5
El valor esperado es realmente una forma de media ponderada: suma las ideas de expectativas futuras y las ponderaciones de probabilidad, a menudo basadas en juicios subjetivos. El valor esperado es un concepto fundamental en la valoración de empresas y en los presupuestos de capital, por ejemplo, el valor esperado de los beneficios a los cinco años de una nueva adquisición, o los ahorros de costes esperados de un nuevo software de administración de pacientes de una clínica.
Probabilidad
Nos referimos anteriormente a la probabilidad (probability) de que ocurra un valor. La mayoría de las personas tiene una comprensión intuitiva de la probabilidad, y se encuentran con frecuencia con este concepto en los pronósticos meteorológicos (la probabilidad de que llueva) o en el análisis deportivo (la probabilidad de ganar). Los deportes y los juegos se expresan más a menudo como oportunidades, que se pueden convertir fácilmente en probabilidades (si las oportunidades de que un equipo gane son de 2 a 1, su probabilidad de ganar es 2 / (2 + 1) = 2/3). Sin embargo, sorprendentemente, el concepto de probabilidad puede ser motivo de una profunda discusión filosófica a la hora de definirlo. Afortunadamente, aquí no necesitamos una definición matemática o filosófica formal. Para nuestros propósitos, la probabilidad de que suceda un evento es la proporción de veces que ocurriría si la situación pudiera repetirse una y otra vez, innumerables veces. La mayoría de las ocasiones se trata de una construcción imaginaria, pero es una comprensión funcional adecuada de la probabilidad.
Ideas clave
• Los datos categóricos generalmente se resumen en porcentajes y se pueden visualizar en un gráfico de barras.
• Las categorías pueden representar diferentes cosas (manzanas y naranjas, hombres y mujeres), niveles de una variable de tipo factor (bajo, medio y alto) o datos numéricos que se han agrupado.
• El valor esperado es la suma de los valores multiplicados por las probabilidades de que ocurran. A menudo se usa para totalizar los niveles de las variables de tipo factor.
Lecturas complementarias
Ningún curso de estadística está completo sin una lección sobre gráficos que inducen a error (https://en.wikipedia.org/wiki/Misleading_graph), que a menudo incluyen gráficos de barras y gráficos en forma de tarta.
Correlación
El análisis exploratorio de datos en muchos proyectos de modelado (ya sea en ciencia de datos o en investigación) implica examinar la correlación entre predictoras y entre predictoras y una variable objetivo. Se dice que las variables X e Y (cada una con datos registrados) están correlacionadas positivamente si los valores altos de X acompañan a los valores altos de Y, y los valores bajos de X acompañan a los valores bajos de Y. Si los valores altos de X acompañan a los valores bajos de Y, y viceversa, las variables están correlacionadas negativamente.
Términos clave de la correlación
Coeficiente de correlación
Métrica que mide el grado en que las variables numéricas están asociadas entre sí (varía de –1 a +1).
Matriz de correlación
Tabla en la que las variables se muestran tanto en filas como en columnas, y los valores de las celdas son las correlaciones entre las variables.
Diagrama de dispersión
Diagrama en el que el eje x es el valor de una variable y el eje y es el valor de otra.
Consideremos estas dos variables, perfectamente correlacionadas en el sentido de que cada una va de menor a mayor:
La suma vectorial de los productos es 1 · 4 + 2 · 5 + 3 · 6 = 32. Ahora intentemos barajar una de ellas y volvamos a hacer el cálculo. La suma vectorial de productos nunca será mayor que 32. Por lo tanto, esta suma de productos podría utilizarse como métrica. Es decir, la suma observada de 32 podría compararse con muchas mezclas aleatorias (de hecho, esta idea se relaciona con una estimación basada en el remuestreo. Consultar "Prueba de permutación" en la página 97). Sin embargo, los valores generados por esta métrica no son tan importantes, excepto en lo referente a la distribución del remuestreo.
Más útil es una variante estandarizada: el coeficiente de correlación (correlation coefficient), que proporciona una estimación de la correlación entre dos variables que siempre tienen la misma escala. Para calcular el coeficiente de correlación de Pearson (Pearson’s correlation coefficient), multiplicamos las desviaciones de la media de la variable 1 por las de la variable 2 y las dividimos por el producto de las desviaciones estándar:
Hay que tener en cuenta que dividimos por n – 1 en lugar de n. Consultar "Grados de libertad, y ¿n o n – 1?" en la página 15 para ampliar detalles. El coeficiente de correlación siempre se encuentra entre +1 (correlación positiva perfecta) y –1 (correlación negativa perfecta). El 0 indica que no hay correlación.
Las variables pueden tener una asociación no lineal, en cuyo caso el coeficiente de correlación puede no ser una métrica útil. La relación entre las tasas impositivas y los ingresos recaudados es un ejemplo: a medida que las tasas impositivas aumentan desde cero, los ingresos recaudados también aumentan. Sin embargo, una vez que las tasas impositivas alcanzan un nivel alto y se acercan al 100%, la evasión fiscal aumenta y los ingresos fiscales en realidad disminuyen.
La tabla 1.7, denominada matriz de correlación (correlation matrix), muestra la correlación entre las rentabilidades diarias de las acciones de telecomunicaciones desde julio de 2012 hasta junio de 2015. En la tabla, podemos ver que Verizon (VZ) y ATT (T) tienen la correlación más alta. Level 3 (LVLT), que es una empresa de infraestructuras, tiene la correlación más baja con las demás. Hay que tener en cuenta la diagonal de 1s (la correlación de una acción consigo misma es 1) y la redundancia de la información por encima y por debajo de la diagonal.
Tabla 1.7 Correlación entre la rentabilidad de las acciones de telecomunicaciones
Por lo general, se presenta una tabla de correlaciones como la tabla 1.7 para mostrar visualmente la relación entre múltiples variables. La figura 1.6 muestra la correlación entre las rentabilidades diarias de los principales fondos cotizados en bolsa (ETF). En R, podemos crear esta figura fácilmente usando el paquete corrplot:
Es posible crear el mismo gráfico con Python, pero no hay ninguna implementación en los paquetes convencionales. Sin embargo, la mayoría soporta la visualización de matrices de correlación mediante mapas de calor. El siguiente código lo realiza haciendo uso del paquete seaborn.heat map. En el repositorio de código fuente adjunto, incluimos código Python para generar una visualización más completa:
Los ETF para el S&P 500 (SPY) y el Índice Dow Jones (DIA) tienen una alta correlación. Del mismo modo, el QQQ y el XLK, compuestos en su mayoría por empresas de tecnología, están correlacionados positivamente. Los ETF defensivos, como los que rastrean los precios del oro (GLD), los precios del petróleo (USO) o la volatilidad del mercado (VXX), tienden a tener una correlación débil o negativa con los otros ETF. La orientación de la elipse indica si dos variables están correlacionadas positivamente (la elipse apunta hacia la parte superior derecha) o correlacionados negativamente (la elipse apunta hacia la parte superior izquierda). El sombreado y la anchura de la elipse indican la fuerza de la asociación: las elipses más delgadas y más oscuras corresponden a relaciones más fuertes (figura 1.6).
Figura 1.6 Correlación entre rentabilidades de ETF.
Al igual que la media y la desviación estándar, el coeficiente de correlación es sensible a valores extremos en los datos. Los paquetes de software ofrecen alternativas robustas al coeficiente de correlación clásico. Por ejemplo, el paquete robust de R (https://cran.rproject.org/web/packages/robust/robust.pdf) utiliza la función covRob para calcular una estimación robusta de correlación. Los métodos sklearn.covariance (https://scikitlearn.org/stable/modules/classes.html#module-sklearn.covariance) del módulo scikitlearn implementan diversos enfoques.
Otras estimaciones de la correlación
Los estadísticos propusieron hace mucho tiempo otros tipos de coeficientes de correlación, como rho de Spearman o tau de Kendall. Estos son coeficientes de correlación basados en el rango de los datos. Dado que trabajan con rangos en lugar de valores, estas estimaciones son robustas a valores atípicos y pueden manejar ciertos tipos de falta de linealidad. Sin embargo, los científicos de datos generalmente pueden ceñirse al coeficiente de correlación de Pearson y sus alternativas robustas para el análisis exploratorio. Las estimaciones basadas en rangos son atractivas principalmente para conjuntos de datos más pequeños y pruebas de hipótesis específicas.
Diagramas de dispersión
La forma tradicional de visualizar la relación entre dos variables de datos que hemos registrado es con un diagrama de dispersión. En el eje x se representa una variable y en el eje y otra, y cada punto del gráfico es un registro. En la figura 1.7 se muestra un gráfico de la correlación entre las rentabilidades diarias de ATT y Verizon. La visualización se consigue en R con el comando:
El mismo gráfico se puede generar en Python usando el método de dispersión de pandas:
Las rentabilidades tienen una relación positiva: mientras se agrupan alrededor del cero, la mayor parte de los días, las acciones suben o bajan conjuntamente (cuadrantes superior derecho e inferior izquierdo). Hay menos días en los que una acción baja significativamente mientras que la otra sube, o viceversa (cuadrantes inferior derecho y superior izquierdo).
Si bien el diagrama de la figura 1.7 muestra solo 754 puntos de datos, ya es obvio lo difícil que es identificar detalles en el centro del diagrama. Más adelante veremos cómo la adición de transparencia a los puntos, o el uso de agrupaciones hexagonales y diagramas de densidad, puede ayudar a encontrar una estructura complementaria en los datos.
Figura 1.7 Diagrama de dispersión de la correlación entre las rentabilidades de ATT y Verizon.
Ideas clave
• El coeficiente de correlación mide el grado en que dos variables emparejadas (por ejemplo, la altura y el peso de los individuos) están asociadas entre sí.
• Cuando los valores altos de v1 acompañan a los valores altos de v2, v1 y v2 se asocian positivamente.
• Cuando los valores altos de v1 acompañan a los valores bajos de v2, v1 y v2 se asocian negativamente.
• El coeficiente de correlación es una métrica estandarizada, por lo que siempre varía de –1 (correlación negativa perfecta) a +1 (correlación positiva perfecta).
• Un coeficiente de correlación de cero indica que no hay correlación, pero hay que tener en cuenta que las disposiciones aleatorias de datos producirán valores tanto positivos como negativos para el coeficiente de correlación simplemente por casualidad.
Lecturas complementarias
Statistics, 4.a ed., de David Freedman, Robert Pisani y Roger Purves (W. W. Norton, 2007) contiene una excelente discusión sobre correlación.
Exploración de dos o más variables
Los estimadores habituales como la media y la varianza analizan las variables una por una (análisis univariable [univariate analysis]). El análisis de correlación (consultar "Correlación" en la página 30) es un método importante que compara dos variables (análisis bivariable [bivariate analysis]). En esta sección, analizamos estimaciones y diagramas complementarios aplicados a más de dos variables (análisis multivariante [multivariate analysis]).
Términos clave de la exploración de dos o más variables
Tabla de contingencia
Registro del recuento entre dos o más variables categóricas.
Agrupación hexagonal
Diagrama de dos variables numéricas con los registros agrupados en hexágonos.
Diagrama de contorno
Diagrama que muestra la densidad de dos variables numéricas en forma de mapa topográfico.
Diagrama de violín
Similar a un diagrama de caja pero en el que se muestra la densidad estimada.
Al igual que el análisis univariable, el análisis bivariable implica tanto el cálculo de estadísticos de resumen como la generación de presentaciones visuales. El tipo apropiado de análisis bivariable o multivariable depende de la naturaleza de los datos: numéricos frente a categóricos.
Agrupación hexagonal y contornos (representación numérica frente a datos numéricos)
Los diagramas de dispersión son apropiados cuando hay un número relativamente pequeño de valores de datos. La gráfica de las rentabilidades de las acciones en la figura 1.7 solo involucra aproximadamente a 750 puntos. Para conjuntos de datos con cientos de miles o millones de registros, un diagrama de dispersión será demasiado denso, por lo que necesitamos visualizar la relación de un modo diferente. Para ilustrarlo, consideremos el conjunto de datos kc_tax, que contiene los valores tasados por impuestos para propiedades residenciales en el condado de King, Washington. Para centrarnos en la parte principal de los datos, eliminamos las residencias muy caras y muy pequeñas o muy grandes utilizando la función subset:
En pandas, filtramos el conjunto de datos de la siguiente manera:
La figura 1.8 es un diagrama de agrupación hexagonal (hexagonal binning) de la relación entre la superficie terminada en pies cuadrados y el valor tasado por impuestos para las viviendas en el condado de King. En lugar de trazar puntos, que aparecerían como una nube oscura monolítica, agrupamos los registros en contenedores hexagonales y rellenamos los hexágonos con un color que indica el número de registros en ese contenedor. En este gráfico, la relación positiva entre los pies cuadrados y el valor de tasación fiscal es clara. Una característica interesante es que se muestran ligeramente bandas adicionales por encima de la banda principal (la más oscura) en la parte inferior, que indica los hogares que tienen la misma superficie en pies cuadrados que los de la banda principal pero un valor fiscal más alto.
La figura 1.8 la ha generado el potente paquete de R ggplot2, desarrollado por Hadley Wickham [ggplot2]. ggplot2 es una de las múltiples nuevas bibliotecas de software para el análisis visual exploratorio avanzado de datos. Consultar "Visualización de varias variables" en la página 43:
En Python, se puede disponer fácilmente de los diagramas de agrupación hexagonal utilizando el método hexbin del marco de datos de pandas:
Figura 1.8 Agrupación hexagonal para el valor de tasación fiscal en relación con la superficie terminada en pies cuadrados.
La figura 1.9 utiliza contornos superpuestos a un diagrama de dispersión para visualizar la relación entre dos variables numéricas. Los contornos son esencialmente un mapa topográfico con dos variables. Cada banda de contorno representa una densidad específica de puntos, que aumenta a medida que nos acercamos a un "pico". Este gráfico muestra una historia similar a la de la figura 1.8: hay un pico secundario "al norte" del pico principal. Este cuadro también se ha creado mediante ggplot2 con la función incorporada geom_density2d:
La función seaborn kdeplot de Python crea la gráfica de contorno:
Figura 1.9 Gráfico de contorno para el valor de tasación fiscal en relación con la superficie terminada en pies cuadrados.
Se utilizan otros tipos de gráficos para mostrar la relación entre dos variables numéricas, incluidos los mapas de calor (heat maps). Los mapas de calor, la agrupación hexagonal y los gráficos de contorno proporcionan una representación visual bidimensional de la densidad. En este sentido, son por su naturaleza semejantes a los histogramas y diagramas de densidad.
Dos variables categóricas
Una forma conveniente de resumir dos variables categóricas es mediante una tabla de contingencia, una tabla de recuentos por categorías. La tabla 1.8 muestra la tabla de contingencia con la calificación de un préstamo personal y el resultado de ese préstamo. Esta información se ha extraído de los datos proporcionados por Lending Club, líder en el negocio de préstamos entre particulares. La calificación va desde A (la más alta) a G (la más baja). El resultado es: totalmente pagado, al corriente de pago, atrasado o cancelado (no se espera que se cobre el importe del préstamo). La tabla muestra el recuento y las filas de porcentajes. Los préstamos de alta calificación tienen un porcentaje muy bajo de retrasos en el pago/cancelaciones en comparación con los préstamos de baja calificación.
Tabla 1.8 Tabla de contingencia de las calificaciones y estados de los préstamos
En las tablas de contingencia solo se suelen ver recuentos, aunque también pueden incluir porcentajes totales y de cada columna. Las tablas dinámicas en Excel son quizá la herramienta más utilizada para crear tablas de contingencia. En R, con la función CrossTable del paquete descr podemos generar tablas de contingencia. Para crear la tabla 1.8 se ha utilizado el siguiente código:
El método pivot_table crea las tablas dinámicas en Python. El argumento aggfunc nos permite obtener los recuentos. Calcular los porcentajes es un poco más complicado:
El argumento de palabra clave margins agregará las sumas de filas y columnas.
Creamos una copia de la tabla dinámica ignorando las sumas de las columnas.
Dividimos las filas por la fila suma.
Dividimos la columna 'All' por su suma.
Datos categóricos y numéricos
Los diagramas de caja (consultar "Percentiles y diagramas de caja" en la página 20) son una forma sencilla de comparar visualmente las distribuciones de una variable numérica agrupada de acuerdo con una variable categórica. Por ejemplo, es posible que deseemos comparar cómo varía el porcentaje de retrasos en los vuelos entre las aerolíneas. La figura 1.10 muestra el porcentaje de vuelos que se retrasaron en un mes en el que el retraso lo controlaban las aerolíneas:
El método boxplot de pandas toma el argumento by que divide el conjunto de datos en grupos y crea los diagramas de caja individuales:
Figura 1.10 Diagrama de caja del porcentaje de retrasos por aerolínea.
Alaska se destaca por tener la menor cantidad de retrasos, mientras que American tiene la mayor cantidad de retrasos: el cuartil inferior de American está más alto que el cuartil superior de Alaska.
El diagrama de violín (violin plot), introducido por [Hintze-Nelson, 1998], es una mejora del diagrama de caja y representa la estimación de la densidad, con la densidad asociada al eje y. Se obtiene la imagen especular del diagrama de densidad, volcando a continuación ambas imágenes. La forma resultante se rellena, creando una imagen que se asemeja a un violín. La ventaja de un diagrama de violín es que puede mostrar matices en la distribución que no son perceptibles en un diagrama de caja. Por otro lado, el diagrama de caja muestra más claramente los valores atípicos de los datos. En ggplot2, la función geom_violin se puede usar para crear un diagrama de violín de la siguiente manera:
Los diagramas de violín están disponibles con el método violinplot del paquete seaborn:
El diagrama correspondiente se muestra en la figura 1.11. El diagrama del violín muestra una concentración en la distribución cercana a cero para Alaska y, en menor medida, para Delta. Este fenómeno no es tan obvio en el diagrama de caja. Podemos combinar el diagrama de violín con el diagrama de caja agregando geom_boxplot al diagrama (aunque su funcionamiento mejora cuando se presenta en color).
Figura 1.11 Diagrama de violín del porcentaje de retrasos por aerolínea.
Visualización de varias variables
Los tipos de gráficos que se utilizan para comparar dos variables (diagramas de dispersión, agrupación hexagonal y diagramas de caja) se extienden fácilmente a más variables mediante la noción de acondicionamiento (conditioning). Como ejemplo, veamos la anterior figura 1.8, que muestra la relación entre las superficies en pies cuadrados de las viviendas terminadas y sus valores de tasación fiscal. Observamos que parece haber un grupo de viviendas que tienen un valor fiscal más alto por pie cuadrado. Profundizando, la figura 1.12 explica el efecto de la localización al representar los datos para un conjunto de códigos postales. Ahora el panorama es mucho más claro: el valor fiscal es mucho más alto en algunos códigos postales (98105, 98126) que en otros (98108, 98188). Esta disparidad da lugar a los conglomerados observados en la figura 1.8.
Creamos la figura 1.12 usando ggplot2 y el concepto de facetas (facets) o de una variable condicionante (en este caso, el código postal):
Utilizamos las funciones facet_wrap y facet_grid de ggplot para especificar la variable condicionante.
Figura 1.12 Valor de tasación fiscal en relación con la superficie terminada en pies cuadrados por código postal.
La mayoría de los paquetes de Python utilizan Matplotlib para sus visualizaciones. Si bien en principio es posible crear gráficos facetados usando Matplotlib, el código puede complicarse. Afortunadamente, es posible crear gráficos de forma sencilla mediante seaborn:
Utilizamos los argumentos col y row para especificar las variables condicionantes. Para una sola variable condicionante, utilizamos col junto con col_wrap para empaquetar los gráficos facetados en varias filas.
El método map llama a la función hexbin con los subconjuntos para los diferentes códigos postales del conjunto de datos original. extent define los límites de los ejes x e y.
El concepto de variables condicionantes en un sistema gráfico lo iniciaron los gráficos Trellis (Trellis graphics), desarrollados por Rick Becker y Bill Cleveland entre otros, en los Bell Labs [Trellis-Graphics]. Esta idea se ha extendido a varios sistemas gráficos modernos, como son los paquetes lattice [lattice] y ggplot2 de R y los módulos seaborn [seaborn] y Bokeh [bokeh] de Python. Las variables condicionantes también son parte integral de las plataformas de inteligencia empresarial como Tableau y Spotfire. Con la llegada de equipos con una gran potencia informática, las plataformas de visualización modernas han ido mucho más allá de lo que fueron los humildes comienzos del análisis exploratorio de datos. Sin embargo, los conceptos y herramientas clave desarrolladas hace medio siglo (por ejemplo, los sencillos diagramas de caja) todavía constituyen la base de estos sistemas.
Ideas clave
• La agrupación hexagonal y los gráficos de contorno son herramientas útiles que permiten el examen gráfico de dos variables numéricas a la vez, sin que nos abrumen las grandes cantidades de datos.
• Las tablas de contingencia son la herramienta estándar para observar los recuentos de dos variables categóricas.
• Los diagramas de caja y los diagramas de violín nos permiten representar una variable numérica frente a una variable categórica.
Lecturas complementarias
• Modern Data Science with R de Benjamin Baumer, Daniel Kaplan y Nicholas Horton (Chapman & Hall/CRC Press, 2017) tiene una excelente presentación: "a grammar for graphics" (las "gg" de ggplot).
• ggplot2: Elegant Graphics for Data Analysis de Hadley Wickham (Springer, 2009) es un excelente recurso del creador de ggplot2.
• Josef Fruehwald tiene un tutorial web sobre ggplot2 (https://www.ling.upenn.edu/~joseff/avml2012/).
Resumen
El análisis exploratorio de datos (Exploratory Data Analysis [EDA]), iniciado por John Tukey, sentó las bases para desarrollar el campo de la ciencia de datos. La idea clave de EDA es que el primer paso y el más importante en cualquier proyecto basado en datos es la observación de los datos (look at the data). Al resumir y visualizar los datos, podemos desarrollar una valiosa intuición y conseguir comprender los proyectos.
Este capítulo ha revisado conceptos que van desde métricas sencillas, como son las estimaciones de localización y variabilidad, hasta completas presentaciones visuales que exploran las relaciones entre múltiples variables, como se muestra en la figura 1.12. El variado conjunto de herramientas y técnicas que está desarrollando la comunidad de código abierto, combinado con la expresividad de los lenguajes R y Python, han creado una gran cantidad de formas de explorar y analizar datos. El análisis exploratorio debería ser la piedra angular de cualquier proyecto de ciencia de datos.
CAPÍTULO 2
Distribuciones de datos y muestreo
Un error muy extendido sostiene que la era de los macrodatos (big data) va a suponer el fin de la necesidad de hacer muestreos. De hecho, la proliferación de datos de diferente calidad y relevancia refuerza la necesidad del muestreo como herramienta para trabajar de manera eficiente con una serie de datos y minimizar el sesgo. Incluso en un proyecto de big data, los modelos predictivos generalmente se desarrollan y se ponen a prueba mediante muestras. Las muestras también se utilizan en pruebas de diferentes tipos (por ejemplo, comparar el efecto de los diseños de páginas web en el número de clics).
La figura 2.1 muestra un esquema que fundamenta los conceptos que discutiremos en este capítulo: distribuciones de datos y muestreo. El lado izquierdo representa una población que, en estadística, se supone que sigue una distribución subyacente pero desconocida (unknown). Lo único de lo que disponemos son los datos de la muestra (sample) y su distribución empírica, que aparecen en el lado derecho. Para pasar del lado izquierdo al lado derecho, se utiliza un procedimiento de muestreo (sampling) (representado por una flecha). La estadística tradicional se ha centrado principalmente en el lado izquierdo, utilizando teorías basadas en supuestos sólidos sobre la población. La estadística moderna se ha movido hacia el lado derecho, donde tales suposiciones no son necesarias.
En general, los científicos de datos no deben preocuparse por la naturaleza teórica del lado izquierdo y, en cambio, deben centrarse en los procedimientos de muestreo y los datos disponibles. Hay algunas excepciones notables. A veces, los datos se generan a partir de un proceso físico que se puede modelar. El ejemplo más sencillo es el de lanzar una moneda: sigue una distribución binomial. Se puede elaborar eficazmente un modelo de cualquier situación de la vida real que siga una distribución binomial (comprar o no comprar, que haya fraude o no, hacer clic o no hacer clic) con una moneda (con la probabilidad modificada para que salga cara, por supuesto). En estos casos, podemos obtener información adicional utilizando nuestro conocimiento de la población.
Figura 2.1 La población frente a la muestra.
Muestreo aleatorio y sesgo de la muestra
Una muestra (sample) es un subconjunto de datos de un conjunto más grande. Los estadísticos llaman población (population) a este conjunto de datos más grande. Una población en estadística no es lo mismo que en biología: es un conjunto de datos grande y definido (pero a veces teórico o imaginario).
El muestreo aleatorio (random sampling) es un proceso en el que cada miembro disponible de la población que se muestrea tiene la misma probabilidad de ser elegido para la muestra en cada extracción. La muestra resultante se denomina muestra aleatoria simple (simple random sample). El muestreo se puede hacer con reposición (with replacement), en el que las observaciones se vuelven a colocar en la población después de cada extracción para una posible futura nueva selección. O se puede hacer sin reposición (without replacement), en cuyo caso las observaciones, una vez seleccionadas, no están disponibles para futuras extracciones.
La calidad de los datos a menudo es más importante que la cantidad cuando se hace una estimación o se elabora un modelo basado en una muestra. La calidad de los datos en la ciencia de datos implica integridad, coherencia del formato, limpieza y precisión de los puntos de datos individuales. La estadística incorpora la noción de representatividad (representativeness).
Términos clave del muestreo aleatorio
Muestra
Subconjunto de un conjunto de datos más grande.
Población
El conjunto de datos más grande o la idea de un conjunto de datos.
N (n)
Tamaño de la población (muestra).
Muestreo aleatorio
Extracción de elementos de una muestra al azar.
Muestreo estratificado
División de la población en estratos y muestreo aleatorio de cada estrato.
Estrato (pl., estratos)
Subgrupo homogéneo de una población con características comunes.
Muestra aleatoria simple
Muestra que resulta de un muestreo aleatorio de una población sin estratificar.
Sesgo
Error sistemático.
Sesgo de la muestra
Muestra que describe erróneamente a la población.
El ejemplo clásico es la encuesta del Literary Digest de 1936 que predijo una victoria de Alf Landon sobre Franklin Roosevelt. El Literary Digest, uno de los principales diarios, encuestó a sus suscriptores además de hacerlo a los individuos que figuraban en otras listas, llegando a un total de más de 10 millones de personas, y predijo una victoria aplastante de Landon. George Gallup, fundador de Gallup Poll, realizó encuestas quincenales a solo 2000 personas y predijo acertadamente una victoria de Roosevelt. La diferencia radica en la selección de los encuestados.
Literary Digest apostó por la cantidad, prestando poca atención al método de selección. Terminaron encuestando a personas con un estatus socioeconómico relativamente alto (sus propios suscriptores, más aquellos que, en virtud de poseer lo que se consideraban lujos como eran los teléfonos y automóviles, aparecían en las listas de los especialistas en marketing). El resultado fue el sesgo de la muestra (sample bias), es decir, la muestra era, de manera significativa y no aleatoria, diferente de la población más grande a la que se pretendía representar. El término no aleatorio (nonrandom) es importante: casi ninguna muestra, incluidas las aleatorias, será exactamente representativa de la población. El sesgo ocurre cuando la diferencia es significativa y se puede esperar que continúe para otras muestras extraídas del mismo modo que la primera.
Sesgo del muestreo de autoselección
Las reseñas de restaurantes, hoteles, cafés, etc., que leemos en sitios de redes sociales, como Yelp, son propensas a estar sesgadas porque las personas que las envían no se seleccionan al azar, más bien, ellos mismos han tomado la iniciativa de escribir. Esto conduce a un sesgo de autoselección: las personas motivadas para escribir reseñas pueden haber tenido malas experiencias, pueden estar asociadas con el establecimiento o simplemente pueden ser un tipo de persona diferente de las que no escriben reseñas. Hay que tener en cuenta que, si bien las muestras de autoselección pueden ser indicadores poco confiables del verdadero estado de las cosas, pueden ser más confiables simplemente comparando un establecimiento con otro similar, el mismo sesgo de autoselección podría aplicarse a cada uno de ellos.
Sesgo
El sesgo estadístico se refiere a errores de medición o muestreo que son sistemáticos y se producen por el proceso de medición o muestreo. Debe hacerse una distinción importante entre los errores debidos al azar y los errores debidos al sesgo. Consideremos el proceso físico de un arma que disparamos a un objetivo. No golpeará en pleno centro del objetivo todo el tiempo, ni siquiera mucho tiempo. Un proceso no sesgado puede producir un error, pero es aleatorio y no tiende claramente a producirse en ninguna dirección (ver la figura 2.2). Los resultados que se muestran en la figura 2.3 muestran un proceso sesgado: a pesar de que hay un error aleatorio en las direcciones x e y, también hay un sesgo. Los disparos tienden a impactar en el cuadrante superior derecho.
Figura 2.2 Diagrama de dispersión de los disparos de un arma con puntería no sesgada.
Figura 2.3 Diagrama de dispersión de los disparos de un arma con puntería sesgada.
El sesgo se presenta en diferentes formas y puede ser observable o no. Cuando un resultado sugiere sesgo (por ejemplo, en referencia a un parámetro o a valores reales), a menudo es un indicador de que se ha especificado incorrectamente un modelo estadístico o de aprendizaje automático, o que se ha omitido una variable importante.
Selección aleatoria
Para evitar el problema del sesgo de la muestra que llevó al Literary Digest a pronosticar la victoria de Landon sobre Roosevelt, George Gallup (que aparece en la figura 2.4) optó por elegir métodos con una base más científica para lograr una muestra que fuera representativa del electorado votante de EE. UU. En la actualidad existen diversos métodos para lograr la representatividad, pero en el centro de todos ellos se encuentra el muestreo aleatorio (random sampling).
Figura 2.4 George Gallup, catapultado a la fama por el fracaso de los "macrodatos (big data)" del Literary Digest.
El muestreo aleatorio no siempre es fácil. La definición adecuada de una población accesible es clave. Supongamos que queremos generar un perfil representativo de los clientes y necesitamos realizar una encuesta piloto a los mismos. La encuesta debe ser representativa, pero es muy laboriosa.
En primer lugar, necesitamos definir quién es el cliente. Podríamos seleccionar todos los registros de clientes donde el importe de la compra > 0. ¿Incluimos a los clientes antiguos? ¿Incluimos las devoluciones? ¿Las compras de prueba internas? ¿Revendedores? ¿Agentes de facturación que son clientes?
A continuación, necesitamos especificar un procedimiento de muestreo. Podría ser "seleccionar 100 clientes al azar". Cuando se trata de una muestra de flujo (por ejemplo, transacciones de clientes en tiempo real o visitantes de la web), las consideraciones de tiempo pueden ser importantes (por ejemplo, un visitante de la web a las 10 p.m. durante un fin de semana).
En el muestreo estratificado (stratified sampling), la población se divide en estratos (strata) y se toman muestras aleatorias de cada estrato. Los encuestadores políticos pueden buscar conocer las preferencias electorales de blancos, negros e hispanos. Una muestra aleatoria simple tomada de la población seleccionaría a muy pocos negros e hispanos, por lo que esos estratos podrían sobreponderarse en el muestreo estratificado para generar tamaños de muestra equivalentes.
Tamaño frente a calidad: ¿cuándo importa el tamaño?
En la era del big data, a veces resulta sorprendente que cuanto más pequeño, mejor. El tiempo y el esfuerzo dedicados al muestreo aleatorio no solo reducen el sesgo, sino que también permite una mayor atención a la exploración y calidad de los datos. Por ejemplo, los datos que faltan y los valores atípicos pueden contener información útil. Puede resultar prohibitivamente caro rastrear valores perdidos o evaluar valores atípicos en millones de registros, pero hacerlo en una muestra de varios miles de registros puede ser factible. El trazado de datos y la inspección manual se atascan si hay demasiados datos.
Entonces, ¿cuándo son (are) necesarias grandes cantidades de datos?
El escenario clásico para la estimación de big data es cuando la cantidad de datos no solo es grande sino que también los datos son escasos. Consideremos las consultas de búsqueda recibidas por Google, donde las columnas son términos, las filas son consultas de búsqueda individuales y los valores de las celdas son 0 o 1 dependiendo de si una consulta contiene un término. El objetivo es determinar el mejor destino de búsqueda previsto para una consulta determinada. Hay más de 150 000 palabras en inglés y Google procesa más de un billón de consultas al año. Esto produce una matriz enorme, la gran mayoría de cuyas entradas son "0".
Este es un verdadero problema de big data: solo cuando se acumulan cantidades tan enormes de datos, se pueden obtener resultados de búsqueda efectivos para la mayoría de las consultas. Y cuantos más datos se acumulen, mejores serán los resultados. Para los términos de búsqueda populares, esto no es un problema: se pueden encontrar datos efectivos con bastante rapidez para un puñado de temas extremadamente populares que son tendencia en un momento particular. El valor real de la moderna tecnología de búsqueda radica en la capacidad de responder con resultados detallados y útiles para una gran variedad de consultas de búsqueda, incluidas aquellas que ocurren con una frecuencia, digamos, de solo una en un millón.
Consideremos la búsqueda de la frase "Ricky Ricardo y Caperucita Roja". En los primeros días de Internet, esta consulta probablemente habría arrojado resultados sobre el líder de la banda Ricky Ricardo, el programa de televisión I Love Lucy en el que apareció ese personaje y el cuento infantil Caperucita roja (Little Red Riding Hood). Ambos elementos, de forma individual, habrían tenido muchos registros refiriéndose a ellos, pero la combinación habría tenido muy pocos. Posteriormente, ahora que se han acumulado billones de consultas de búsqueda, esta consulta devuelve el episodio exacto de I Love Lucy en el que Ricky narra, de manera dramática, la historia de Caperucita Roja a su hijo pequeño en una mezcla cómica de inglés y español.
Hay que tener en cuenta que la cantidad de registros pertinentes (pertinent) reales, aquellos en los que aparece esta consulta de búsqueda exacta, o algo muy similar, (junto con la información sobre el enlace en el que los usuarios finalmente hicieron clic), puede ser que solo necesiten ser miles para ser efectivos. Sin embargo, se necesitan muchos billones de puntos de datos para obtener los registros pertinentes (y el muestreo aleatorio, por supuesto, no ayudará). Consultar también "Distribuciones de cola larga" en la página 73.
Media muestral frente a media poblacional
El símbolo x (pronunciado "barra x") se usa para representar la media de la muestra de una población, mientras que μ; se usa para representar la media de una población. ¿Por qué hacer esta distinción? Se observa la información sobre las muestras y a menudo se infiere la información sobre poblaciones grandes a partir de muestras más pequeñas. A los estadísticos les gusta mantener las dos cosas separadas en lo que se refiere a la simbología.
Ideas clave
• Incluso en la era de los macrodatos (big data), el muestreo aleatorio sigue siendo una flecha importante en el carcaj del científico de datos.
• El sesgo ocurre cuando las mediciones u observaciones son erróneas de forma sistemática porque no son representativas de la población completa.
• La calidad de los datos suele ser más importante que la cantidad de los mismos, y el muestreo aleatorio puede reducir el sesgo y facilitar la mejora de la calidad que, de otro modo, sería prohibitivamente costoso.
Lecturas complementarias
• Se puede encontrar una revisión recomendable de los procedimientos de muestreo en el capítulo de Ronald Fricker "Sampling Methods for Online Surveys" en The SAGE Handbook of Online Research Methods, 2.a ed., editado por Nigel G. Fielding, Raymond M. Lee y Grant Blank (Publicaciones SAGE, 2016). Este capítulo incluye una revisión de las modificaciones al muestreo aleatorio que se utilizan a menudo por razones prácticas de coste o viabilidad.
La historia del fracaso de la encuesta de Literary Digest se puede encontrar en el sitio web de Capital Century (http://www.capitalcentury.com/1935.html).
Sesgo de selección
Parafraseando a Yogi Berra: si no sabemos lo que estamos buscando, busquemos lo suficiente y lo encontraremos.
El sesgo de selección se refiere a la práctica de elegir datos de forma selectiva, consciente o inconscientemente, de manera que lleve a una conclusión engañosa o pasajera.
Términos clave del sesgo de selección
Sesgo de selección
Sesgo resultante de la forma en que se seleccionan las observaciones.
Búsqueda de datos
Amplia búsqueda de datos en busca de algo interesante.
Efecto de búsqueda masiva
Sesgo o no reproducibilidad resultante del modelado de datos repetidos, o del modelado de datos con un gran número de variables predictoras.
Si especificamos una hipótesis y realizamos un experimento bien diseñado para probarla, podemos tener una gran confianza en la conclusión. Sin embargo, esto no suele ser lo que ocurre. A menudo, uno mira los datos disponibles y trata de discernir patrones. Pero ¿son reales los patrones? ¿O son simplemente el producto de la búsqueda de datos (data snooping), es decir, una búsqueda exhaustiva de los datos hasta que surge algo interesante? Hay un dicho entre los estadísticos: "Si torturas los datos el tiempo suficiente, tarde o temprano confesarán".
La diferencia entre un fenómeno que verificamos cuando probamos una hipótesis mediante un experimento y un fenómeno que descubrimos al examinar los datos disponibles se puede aclarar con el siguiente experimento mental.
Imaginemos que alguien nos dice que podemos lanzar una moneda y hacer que salga cara en 10 lanzamientos consecutivos. Nosotros lo desafiamos (el equivalente a un experimento) y esta persona procede a lanzar la moneda 10 veces, y todos los lanzamientos salen cara. Claramente, a este individuo le atribuimos un talento especial: la probabilidad de que 10 lanzamientos de moneda arrojen cara por casualidad es de 1 entre 1000.
Ahora imaginemos que el locutor de un estadio deportivo pide a las 20 000 personas presentes que lancen una moneda 10 veces y que informen a un acomodador si obtienen 10 caras seguidas. La probabilidad de que alguien (somebody) en el estadio obtenga 10 caras es extremadamente alta (más del 99%; es 1 menos la probabilidad de que nadie obtenga 10 caras).
Claramente, seleccionar después del hecho a la persona (o personas) que obtienen 10 caras en el estadio no indica que tengan ningún talento especial, lo más probable es que sea suerte.
Dado que la revisión repetida de grandes conjuntos de datos es una propuesta de valor clave en la ciencia de datos, el sesgo de selección es algo de lo que hay que preocuparse. Una forma de sesgo de selección que preocupa especialmente a los científicos de datos es lo que John Elder (fundador de Elder Research, una respetada consultora de minería de datos) llama el efecto de búsqueda masiva (vast search effect). Si ejecutamos repetidamente diferentes modelos y hacemos diferentes preguntas con un gran conjunto de datos, seguramente encontraremos algo interesante. Pero ¿el resultado que hallamos es realmente algo interesante, o es algo casual que se sale de lo normal?
Podemos protegernos de esta posibilidad mediante el uso de un conjunto de reserva y, a veces, de más de un conjunto de reserva, contra el cual validar el resultado. Elder también aboga por el uso de lo que él llama mezcla de objetivos (target shuffling) (esencialmente una prueba de permutación) para probar la validez de las asociaciones predictivas que sugiere un modelo de minería de datos.
Las formas típicas del sesgo de selección estadístico, además del efecto de búsqueda masiva, incluyen muestreo no aleatorio (consultar “Muestreo aleatorio y sesgo de la muestra” en la página 48), selección de datos, selección de intervalos de tiempo que acentúan un efecto estadístico particular y la detención de un experimento cuando los resultados parecen "interesantes".
Regresión a la media
La regresión a la media (regression to the mean) se refiere a un fenómeno que involucra mediciones sucesivas de una variable dada: las observaciones extremas tienden a ser seguidas por otras más centrales. Dar un enfoque y un significado especiales a los valores extremos puede conducir a una forma de sesgo de selección.
Los fanáticos de los deportes están familiarizados con el fenómeno del “novato del año, caída en el segundo año”. Entre los atletas que comienzan su carrera en una temporada determinada (la clase de los novatos), siempre hay uno que se desenvuelve mejor que el resto. Generalmente, este "novato del año" no lo hace tan bien en su segundo año. ¿Por qué no?
En casi todos los deportes importantes, al menos en los que se juegan con pelota o disco, hay dos elementos que influyen en el rendimiento general:
• Habilidad
• Suerte
La regresión a la media es consecuencia de una forma particular de sesgo de selección. Cuando seleccionamos al novato con la mejor actuación, es probable que la habilidad y la buena suerte contribuyan. En su siguiente temporada, la habilidad seguirá ahí, pero muy a menudo la suerte no estará, por lo que su rendimiento disminuirá, retrocederá. El fenómeno lo identificó por primera vez Francis Galton en 1886 [Galton, 1886], quien escribió sobre él en relación con las tendencias genéticas. Por ejemplo, los hijos de hombres extremadamente altos tienden a no ser tan altos como sus padres (ver figura 2.5).
Figura 2.5 Estudio de Galton que identificó el fenómeno de regresión a la media.
La regresión a la media, que significa “volver”, es distinta del método de modelado estadístico de regresión lineal, en el que se estima una relación lineal entre las variables predictoras y la variable de resultado.
Ideas clave
• Especificar una hipótesis y luego recopilar datos siguiendo los principios de aleatorización y muestreo aleatorio asegura que no haya sesgos.
• Todas las demás formas de análisis de datos corren el riesgo de introducir sesgo resultante del proceso de recopilación/análisis de datos (ejecución repetida de modelos en la minería de datos, espionaje de datos en la investigación y selección posterior a los hechos de eventos interesantes).
Lecturas complementarias
• El artículo de Christopher J. Pannucci y Edwin G. Wilkins ("Identifying and Avoiding Bias in Research") en (sorprendentemente no es una revista de estadística) Plastic and Reconstructive Surgery (agosto de 2010) contiene una excelente revisión de varios tipos de sesgos que pueden producirse en la investigación, incluido el sesgo de selección.
• El artículo de Michael Harris ("Fooled by Randomness Through Selection Bias") proporciona una revisión interesante de las consideraciones del sesgo de selección en los esquemas de negociación del mercado de valores, desde la perspectiva de los operadores.
Distribución muestral del estadístico
El término distribución muestral (sampling distribution) de un estadístico se refiere a la distribución del estadístico de una muestra sobre muchas muestras extraídas de la misma población. Gran parte de la estadística clásica se ocupa de hacer inferencias de muestras (pequeñas) a poblaciones (muy grandes).
Términos clave de la distribución muestral
Estadístico muestral
Métrica calculada para una muestra de datos extraída de una población más grande.
Distribución de datos
Distribución de la frecuencia de valores individuales en un conjunto de datos.
Distribución muestral
Distribución de la frecuencia de un estadístico muestral (sample statistic) en muchas muestras o muestras repetidas.
Teorema del límite central
Tendencia de la distribución muestral a adoptar una forma normal a medida que aumenta el tamaño de la muestra.
Error estándar
La variabilidad (desviación estándar) del estadístico (statistic) muestral de una muestra en muchas muestras (no debe confundirse con la desviación estándar (standard deviation), que por sí misma se refiere a la variabilidad de los valores de los datos individuales).
Normalmente, una muestra se extrae con el objetivo de medir algo (con el estadístico muestral [sample statistic]) o modelar algo (con un modelo estadístico o de aprendizaje automático). Dado que nuestra estimación o modelo se basa en una muestra, podría dar lugar a error. Sería diferente si tuviéramos que extraer una muestra diferente. Por lo tanto, estamos interesados en cuánto de diferente podría ser: una preocupación clave es la variabilidad muestral (sampling variability). Si tuviéramos muchos datos, podríamos extraer muestras adicionales y observar la distribución del estadístico muestral directamente.
Por lo general, calcularemos la estimación o el modelo utilizando todos los datos que estén fácilmente disponibles, por lo que la extracción de muestras adicionales de la población no será una opción fácilmente realizable.
Es importante distinguir entre la distribución de los puntos de datos individuales, conocida como distribución de datos (data distribution), y la distribución de un estadístico muestral, conocida como distribución muestral (sampling distribution).
Es probable que la distribución de un estadístico muestral, como la media, sea más regular y adopte la forma de campana que la distribución de los datos en sí. Cuanto mayor sea la muestra en la que se fundamenta el estadístico, más cierta es esta afirmación. Además, cuanto mayor sea la muestra, más estrecha será la distribución del estadístico muestral.
Esto se ilustra en un ejemplo en el que se utilizan los ingresos anuales de los solicitantes de préstamos para LendingClub (consultar "Un pequeño ejemplo: pronóstico del incumplimiento de préstamos" en la página 239 para obtener una descripción de los datos). Tomemos tres muestras de estos datos: una muestra de 1000 valores, una muestra de 1000 medias de 5 valores y una muestra de 1000 medias de 20 valores. A continuación, representamos un histograma de cada muestra para generar la figura 2.6.
Figura 2.6 Histograma de ingresos anuales de 1000 solicitantes de préstamos (arriba); a continuación, 1000 medias para n = 5 solicitantes (centro), y, finalmente, 1000 medias para n = 20 solicitantes (abajo).
El histograma de los valores de los datos individuales está ampliamente distribuido y sesgado hacia valores más altos, como es de esperar con los datos de ingresos. Los histogramas de las medias de 5 y 20 son cada vez más compactos y tienen la forma de campana. A continuación, se detalla el código de R para generar estos histogramas, usando el paquete de visualización ggplot2:
El código de Python utiliza FacetGrid de seaborn para mostrar los tres histogramas:
Teorema del límite central
El fenómeno que acabamos de describir se denomina teorema del límite central (central limit theorem). Asegura que las medias extraídas de varias muestras se asemejarán a la conocida curva normal en forma de campana (consultar "Distribución normal" en la página 69), incluso si la población de origen no se distribuye normalmente, siempre que el tamaño de la muestra sea lo bastante grande y la desviación de los datos de lo habitual no sea demasiado grande. El teorema del límite central permite utilizar fórmulas de aproximación normal, como la distribución t, para calcular distribuciones muestrales con las que realizar inferencias, es decir, intervalos de confianza y pruebas de hipótesis.
Al teorema del límite central se le presta mucha atención en los textos de estadística tradicionales porque subyace en la maquinaria de las pruebas de hipótesis y los intervalos de confianza, que en sí mismos ocupan la mitad del espacio en dichos textos. Los científicos de datos deben ser conscientes de este papel. Sin embargo, dado que las pruebas de hipótesis formales y los intervalos de confianza juegan un papel marginal en la ciencia de datos y está disponible en cualquier caso el bootstrap (ver "Bootstrap" en la página 61), el teorema del límite central no es tan central en la práctica de la ciencia de datos.
Error estándar
El error estándar (standard error) es una métrica única que resume la variabilidad de la distribución muestral de un estadístico. El error estándar se puede estimar utilizando un estadístico basado en la desviación estándar s de los valores de la muestra y el tamaño n de la muestra:
A medida que aumenta el tamaño de la muestra, el error estándar disminuye, lo que corresponde a lo observado en la figura 2.6. La relación entre el error estándar y el tamaño de la muestra a veces se denomina regla de la raíz cuadrada de n (square root of n): para reducir el error estándar en un factor de 2, el tamaño de la muestra debe aumentarse en un factor de 4.
La validez de la fórmula del error estándar surge del teorema del límite central. En realidad, no es necesario contar con el teorema del límite central para comprender el error estándar. Consideremos el siguiente enfoque para medir el error estándar:
1. Recolectamos varias muestras nuevas de la población.
2. Para cada nueva muestra, calculamos el estadístico (por ejemplo, la media).
3. Calculamos la desviación estándar de las medidas calculadas en el paso 2. Utilizamos este valor como la estimación del error estándar.
En la práctica, este enfoque de recolectar nuevas muestras para estimar el error estándar generalmente no es factible (y estadísticamente es un desperdicio). Afortunadamente, resulta que no es necesario extraer muestras nuevas. En su lugar, podemos usar muestras repetidas de bootstrap. En la estadística moderna, el método bootstrap se ha convertido en la forma estándar de estimar el error estándar. Se puede utilizar para prácticamente cualquier estadístico y no se basa en el teorema del límite central ni en otros supuestos distributivos.
Desviación estándar versus error estándar
No hay que confundir la desviación estándar (que mide la variabilidad de puntos de datos individuales) con el error estándar (que mide la variabilidad de una métrica de la muestra).
Ideas clave
• La distribución de frecuencia de un estadístico muestral nos dice cómo esa métrica resultaría diferente de una muestra a otra.
• Esta distribución muestral se puede estimar mediante bootstrap o mediante fórmulas que se basan en el teorema del límite central.
• Una métrica clave que resume la variabilidad de un estadístico muestral es su error estándar.
Lecturas complementarias
El recurso multimedia en línea sobre estadística de David Lane (https://onlinestatbook.com/stat_sim/sampling_dist/) presenta una simulación muy útil que nos permite seleccionar una medida de la muestra, el tamaño de la muestra y el número de iteraciones y visualizar un histograma de la distribución de frecuencia resultante.
Bootstrap
Una manera sencilla y efectiva de estimar la distribución muestral de un estadístico, o de los parámetros del modelo, es extraer muestras adicionales, con reposición, de la misma muestra y volver a calcular el estadístico o modelo para cada muestra repetida. Este procedimiento se denomina bootstrap y no implica necesariamente ninguna suposición de que los datos o el estadístico muestral sigan una distribución normal.
Términos clave de bootstrap
Muestra de bootstrap
Muestra tomada con reposición de un conjunto de datos observados.
Remuestreo
Proceso de extraer muestras repetidas de datos observados. Incluye procedimientos tanto de bootstrap como de permutación (mezcla).
Conceptualmente, podemos imaginar que el método bootstrap replica la muestra original miles o millones de veces, de modo que tengamos una hipotética población que incorpore todo el conocimiento de nuestra muestra original (solo es más grande). A continuación, podemos extraer muestras de esta población hipotética con el fin de estimar una distribución muestral. Ver la figura 2.7.
Figura 2.7 Idea del método bootstrap.
En la práctica, no es necesario replicar la muestra una gran cantidad de veces. Simplemente reemplazamos cada observación después de cada extracción, es decir, extraemos muestras con reposición (sample with replacement). De esta manera, creamos efectivamente una población infinita en la que la probabilidad de que se extraiga un elemento permanece sin cambios de una extracción a otra. El algoritmo para el remuestreo bootstrap de la media, para una muestra de tamaño n, es el siguiente:
1. Extraemos un valor de la muestra, lo registramos y luego lo devolvemos a la muestra.
2. Lo repetimos n veces.
3. Registramos la media de los n valores muestreados repetidamente.
4. Repetimos los pasos del 1 al 3 R veces.
5. Utilizamos los resultados de R para:
a. Calcular su desviación estándar (esta estimación evalúa el error estándar medio de la muestra).
b. Generar un histograma o un diagrama de caja.
c. Encontrar el intervalo de confianza.
R, el número de iteraciones de bootstrap, se establece de forma un tanto arbitraria. Cuantas más iteraciones hagamos, más precisa será la estimación del error estándar o del intervalo de confianza. El resultado de este procedimiento es un conjunto inicial de medidas de la muestra o de parámetros estimados del modelo, que luego podemos examinar para ver cuál es su variabilidad.
El paquete boot de R combina estos pasos en una función. Por ejemplo, lo que sigue aplica el método bootstrap a los ingresos de los clientes que solicitan préstamos:
La función stat_fun calcula la mediana para una muestra dada especificada por el índice idx. El resultado es el siguiente:
La estimación original de la mediana es de 62 000 $. La distribución bootstrap indica que la estimación tiene un sesgo de aproximadamente -70 $ y un error estándar de 209 $. Los resultados variarán ligeramente entre ejecuciones consecutivas del algoritmo.
Los paquetes de Python más importantes no proporcionan implementaciones de la opción bootstrap. Se puede implementar usando el método resample de scikit-learn:
El método bootstrap se puede utilizar con datos multivariables donde las filas se muestrean como unidades (ver la figura 2.8). A continuación, se podría ejecutar un modelo sobre los datos después del bootstrap, por ejemplo, para hacer una estimación de la estabilidad (variabilidad) de los parámetros del modelo o para mejorar la capacidad de pronóstico. Con los árboles de clasificación y regresión (también llamados árboles de decisión [decision trees]), ejecutar varios árboles en muestras bootstrap y luego promediar sus pronósticos (o, con la clasificación, tomar un voto mayoritario) generalmente funciona mejor que usar un solo árbol. A este proceso se le denomina bagging (acrónimo de "bootstrap aggregating"). (Consultar "Métodos de bagging y bosque aleatorio" en la página 259.)
Figura 2.8 Muestreo bootstrap multivariable.
El nuevo remuestreo de bootstrap es conceptualmente simple, y Julian Simon, economista y demógrafo, publicó un compendio de ejemplos de remuestreo, incluido el método bootstrap, en su texto de 1969 Basic Research Methods in Social Science (Random House). Sin embargo, también require muchos recursos de cálculo y no era una opción factible antes de que la disponibilidad de la potencia de cálculo necesaria fuera una realidad. La técnica se ganó su nombre y despegó tras la publicación de varios artículos en revistas y de un libro del estadístico de Stanford Bradley Efron a finales de la década de 1970 y principios de la de 1980. Fue particularmente popular entre los investigadores que utilizan la estadística, pero no son estadísticos, así como para su utilización con métricas o modelos en los que no se dispone fácilmente de aproximaciones matemáticas. La distribución muestral de la media está sólidamente establecida desde 1908. No ocurre lo mismo con la distribución muestral de muchas otras métricas. El método bootstrap se puede utilizar para determinar el tamaño de la muestra. Podemos experimentar con diferentes valores de n para ver cómo se ve afectada la distribución muestral.
El método bootstrap fue recibido con considerable escepticismo cuando se introdujo por primera vez. Tenía el aura para muchos de convertir la paja en oro. Este escepticismo se debió a no haber entendido bien el propósito de bootstrap.
La utilización del método bootstrap no compensa para muestras de pequeño tamaño, no crea nuevos datos ni rellena huecos en un conjunto de datos existente. Simplemente nos informa sobre cómo se comportarían muchas muestras adicionales cuando se extrajeran de una población como nuestra muestra original.
Remuestreo frente a bootstrapping
A veces, el término remuestreo (resampling) se usa como sinónimo del término bootstrapping, como acabamos de describir. Más a menudo, el término remuestreo (resampling) también incluye procedimientos de permutación (consultar "Prueba de permutación" en la página 97), donde se combinan varias muestras y el muestreo se puede realizar sin reposición. En cualquier caso, el término bootstrap siempre implica un muestreo con reposición de un conjunto de datos observados.
Ideas clave
• El método bootstrap (muestreo con reposición de un conjunto de datos) es una potente herramienta para evaluar la variabilidad del estadístico de una muestra.
• Bootstrap se puede aplicar de manera similar en una amplia variedad de circunstancias, sin tener que realizar un estudio exhaustivo de aproximaciones matemáticas a las distribuciones muestrales.
• También nos permite estimar distribuciones muestrales para estadísticos donde no se ha desarrollado una aproximación matemática.
• Cuando se aplica a modelos predictivos, la combinación de varios pronósticos de la muestra bootstrap (bagging) supera el uso de un solo modelo.
Lecturas complementarias
• An Introduction to the Bootstrap de Bradley Efron y Robert Tibshirani (Chapman & Hall, 1993) fue donde se trató el método bootstrap por primera vez con la extensión de un libro. Todavía interesa mucho.
• La retrospectiva sobre bootstrap en la edición de mayo de 2003 de Statistical Science (vol. 18, n.o 2) analiza (entre otros antecedentes, en "A Short Prehistory of the Bootstrap" de Peter Hall) la publicación inicial de Julian Simon sobre bootstrap de 1969.
• Consultar An Introduction to Statistical Learning de Gareth James, Daniela Witten, Trevor Hastie y Robert Tibshirani (Springer, 2013) donde aparecen secciones sobre bootstrap y, en particular, bagging.
Intervalos de confianza
Las tablas de frecuencias, los histogramas, los diagramas de caja y los errores estándar son formas de comprender el error potencial en la estimación de una muestra. Los intervalos de confianza son otra forma de hacerlo.
Términos clave de los intervalos de confianza
Nivel de confianza
Porcentaje de intervalos de confianza, creados de la misma manera a partir de la misma población, que se espera que contengan el estadístico de interés.
Puntos finales del intervalo
Partes superior e inferior del intervalo de confianza.
Existe una aversión natural a la incertidumbre. En general (y especialmente los expertos) dicen "no sé" con demasiada frecuencia. Los analistas y gerentes, aunque reconocen la incertidumbre, depositan una confianza excesiva en una estimación cuando se presenta en forma de un único número (una estimación puntual [point estimate]). Presentar una estimación no como un único número sino en forma de rango es una forma de contrarrestar esta tendencia. Los intervalos de confianza llevan a cabo esta labor siguiendo los principios de muestreo estadístico.
Los intervalos de confianza siempre tienen un nivel de cobertura, expresado en porcentaje (alto), digamos 90% o 95%. Una forma de pensar en un intervalo de confianza del 90% es la siguiente: es el intervalo que encierra el 90% de la parte central de la distribución de muestreo bootstrap del estadístico de una muestra (consultar "Bootstrap" en la página 61). De manera más general, un intervalo de confianza de x% en torno a la estimación de una muestra debería, en promedio, contener estimaciones de muestras similares el x% del tiempo (cuando se sigue un procedimiento de muestreo similar).
Dada una muestra de tamaño n, y el estadístico que nos interesa de la muestra, el algoritmo para un intervalo de confianza bootstrap es el siguiente:
1. Extraemos una muestra aleatoria de tamaño n con reposición de los datos (muestra repetida).
2. Registramos el estadístico que nos interesa para la muestra repetida.
3. Repetimos los pasos 1 y 2 muchas (R) veces.
4. Para un intervalo de confianza del x%, recortamos el [(100-x) / 2]% de los resultados de la muestra repetida R de cualquier extremo de la distribución.
5. Los puntos de corte son los puntos finales del intervalo de confianza bootstrap del x%.
La figura 2.9 muestra un intervalo de confianza del 90% para el ingreso anual medio de los solicitantes de préstamos, basado en una muestra de 20 para la cual la media ha sido de 55 734 $.
Figura 2.9 Intervalo de confianza bootstrap para los ingresos anuales de los solicitantes de préstamos, basado en una muestra de 20 solicitantes.
Bootstrap es una herramienta de carácter general que se puede utilizar para generar intervalos de confianza para la mayoría de los estadísticos o parámetros del modelo. Tanto los libros de texto como el software dedicados a la estadística, que hunde sus raíces en más de medio siglo de análisis estadístico en ausencia de ordenadores, también hacen referencia a los intervalos de confianza generados por fórmulas, especialmente la distribución t (consultar "Distribución t de Student" en la página 75).
Por supuesto, lo que realmente nos interesa cuando tenemos el resultado de una muestra es: "¿Cuál es la probabilidad de que el verdadero valor se encuentre dentro de un cierto intervalo?". Esta no es realmente la pregunta que responde el intervalo de confianza, pero termina siendo la forma en que la mayoría interpreta la respuesta.
La pregunta sobre probabilidad asociada con el intervalo de confianza comienza con la frase "Dado un procedimiento de muestreo y una población, ¿cuál es la probabilidad de que...?". Ir en la dirección opuesta, "Dado un resultado de la muestra, ¿cuál es la probabilidad de que (algo sea cierto sobre la población)?" implica cálculos más complejos e imponderables más profundos.
El porcentaje asociado con el intervalo de confianza se denomina nivel de confianza (level of confidence). Cuanto mayor sea el nivel de confianza, más amplio será el intervalo. Además, cuanto más pequeña es la muestra, más amplio es el intervalo (es decir, mayor es la incertidumbre). Ambos casos tienen sentido: cuanta más confianza deseemos tener y cuantos menos datos tengamos, más amplio debemos hacer el intervalo de confianza para estar lo suficientemente seguros de capturar el valor real.
Para un científico de datos, el intervalo de confianza es una herramienta que puede usarse para tener una idea de cómo podría variar el resultado de una muestra. Los científicos de datos no usarían esta información para publicar un artículo académico o enviar un resultado a una agencia reguladora (como lo haría un investigador), sino que lo más probable es que comuniquen el error potencial mediante una estimación y tal vez para saber si se necesita una muestra más grande.
Ideas clave
• Los intervalos de confianza son la forma típica de presentar la estimación del rango de un intervalo.
• Cuantos más datos tengamos, menos variable será la estimación de muestra.
• Cuanto menor sea el nivel de confianza que podamos tolerar, más estrecho será el intervalo de confianza.
• Bootstrap es una forma eficaz de crear intervalos de confianza.
Lecturas complementarias
• Para abordar un enfoque bootstrap de los intervalos de confianza, consultar Introductory Statistics and Analytics: A Resampling de Peter Bruce (Wiley, 2014) o Statistics: Unlocking the Power of Data, 2.a ed., de Robin Lock y otros cuatro miembros de la familia Lock (Wiley, 2016).
• Los ingenieros, que tienen la necesidad de comprender la precisión de sus mediciones, usan intervalos de confianza más que la mayoría de las otras especialidades, y Modern Engineering Statistics de Thomas Ryan (Wiley, 2007) analiza los intervalos de confianza. También revisa una herramienta que es igualmente útil y recibe menos atención: los intervalos de pronóstico (prediction intervals) (intervalos en torno a un valor único, en contraposición a la media u otro estadístico resumen).
Distribución normal
La distribución normal en forma de campana es icónica en la estadística tradicional1. El hecho de que las distribuciones de los estadísticos muestrales tengan a menudo una forma normal la ha convertido en una potente herramienta en el desarrollo de fórmulas matemáticas que se aproximen a esas distribuciones.
Términos clave de la distribución normal
Error
Diferencia entre un punto de datos y un valor pronosticado o promedio.
Estandarizar
Restamos la media y dividimos por la desviación estándar.
Puntuación z
Resultado de estandarizar un punto de datos individual.
Estándar normal
Distribución normal con la media = 0 y la desviación estándar = 1.
Diagrama QQ
Diagrama para visualizar lo cerca que está una distribución de una muestra de una distribución específica, por ejemplo, la distribución normal.
En una distribución normal (figura 2.10), el 68% de los datos se encuentra en una desviación estándar de la media y el 95% se halla dentro de dos desviaciones estándar.
Es un error frecuente pensar que la distribución normal se llama así porque la mayoría de los datos siguen una distribución normal, es decir, es lo normal. La mayoría de las variables utilizadas en un proyecto típico de ciencia de datos (de hecho, la mayoría de los datos sin procesar en su conjunto) no se distribuyen normalmente: consultar "Distribuciones de cola larga" en la página 73. La utilidad de la distribución normal se deriva del hecho que muchos estadísticos están distribuidos normalmente en su distribución muestral. Aun así, los supuestos de normalidad son generalmente el último recurso y se utilizan cuando no se dispone de distribuciones de probabilidad empírica o distribuciones bootstrap.
Figura 2.10 Curva normal.
La distribución normal también se conoce como distribución gaussiana en honor a Carl Friedrich Gauss, el prodigioso matemático alemán de finales del siglo XVIII y principios del XIX. Otro nombre que se utilizó anteriormente para la distribución normal fue la distribución de "error". Hablando en sentido estadístico, un error es la diferencia entre un valor real y una estimación estadística como la media de una muestra. Por ejemplo, la desviación estándar (consultar "Estimación de la variabilidad" en la página 13) se basa en los errores de la media de los datos. El desarrollo de Gauss de la distribución normal provino de su estudio de los errores de las mediciones astronómicas que se encontró que estaban distribuidas normalmente.
Бесплатный фрагмент закончился.
