Construir un pipeline de limpieza de datos (tratamiento de nulos, feature engineering) about ds4a-team-62 HOT 1 CLOSED

En aa8f928 se realiza el tratamiento de los datos faltantes, se le genera el one-hot encoding para utilizar en todos los modelos, las acciones fueron:

• Datos faltantes:

  • Se identificaron 887 datos faltantes en ACSC, esta variable indica si el paciente se presenta como resultado de una condición de cuidado sensible (cronicidad). Para los 887 datos se imputó la categoría 3, cuyo propósito es indicar que el no es conocido este resultado y se tratará como una variable categórica.

  • Si esta variable resulta ser importante para la predicción, nos ayudará a revisitar e indica que los pacientes de los cuales no se conoce si llegaron por el tratamiento de una condición sensible tienen un desenlace de emergencia clínica peor.
    

  • De manera similar, para la variable Ethnicity se imputó el valor 5 a los datos faltantes, el cual corresponde a 'Unknown' en el diccionario faltante, lo cual tiene sentido con los pacientes que tienen datos faltantes.

  • Los demás datos faltantes (~24) fueron eliminados al no considerarse importantes vs el tamaño del dataset.

• Train test split:

  • Se crean dos conjuntos para los dos problemas, uno de regresión para Stay_length y otro de clasificación para la variable Admission_ALL. Se aseguró que ninguna de las dos variables estuviera incluida en los conjuntos de training, ya que no son conocidas a priori durante la llegada a Urgencias.
  • En 9c3848b Los datasets procesados quedan guardados en data/processed/stay para la variable Stay_length y en data/processed/admission para la variable Admission_ALL
  • La manera recomendada para leer los nuevos archivos es:

import pandas as pd
X_train = pd.read_pickle('data/processed/stay/X_train_stay.pickle')

from ds4a-team-62.