Proyecto 3 de la materia Tópicos especiales en Telemática, realizar sobre la plataforma de DataBricks un analisis de texto con las siguientes características:
- Limpieza de datos.
- Creación de un índice invertido.
- Clusterización de noticias con base a una palabra relacionada.
Todo fue creado y probado en Databricks Community.
Esteban Echavarría Collazos - [email protected]
Esteban Perez Noreña - [email protected]
Diego Alejandro Cifuentes Garcia - [email protected]
NOTA: Se anexa el notebook de databricks, de esta forma si se desea probar es necesario unicamente importar este notebook en DataBricks y subir los datos en las rutas especificas indicadas en el notebook. Adicionalmente, existen 2 notebooks diferentes debido a que el algoritmo planteado para el clustering hace uso de las StopWords para mejorar la predicción del modelo.