Eliminar números mágicos del código about starcraft-winner-prediction HOT 7 CLOSED

Es posible (y sencillo) utilizar un fichero a parte, pero no puedo asegurar que funcione en el modo cluster de Spark, ya que mi instalación es en modo standalone. Sin testearlo, prefiero poner constantes.

from starcraft-winner-prediction.

from starcraft-winner-prediction.

from starcraft-winner-prediction.

No he dicho que no se pueda, sólo que no puedo testearlo. Scala tiene capacidad para eso utilizando la clase ConfigFactory y leyendo directamente desde un archivo de configuración

a = 1
b = 2

pero como te digo, no puedo testear que funcione lo que Spark quiere que haga (asegurarme de que el cluster mande dicho fichero a los workers con un flag al mandar la app). Puedo hacerlo sin problemas, pero no podré asegurar que funcione.

from starcraft-winner-prediction.

from starcraft-winner-prediction.

Lo que quiero decir es que Scala ya tiene un modo de tener configuración a partir de fichero o de variables de entorno. Se utiliza una clase que ya tiene potencia para eso y es muy sencillo. El problema es con Spark.

En modo standalone, que es como lo tengo en mi equipo (sólo tengo una máquina), no hay ningún problema puesto que la única máquina que calcula es la master. Esta máquina tiene acceso al fichero de configuración sin problema.

En modo cluster, todos los archivos que haya que utilizar deben estar en el espacio HDFS del cluster Hadoop, para que cualquier worker del cluster pueda acceder a él. Con los datasets no hay problema puesto que lo normal es utilizar HDFS para albergarla. Pero un fichero de configuración es totalmente distinto: es algo que mandas desde tu máquina al cluster. Se puede o empaquetar en el .jar del programa (lo cual no tendría sentido, puesto que para re-empaquetar el jar, modifico las variables y compilo), o bien mandar el fichero al cluster y asegurarse de que lo manda a los workers. Si no se hace como se debe, el master verá esos ficheros, pero los workers no. En teoría es utilizando una flag de spark-submit, pero como te digo, no puedo probar el modo cluster ahora mismo (no me da tiempo, básicamente), y no me gustaría subir código que no fuera directamente ejecutable en un cluster de Spark.

from starcraft-winner-prediction.

from starcraft-winner-prediction.