Comments (7)
Es posible (y sencillo) utilizar un fichero a parte, pero no puedo asegurar que funcione en el modo cluster de Spark, ya que mi instalación es en modo standalone. Sin testearlo, prefiero poner constantes.
from starcraft-winner-prediction.
from starcraft-winner-prediction.
from starcraft-winner-prediction.
No he dicho que no se pueda, sólo que no puedo testearlo. Scala tiene capacidad para eso utilizando la clase ConfigFactory y leyendo directamente desde un archivo de configuración
a = 1
b = 2
pero como te digo, no puedo testear que funcione lo que Spark quiere que haga (asegurarme de que el cluster mande dicho fichero a los workers con un flag al mandar la app). Puedo hacerlo sin problemas, pero no podré asegurar que funcione.
from starcraft-winner-prediction.
from starcraft-winner-prediction.
Lo que quiero decir es que Scala ya tiene un modo de tener configuración a partir de fichero o de variables de entorno. Se utiliza una clase que ya tiene potencia para eso y es muy sencillo. El problema es con Spark.
En modo standalone, que es como lo tengo en mi equipo (sólo tengo una máquina), no hay ningún problema puesto que la única máquina que calcula es la master. Esta máquina tiene acceso al fichero de configuración sin problema.
En modo cluster, todos los archivos que haya que utilizar deben estar en el espacio HDFS del cluster Hadoop, para que cualquier worker del cluster pueda acceder a él. Con los datasets no hay problema puesto que lo normal es utilizar HDFS para albergarla. Pero un fichero de configuración es totalmente distinto: es algo que mandas desde tu máquina al cluster. Se puede o empaquetar en el .jar del programa (lo cual no tendría sentido, puesto que para re-empaquetar el jar, modifico las variables y compilo), o bien mandar el fichero al cluster y asegurarse de que lo manda a los workers. Si no se hace como se debe, el master verá esos ficheros, pero los workers no. En teoría es utilizando una flag de spark-submit
, pero como te digo, no puedo probar el modo cluster ahora mismo (no me da tiempo, básicamente), y no me gustaría subir código que no fuera directamente ejecutable en un cluster de Spark.
from starcraft-winner-prediction.
from starcraft-winner-prediction.
Related Issues (20)
- Compare models
- Añade al repo de proyectos libres HOT 1
- Errores de compilación HOT 1
- Hay un escudo nuevo HOT 1
- Corregir el resumen inglés HOT 2
- Expresar mejor el resumen HOT 3
- Sigo sin poder compilar HOT 1
- Errores también en la bibliografía HOT 1
- Extraer más conclusiones de los datos HOT 1
- Cuestiones a aclarar HOT 3
- Añadir datos de CV
- Revisar la introducción HOT 1
- Revisar los objetivos y moverlos al principio si se considera conveniente
- Sigue habiendo errores de compilación HOT 10
- Hay algún problema en los resultados HOT 5
- Después de instalar todo a la última versión...
- Errores al descargar el repo HOT 2
- Añadir referencia a la licencia en el código HOT 4
- Análisis Exploratorio de los datos HOT 3
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from starcraft-winner-prediction.