29antonioac / starcraft-winner-prediction Goto Github PK

En realidad pueden estar antes o después de la introducción, incluso ser parte de la introducción. No puedes introducir el trabajo hecho si no has explicado antes cuales son los objetivos del trabajo. Con eso en mente, que se haga como se considere conveniente, pero no así.
También hay que reescribir totalmente la sección de objetivos, así que en cualquier caso se pueden hacer las dos cosas la la vez.

It needs Git LFS

Con motivación, objetivos, qué se quiere hacer, qué metodología se va a seguir, qué se ha hecho, qué resultados.

Sobre los comentarios de 9878dcc , diría que 75790c8 y cf897ec solventa las imprecisiones que tengo en el documento.

Pero sobre este comentario:

Si esto no lo has probado, tendrías que ponerlo en la sección de "Trabajo futuro". Una vez más, tienes que ser más preciso. "del 90%" no: el 89.33 +- lo que sea. "De unos 10 minutos" no: 567+-45 segundos. Usa la media si la reducción tiene una distribución central. Si no, tendrás que usar la mediana. "Casi 5 veces" ... lo mismo. Creo que coges la idea.

Los números que pongo en el documento son sólo números, no pertenecen a una distribución de muestras. Son datos extraídos de la evaluación en el conjunto de test, que sólo hay uno, por lo que no hay desviaciones que introducir. Eso sí, he quitado aproximaciones.

Por otro lado, comparar los clasificadores utilizando test estadísticos sería lo ideal, como me comentas. Pero sólo hay un conjunto de test. En su día lo particioné en 10, aplicando los clasificadores a todos ellos y realizando un test de Friedman (que daba diferencias significativas, claro) y tests de Wilcoxon por pares, con correción del pvalor. Todo salía con diferencias significativas. El problema es que al ser diferencias tan grandes, y los datos de test ser particiones de uno solo, los test ofrecen el mismo pvalor para cada par de algoritmos. Es lo que tiene que sean test no paramétricos: se basan en lo que un algoritmo "gana" a otro, si no los entiendo mal, pero no en las diferencias entre ellos. No sé si me explico, para muestra un botón:

1 0.6803105 0.6133100 0.5091893 0.8599648
2 0.6804424 0.6139455 0.5074906 0.8602846
3 0.6791467 0.6138727 0.5077060 0.8586502
4 0.6804994 0.6133295 0.5087861 0.8608731
5 0.6806674 0.6133569 0.5075626 0.8586803
6 0.6810279 0.6135939 0.5080227 0.8603354
7 0.6794146 0.6134329 0.5088066 0.8589983
8 0.6805204 0.6145692 0.5086243 0.8606223
9 0.6813313 0.6138825 0.5081464 0.8602373
10 0.6811481 0.6151123 0.5101456 0.8596424

Lo estoy haciendo por pares de columnas

[,1] [,2] [,3] [,4]
[1,] NaN 0.001953125 0.001953125 0.001953125
[2,] 0.001953125 NaN 0.001953125 0.001953125
[3,] 0.001953125 0.001953125 NaN 0.001953125
[4,] 0.001953125 0.001953125 0.001953125 NaN

Salen significativos, sí. Pero no sé si es superfluo añadir esta comparativa estadística, la verdad. Sé que en general se debe hacer.

Tanto en estructura como en contenido, conviene revisar la introducción. He añadido diferentes comentarios, pero debes dejar clara la motivación del trabajo, caracterizar el problema diciendo qué es exactamente Starcraft y qué lo hace diferente de otros juegos o parecido de forma que se pueda generalizar el resultado. Por ejemplo ¿qué componente aleatorio tiene?

De la OSL...

Pointer file error: Unable to parse pointer at: "Spark-workspace/StarCraft-Analytics/measures/measures_9000/part-00000-6e804984-7748-493a-a3ea-602e27adb2c3.csv"

Tengo git-lfs 1.8.1. No sé si será de eso.
También sería interesante incluir el hecho de que hay que tener git-lfs instalado para descargártelo...

Que lo lea alguien, porque tiene algunos errores.

Míralo en el de @germaaan

En comentarios, cada pieza de código debe tener una referencia al autor, licencia e indicación de a qué paquete pertenece.

Mañana lo completo, que ahora quiero seguir un rato más con la tesis.

Alguna de las cosas que me habéis dicho que podría ser interesante sacar esta mañana en la reunión:

Duración de las partidas

En minutos, si la conversación está bien hecha, a supuestos 24 fps

Recursos vencedores vs perdedores

Test de Wilcoxon entre los distintos conjutnos

Ahora, al separar por razas y por vencedores y derrotados, la cosa cambia bastante. Salvo casos concretos, no se niega la hipótesis nula. Pues vaya toalla.

Sin embargo, a medida que se "avanza" en la partida, si se encuentran diferencias. La siguiente tabla tiene en cuenta las diferencias después del primer minuto:

Y esta transcurridos 10 minutos de partida

Cómo digo, y esto son con los valores absolutos de los recursos, si saco un rato me gustaría hacerlo para valores totales y ratios. Y además, hacerlo con los X últimos minutos.

Ejemplo de una victoria, en el caso de Protoss contra Protoss

Ejemplo de una derrota, en el caso de Protoss contra Protoss

Ningún código debe de llevar números mágicos. Se define una constante con un nombre significativo y se le asigna un valor. Si es posible, esas constantes deberían estar en un fichero de configuración aparte.

Statistical test and graphics are needed

En general, Random Forest es el mejor clasificador en casi cada ocasión. kNN es tan simple que se suele usar como baseline, igual que el Naïve Bayes. Y más, si usamos k=3. Convendría que hicieras diferentes particiones del conjunto y diferentes pruebas, porque los resultados son realmente sorprendentes.