Axes d'amélioration:
- regarder comment faire pour ne pas perdre de mots/ponctuations avec word2vec
regarder si on peut résoudre ce problème comme un problème de régression (avec une seule sortie)(pas d'améliorations)- trouver une fonction proche de la fonction de coût de la compétition mais différentiable pour remplacer l'entropie croisée
dropout(amélioration)- utiliser d'autres données pour mieux classer C1/C2 (des extraits d'articles de journaux par ex)
essayer plusieurs couches(amélioration)LSTM à la place de GRU(stacked LSTM > stacked GRU sinon GRU > LSTM)- augmented RNN: https://distill.pub/2016/augmented-rnns/ https://web.stanford.edu/class/cs224n/lectures/lecture12.pdf
- temporal convolution network: https://openreview.net/pdf?id=rk8wKk-R-
essayer d'autres techniques que word2vec(ELMo: pas d'améliorations)ELMO: http://allennlp.org/elmo(pas d'améliorations)- peephole et gradient clipping pour LSTM