Comparer les sorties FP16 aux sorties FP32 de Pytorch about kernl HOT 5 CLOSED

@pommedeterresautee Est ce qu'on va tester (moi, Jonathan et Gaetan) sur le même type de machine a10g ? (pour moi, on a vu que le RTX20 ça marche pas trés bien avec triton)

from kernl.

Oui, @gaetansnl va mettre en place un killer d'instance pour éviter une erreur d'extinction mais l'esprit est de tester dans le cloud

from kernl.

en fait, mon idée c'était qu'il vaut mieux tester avec différents types de machine sinon on va se retrouver à faire le même test avec le même code et la même machine.

from kernl.

Sur le cloud on a accès à deux générations de gpu, l'ajout de 2080 ou 3090 est un vrai plus, cependant peut être pas essentiel. Ceci étant on va pas étendre Triton a des architectures anciennes de gpu pour utilisateurs non pro si cela n'est pas supporté de base.
Par exemple dans le calcul d'une double gemm on a une grosse contrainte sur la quantité de shared memory disponible (un axe de deux des matrices soit entièrement rentrer dans la shared memory)

from kernl.

done through #56

from kernl.