closechoice / easyshap Goto Github PK

Ein Modell wird mit verschiedenen Explainern ggf. auch Standard Feature Importance untersucht

Die Funktion bietet die Möglichkeit verschiedene Explainer zu vergleichen.
Wie schneiden die Features mit unterschiedlichen Expl. ab?

eshap_compare(model_1, model_2, X, ...)

Output ist z.B. die shap differenzen der features

Um den Effekt eines Retrainings zu prüfen!

eshap_compare(model, X_1, X_2, ...)

Output ist z.B. die shap differenzen der features

Hilft z.B. ein in der Vergangenheit trainiertes Modell mit neuen Daten zu vergleichen.
Welche Features/Events sind wichtiger bzw. unwichtiger geworden?

Hier können wir die Vision zu easy shap konkretisieren.

Hier ein erster Vorschlag:
https://docs.google.com/presentation/d/128WL3hkIHcHJtcGCX6JaqAuiN6TgwYU8cqxwsSPd78U/edit?usp=sharing

Users need to understand how easyshap can be used, so we need documentation & also jupyter notebook examples

eshap_compare(model_1, model_2, X_1, X_2, features_1, features_2, ...)

Output ist z.B. die shap differenzen der features

2 Modelle werden mit unterschiedlichen Features gefitted haben aber das gleiche target.

Wie ändern sich die Features-Importance wenn weitere Features hinzu kommen?

currently our functions return an xarray.Dataset which is quite nice if know how to handle it but pretty hard to extract what you want if you don't. So we need a couple of convenience functions to extract this, e.g.
get_difference (maybe this should even be a flag in our comparing functions) and also add some functions for plotting the data. Look at what shap provides here and make sure that these can be plotted easily