Não tem uma pasta para código (src) onde deveriam estar os notebooks.

A pasta artigos e reunioes poderia estar dentro de uma pasta chamada docs, por exemplo.

Notebook para criação do modelo usando XGBoost não está no repositório

Digamos que o usuário queira executar check_monotonicity para diversos atributos e não queira plotar todos os gráficos, apenas calcular as métricas. Para isso ele teria que ter uma opção para desabilitar o plot do gráfico.

Testei r = check_monotonicity(model, X_train, 'area_worst', 0, 5000, steps=10000) inde X_train é um dataframe com 5 rows. A função executou sem lançar nenhuma exception.

O plot gerado não me pareceu correto. Não pareceu sumarizar bem o comportamento do atributo levando-se em consideração os diversos exemplos.

Ao executar:

for i in range(0,5):
    row = X_train.loc[i:i]
    r = check_monotonicity(model, row, 'area_worst', 0, 5000, steps=10000)
    print(r.metrics)

temos gráficos com comportamentos diferentes. valores para o eixo Y bem diferentes.

ao executar:

r = check_monotonicity(model, X_train, 'area_worst', 0, 5000, steps=10000)

é criado um gráfico que talvez não sumariza bem a análise.

O plot gerado pelo check_monotonicity não diz qual atributo está sendo analisado. Sugiro colocar isto no plot.

Exemplo de como está hoje:

• existem casos em que não há mudanças positivas ou negativas, porém em alguns casos retornava algum valor mesmo assim. Analisar se esse bug está acontecendo em outros casos

Ao executar check_monotonicity(model, row, attr, start, stop, steps=1000) precisamos saber o valor mínimo e máximo de attr.

Seria possível sugerir valores de start e stop para a execução de check_monotonicity? Assim, o usuário não precisaria se preocupar com a definição destes valores.

Observação: vale lembrar que não temos acesso aos dados de treinamento. Uma instância do modelo carregada via pkl fornece estipo de informação?

Os datasets

full_df = pd.read_csv('Datasets/fraud_new.csv')
df = pd.read_csv('Datasets/fraud.csv')

Não estão no repositório. Não tem como executar os notebooks já existentes e também não tem como criar outros.

Ao executar calibration_check(model, df_full, 'diagnosis') onde df_full['diagnosis'] tem valores 'B' ou "M', a função calibration_check(model, df_full, 'diagnosis') retorna o seguinte erro:

ValueError: y_true takes value in {'B', 'M'} and pos_label is not specified: either make y_true take value in {0, 1} or {-1, 1} or pass pos_label explicitly.

Sugiro propagar o atributo pos_label da função brier_score_loss para a função calibration_check.

Além do site com a documentação sobre cada função (https://jpgianfaldoni.github.io/MLBugDetection/) fazer um site mais genérico com:

• descrição do objetivo da biblioteca;
• tutorial com exemplos de como utilizar a biblioteca, e;
• informações sobre como contribuir com o projeto (para desenvolvedores).