chemdner_data_converter.py

• chendnerのデータをTagging用のデータに変換するためのModule
• train.csv, valid.csv, test.csvを作成。
• それぞれのcsvのheaderは[file_ix, token, start_ix, end_ix, label]

dataset.py

• token2ix, label2ix用

train.py

• modelを学習しsave

model.py

• modelの計算方法を書く。

predict.py

• test.csvから予測し、test.csvにpred_label列を付け合わせたpred.csvを作成

evaluate.py

• pred_labelからspantokenを復元し、精度を計算する。

chemdner_datas

• chemdnerdataからconvertしたcsvやtoken2ix, label2ixの入れ場

outsource

• 学習したモデルの入れ場