kumapo / jaqket-dataset Goto Github PK

便利なデータセットの公開、ありがとうございます。

早速利用させていただいたのですが、"datasets/kumapo/JAQKET" で公開されている v1 の valid ds では 271 件のデータと件数が少ない模様です。

aio_01 の評価用データセットは二つあり、各々1000件弱と valid ds との件数に乖離があるため、意図したものかどうか質問させていただきました。

• https://jaqket.s3.ap-northeast-1.amazonaws.com/data/aio_01/dev1_questions.json
  • 995 件
• https://jaqket.s3.ap-northeast-1.amazonaws.com/data/aio_01/dev2_questions.json
  • 997 件

また、JAQKET.py の SplitGenerator では "dev1_questions.json" のみを指定していると思うのですが、できたら両方のデータが使える嬉しいため、たとえば Split へ dev1 / dev2 を追加するなどの公開を検討いただけますと幸いです。

ご検討、よろしくお願いいたします。