ABCIグランドチャレンジでどのデータを使うか決める about megatron-deepspeed-abci HOT 5 CLOSED

優先度順に並べて、できそうなところから、できそうな人がデータ収集をどんどん進めていくのがよさそう。

from megatron-deepspeed-abci.

04/27のミーティングより

• CCベース（CACCでよさそう）
• Wikipedia
• 対訳データ
• 英語wikipedia
• Codeどうする？

from megatron-deepspeed-abci.

コードのalternativeとしてredpajamaのgithubコードを使うのも良さそうです：
前処理スクリプトはこちらでavailvable : https://github.com/togethercomputer/RedPajama-Data/tree/main/data_prep/github
Huggingface Datasetでもavailable：https://huggingface.co/datasets/togethercomputer/RedPajama-Data-1T
GitHubだけで59Billionあるので，サンプリング必須

from megatron-deepspeed-abci.

コードを使うとして，どのデータセットを使うか考えたいです．
ライセンス周りが気になっています．

• The stack : https://huggingface.co/datasets/bigcode/the-stack などを見ると，完全にライセンスがOKなものを集めているわけではなくて，とにかく雑多に集めているように見える．-> 特定のライセンスなどに絞るなどの前処理が必要? ( @losyer データセットについて認識あっていますかね...? ざっと読んだだけなので間違っているかもです🙇‍♂️)
• RedPajama : https://huggingface.co/datasets/togethercomputer/RedPajama-Data-1T -> The raw GitHub data is downloaded from Google BigQuery. We deduplicate on the file level and filter out low quality files and only keep projects that are distributed under the MIT, BSD, or Apache license. とあるので，ライセンスでのフィルタリング & dedup 済み, easy to use?

軽く調査した感じだと RedPajama のデータセットが使い易そうな感じがしています．

from megatron-deepspeed-abci.

-> 処理もそんなに時間がかからなそうなので， #26 の issue で Redpajama データの処理に取り組みたいと思います！（後で取捨選択できればと思っています）

from megatron-deepspeed-abci.