対象
・ABCI転送する前処理済みのデータ

時期
・リハーサル前

（多人数で編集済み）

• CommonCrawlベースのデータ

  • CACC
  • mc4
  • OSCAR
  • CC100
  • OSCAR2301

• 新聞データ #3

• Wikipedia

  • ja
  • en

• Twitterデータ

  • 事前学習にはあまり向いていないらいしい。

• MTデータ

  • WMT22

• コード

  • bigcode 大きいのでサブセットを使う。
  • the stack

• 対話

  • Presto
  • リンク集

他

・今は学習中にtokenizeしているか、事前にtokenizeしているか
・学習中にtokenizeするとどのくらいパフォーマンスが落ちるか

どのtokenizerを使うのか。

• Resume training
• Check generation
• Optimizer set-up

CAデータのtoken数を測る。

事前学習後にinstruction tuning を行う。（RLHFよりも効果が大きいという話を以前どこかで聞いた記憶がある。）

日本語で行う場合のデータをどうするか。また、evaluation用のデータ（タスク）とinstruction tuning用のデータ（タスク）は分ける必要がありそう。

• Wikipediaのpreprocessing scriptが生成するjsonlの“text”のフィールドに空欄の多い件
• Abejaのtokenizerの動作確認

• [] (~ 5/10?)　SambaNova
• [] 5/16 - 5/23 ABCI grand challenge

04/27のミーティングより

方針

• mc4など前処理に時間がかかりそうなものは避ける
• あくまでABCIグランドチャレンジに向けた練習という立ち位置

よって、以下を用いる。

• Wikipedia（未DL）
• CC100（DL済み）
  • 比較的クリーンなので

前処理の優先順位

• 正規化（NFD or NFC）
• 重複削除

#9 とも関連。

Model benchmarking results

Overview

Model hyperparameters

• 13B OPT-13B
  • --num-layers 40
  • --hidden-size 5120
  • --num-attention-heads 40
• 10B GLM-10B <== use this one
  • --num-layers 48
  • --hidden-size 4096
  • --num-attention-heads 64
• 10B Megatron-10B
  • --num-layers 50
  • --hidden-size 4096
  • --num-attention-heads 32

Notations

• MBS = micro batch size
• GBS = global batch size
• Sec/it = seconds per iteration
• Est. Aggr. PetaFLOPs = TFLOPs * Nodes / 1024

Preliminary Experiments

Memory usages seems to increase after logging?

Experiments-1

Deepspeed (Reduce PP bubble / disable activation checkpoints)

Activation Partitioning and Activation Checkpointing Chunks

Notes

• Activation Partitioning seems to be deepspeed feature and combined with AC
• DAC stands for distribute-checkpointed-activations
• Bug for controlling the chunk size of activation checkpointing
  

• Integrate preprocessing script into the Megatron script and preprocess into mmap format (HF blog, script)
• Design options
  • tokenizer (Rinna)
  • 正規化
  • 重複除去

• 朝日新聞 (KS, 問い合わせ中)
  このフォーム をメールで送れば良い、とのこと。

• 毎日新聞 (KS, 問い合わせ中)

• 報知新聞 (商用利用の場合、公開は不可)

• 日経 (KS, 問い合わせ中)

• 読売新聞 (KS, 問い合わせ中)

• 東証 (KS, 問い合わせ中)
  資料 を送ってもらった。

（次回以降のプロジェクトで実施したい？）

【今後Tokenizerを自分たちで学習する場合について小島さんとのディスカッション】

• sample from diverse corpora
• train sentencepiece
  • Sentencepieceにはbyte_fallbackオプションがあるので大丈夫そうです。(google/sentencepiece#621 (comment))

• download script
• preprocess
• binarize for megatoron

どのような形にして保存しておけば良いか。
・1行1文のプレーンテキスト？jsonl？
・圧縮する？（ディスク容量との兼ね合い）
・分割する？（ファイル読み込みの実装、メモリとの兼ね合い）