• あるモデルとオプティマイザに対して，利用可能なハードウェアがサポートするバッチサイズの範囲が一般的に存在します．制限となるのは，通常，アクセラレータメモリです．
• 残念ながら，トレーニングプログラム全体を実行するか，少なくともコンパイルすることなく，どのバッチサイズがメモリに収まるかを計算するのは困難な場合があります．
• 最も簡単な解決策は，異なるバッチサイズ（例えば2の累乗）の学習ジョブを，利用可能なメモリを超えるまで，少ないステップ数で実行することです．
• 各バッチサイズにおいて，学習スループットの信頼できる推定値を得るのに十分な時間，学習を行う必要があります．

学習スループット = (処理件数/秒)

もしくは， ステップごとの時間.

ステップごとの時間 = (バッチサイズ) / (学習スループット)

• アクセラレータがまだ飽和していない場合，バッチサイズが2倍になると，学習スループットも2倍（または少なくともほぼ2倍）になるはずです．同様に，バッチサイズが大きくなっても，1ステップあたりの時間は一定でなければなりません（少なくともほぼ一定）．
• もしそうでない場合は，計算ノード間のI/Oや同期など，学習パイプラインにボトルネックがあると考えられます．これは，先に進む前に診断し，修正する価値があるかもしれません．
• もし，ある最大バッチサイズまでしか学習スループットが上がらないのであれば，より大きなバッチサイズがハードウェアによってサポートされていたとしても，その最大バッチサイズまでしか考慮しない方が良いでしょう．
  • バッチサイズを大きくすることで得られるメリットは，すべて学習スループットが向上することを前提としています．そうでない場合は，ボトルネックを修正するか，より小さなバッチサイズを使用します．
  • 勾配累積は，ハードウェアがサポートできるよりも大きなバッチサイズをシミュレートするため，スループット上の利点はありません．一般に，応用的な作業では避けるべきです．
• これらの手順は，モデルやオプティマイザが変更されるたびに繰り返す必要があるかもしれません（たとえば，モデルのアーキテクチャが変われば，メモリに収まるバッチサイズが大きくなる可能性があります）．

学習時間 = (ステップごとの時間) x (総ステップ数)

• 多くの場合，実行可能なすべてのバッチサイズにおいて，1ステップあたりの時間はほぼ一定であると考えることができます．これは，並列計算によるオーバーヘッドがなく，すべての学習ボトルネックが診断され修正されている場合に当てはまります（学習ボトルネックの特定方法については前のセクションを参照してください）．しかし，実際には，バッチサイズを大きくすることにより，少なくともいくつかのオーバーヘッドが発生します．
• バッチサイズが増加すると，一定の性能目標に到達するために必要なステップの総数は，通常減少します（バッチサイズが変更されたときに，すべての関連するハイパーパラメータが再チューニングされる場合；Shallue et al.2018）．
  • 例：バッチサイズを2倍にすると，必要な総ステップ数が半分になる場合がある．これをパーフェクトスケーリングと呼ぶ．
  • 完全スケーリングは，臨界バッチサイズまではすべてのバッチサイズで成立し，それを超えると収穫逓減(diminishing returns)となる．
  • 最終的には，バッチサイズを大きくしても学習ステップ数は減らない（増えることはない）．
• したがって，学習時間を最小化するバッチサイズは，通常，必要な学習ステップ数の削減を実現する最大のバッチサイズとなる．
  • このバッチサイズはデータセット，モデル，オプティマイザに依存し，新しい問題ごとに実験的に見つける以外に，どのように計算するかは未解決の問題である．🤖
  • バッチサイズを比較する際には，example budget/epoch budget（学習例の提示数を固定して全ての実験を行う）とstep budget（学習ステップ数を固定して全ての実験を行う）の違いに注意する必要があります．
    • バッチサイズとエポックバジェットの比較は，バッチサイズを大きくしても，必要な学習ステップ数を減らすことで意味のある速度向上が得られる可能性があるにもかかわらず，完全なスケーリング領域を探るだけです．
  • 多くの場合，利用可能なハードウェアでサポートされる最大のバッチサイズは，クリティカルバッチサイズより小さくなる．したがって，経験則として（実験を行わずに），可能な限り大きなバッチサイズを使用するのがよい．
• バッチサイズを大きくしても，学習時間が長くなっては意味がありません．

• バッチサイズを大きくすることで発生するリソースコストは2種類あります:
  1. 初期費用：新しいハードウェアの購入や，マルチGPU/マルチTPUトレーニングを実装するためのトレーニングパイプラインの書き換えなど．
  2. 利用コスト：チームのリソース予算に対する課金，クラウドプロバイダーからの課金，電気代やメンテナンス費用など．
• バッチサイズの増加に大きな初期費用がかかる場合は，プロジェクトが成熟し，費用対効果のトレードオフを評価しやすくなるまで，バッチサイズの増加を延期する方がよいでしょう．マルチホスト並列トレーニングプログラムの実装は，バグや微妙な問題を引き起こす可能性があるため，いずれにせよ，よりシンプルなパイプラインから始める方がよいでしょう．(一方，学習時間の大幅な高速化は，多くのチューニング実験が必要な初期段階において非常に有効です）．
• ここでは，総使用コスト（複数の異なる種類のコストを含む）を「リソース消費量」と呼ぶことにします．資源消費は次のような要素に分解できる．

リソース消費量 = (ステップごとのリソース消費量) x (総ステップ数)

• 通常，バッチサイズを大きくすることで，ステップの総数を減らすことができる．リソースの消費量が増えるのか減るのかは，1ステップあたりの消費量がどう変化するかによる．
  • バッチサイズを大きくすると，資源消費量が減少する場合がある．例えば，バッチサイズが大きい方が小さい方と同じハードウェアで各ステップを実行できる場合（1ステップあたりの時間が少し増えるだけ），ステップあたりのリソース消費量の増加は，ステップ数の減少に勝るかもしれない．
  • バッチサイズを大きくしても，資源消費量が変わらない場合がある．例えば，バッチサイズを 2 倍にすることで，必要なステップ数が半分になり，使用する GPU の数が 2 倍になる場合，GPU 時間で見た総消費量は変わりません．
  • バッチサイズを大きくすると，資源消費量が増加する場合があります．例えば，バッチサイズを大きくしてハードウェアのアップグレードが必要になった場合，1ステップあたりの消費量の増加がステップ数の減少を上回る可能性があります．

• ほとんどのハイパーパラメータの最適値は，バッチサイズに敏感である．したがって，バッチサイズを変更すると，通常，チューニング・プロセスをすべてやり直す必要があります．
• バッチサイズと最も強く相互作用するハイパーパラメータは，オプティマイザのハイパーパラメータ（学習率，**量など）と正則化のハイパーパラメータで，各バッチサイズに対して個別に調整することが最も重要です．
• プロジェクトの開始時にバッチサイズを選択する際には，この点に留意してください．後で別のバッチサイズに変更する必要がある場合，新しいバッチサイズ用にすべてを再チューニングするのは難しく，時間とコストがかかる可能性があります．

• バッチノルムは複雑で，一般的には勾配計算とは異なるバッチサイズを使用して統計量を計算する必要があります．詳細な議論はバッチノルムのセクションを参照してください．

• 与えられたゴールに対して，すべてのハイパーパラメータは，科学的ハイパーパラメータ，迷惑ハイパーパラメータ，または固定ハイパーパラメータのいずれかになります．
  • 科学的ハイパーパラメータとは，モデルの性能に与える影響を測定するためのパラメータです．
  • 迷惑ハイパーパラメータは，科学的ハイパーパラメータの異なる値を公平に比較するために最適化する必要があるパラメータです．これは，統計学でいうところのnuisance parametersと同じようなものです．
  • 固定ハイパーパラメータは，現在の実験ラウンドでその値が固定されます．科学的ハイパーパラメータの異なる値を比較する際に，値を変更する必要がない（あるいは変更させたくない）ハイパーパラメータです．
    • 一組の実験に対して特定のハイパーパラメータを固定することによって，実験から得られた結論は，固定されたハイパーパラメータの他の設定に対しては有効でないかもしれないことを受け入れなければならない．言い換えれば，固定されたハイパーパラメータは，我々が実験から導き出した結論に警告を与えるものである．
• 例えば，「隠れ層の多いモデルがバリデーション誤差を減らすかどうかを判断する」ことが目的であれば，隠れ層の数は科学的ハイパーパラメータとなる．
  • 学習率は，各層数に対して個別に調整された場合にのみ，異なる数の隠れ層を持つモデルを公平に比較することができるので，迷惑ハイパーパラメータです（最適な学習率は，一般的にモデル・アーキテクチャに依存します）．
  • 活性化関数は，最適な活性化関数の選択がモデルの深さに依存しないことを事前の実験で決定している場合，または隠れ層の数についての結論を，活性化関数のこの特定の選択のみに制限することを望んでいる場合，固定ハイパーパラメータとすることができる．あるいは，各隠れ層の数に対して個別に調整する用意があれば，迷惑パラメータになる可能性もあります．
• 特定のハイパーパラメータが科学的ハイパーパラメータ，迷惑ハイパーパラメータ，または固定ハイパーパラメータであるかどうかは，そのハイパーパラメータに固有のものではなく，実験目標によって変化する．
  • 例えば，活性化関数の選択は，科学的ハイパーパラメータ（我々の問題にはReLUとtanhのどちらが良い選択か），迷惑ハイパーパラメータ（いくつかの異なる活性化関数の可能性を許容するとき，最良の5層モデルは最良の6層モデルより良いか），または固定ハイパーパラメータ（ReLUネットについて，特定の位置にバッチ正規化を追加すると良いか）などが考えられる．
• 新しい実験計画を立てる際には，まず，実験目的に応じた科学的なハイパーパラメータを特定する．
  • この段階では，他のすべてのハイパーパラメータは迷惑ハイパーパラメータであると考える．
• 次に，いくつかの迷惑ハイパーパラメータを固定ハイパーパラメータに変換する．
  • 無限のリソースがあれば，科学的でないハイパーパラメータはすべて迷惑ハイパーパラメータとして残し，実験から得られる結論が固定されたハイパーパラメータ値に関する注意事項から解放されるようにすることができます．
  • しかし，迷惑ハイパーパラメータを調整しようとすればするほど，科学的ハイパーパラメータの各設定に対して十分に調整することができず，実験から誤った結論に達してしまう危険性が高くなる．
  • 後述するように，このリスクには計算機予算を増やすことで対処できますが，多くの場合，最大リソース予算はすべての非科学的ハイパーパラメータを調整するのに必要な予算よりも少なくなってしまいます．
  • 我々は，迷惑ハイパーパラメータを固定ハイパーパラメータに変換するのは，固定ハイパーパラメータにすることによって生じる注意点が，迷惑ハイパーパラメータとして含むことのコストよりも小さいと判断したときである．
    • ある迷惑ハイパーパラメータが科学的ハイパーパラメータと相互作用すればするほど，その値を固定化することのダメージは大きくなります．例えば，重み減衰の強さの最適値は，一般的にモデルサイズに依存するので，重み減衰の単一の特定の値を仮定して異なるモデルサイズを比較することは，あまり洞察的ではありません．
• 各ハイパーパラメータに割り当てるタイプは実験目標によって異なりますが，ハイパーパラメータの特定のカテゴリについては，以下のような経験則があります．
  • 様々なオプティマイザのハイパーパラメータ（学習率，**量，学習率スケジュールパラメータ，アダ ムベータなど）のうち，少なくともいくつかは，他の変化と最も相互作用する傾向があるため，迷惑ハイパーパラメータになるでしょう．
    • なぜなら，「現在のパイプラインに最適な学習レートは何か」というような目標では，あまり洞察が得られないからです - とにかく最適な設定は，次のパイプラインの変更で簡単に変わってしまうのです．
    • リソースの制約や，科学的パラメータと相互作用しないという特に強い証拠がある場合，それらの一部を修正することがありますが，一般的には，科学的ハイパーパラメータの異なる設定間の公正な比較を行うために，オプティマイザのハイパーパラメータを個別に調整する必要があり，したがって固定化すべきではないと仮定すべきです．
      • さらに，あるオプティマイザのハイパーパラメーター値を他の値より優先する先験的な理由もありません（例えば，通常，フォワードパスやグラジエントの計算コストに影響を与えることはありません）．
  • これに対して，オプティマイザの選択は，通常，科学的ハイパーパラメータまたは固定ハイパーパラメータとなります．
    • 実験目標が2つ以上の異なるオプティマイザを公正に比較することである場合，科学的ハイパーパラメータとなります （例えば，「与えられたステップ数で最も低いバリデーション誤差を生成するオプティマイザを決定する」）．
    • また，（1）過去の実験から，この問題に最適なオプティマイザは現在の科学的ハイパーパラメータに影響されないと考えられる，（2）学習曲線の推論が容易であるため，このオプティマイザを用いて科学的ハイパーパラメータの値を比較したい，（3）代替案よりもメモリ使用量が少ないため，このオプティマイザを使用したいなど，さまざまな理由から固定ハイパーパラメータにすることができます．
  • 正則化手法によって導入されるハイパーパラメータは，通常，迷惑ハイパーパラメータですが，正則化手法を全く含まないかどうかは，科学的ハイパーパラメータまたは固定ハイパーパラメータになります．
    • 例えば，ドロップアウトはコードの複雑さを増すので，それを含めるかどうかを決めるとき，「ドロップアウトなし」対「ドロップアウト」を科学的ハイパーパラメータとし，ドロップアウト率を迷惑ハイパーパラメータとする．
      • この実験に基づいてパイプラインにドロップアウトを追加することを決定した場合，ドロップアウト率は将来の実験では迷惑ハイパーパラメータになります．
  • アーキテクチャのハイパーパラメータは，しばしば科学的ハイパーパラメータまたは固定ハイパーパラメータとなる．なぜなら，アーキテクチャの変更は，サービスおよびトレーニングのコスト，レイテンシ，およびメモリ要件に影響を与える可能性があるからである．
    • 例えば，層数は学習速度とメモリ使用量に劇的な影響を与える傾向があるため，一般的に科学的または固定的なハイパーパラメータとなります．
• 場合によっては，迷惑ハイパーパラメータと固定ハイパーパラメータのセットは，科学的ハイパーパラメータの値に依存することになる．
  • 例えば，Nesterov momentumとAdamのうち，どのオプティマイザがバリデーション誤差を最小にするかを決定しようとします．科学的ハイパーパラメータはオプティマイザで， {"Nesterov_momentum", "Adam"}という値をとります．optimizer="Nesterov_momentum"という値は，迷惑な/固定ハイパーパラメータ{learning_rate, momentum}を導入しますが，optimizer="Adam"という値は，迷惑な/固定ハイパーパラメータ{learning_rate, beta1, beta2, epsilon}を導入します．
  • 科学的ハイパーパラメータの特定の値に対してのみ存在するハイパーパラメータは，条件付きハイパーパラメータと呼ばれます．
  • 同じ名前だからといって，2 つの条件付きハイパーパラメータが同じだと仮定してはいけません! 上の例では，learning_rateという条件付きハイパーパラメータは，optimizer="Nesterov_momentum"とoptimizer="Adam"では異なるハイパーパラメータになります．この2つのアルゴリズムでは，その役割は（同一ではないものの）似ていますが，それぞれのオプティマイザでうまく機能する値の範囲は，通常，数桁の違いがあります．

• 科学的ハイパーパラメータと迷惑ハイパーパラメータを特定したら，実験目標に向かって前進するためのスタディまたは一連のスタディを設計します．
  • スタディは，その後の解析のために実行されるハイパーパラメータ設定のセットを指定する．各設定は"trial"と呼ばれます．
  • スタディの作成には，通常，スタディ間で変化するハイパーパラメータの選択，それらのハイパーパラメータが取り得る値（「探索空間」）の選択，試験回数の選択，探索空間から多くの試験をサンプリングする自動探索アルゴリズムの選択が含まれます．あるいは，ハイパーパラメータ設定のセットを手動で指定して，スタディを作成することもできます．
• スタディの目的は，科学的ハイパーパラメータの異なる値間の比較ができるだけ公平になるように，迷惑ハイパーパラメータを 「排除」（または「最適化」）すると同時に，科学的ハイパーパラメータの異なる値でパイプラインを実行することにあります．
• 最も単純なケースでは，科学的パラメータの各構成に対して別々のスタディを行い，それぞれのスタディが迷惑ハイパーパラメータを調整することになります．
  • 例えば，Nesterov momentumとAdamの中から最適なオプティマイザを選択することが目的である場合，optimizer="Nesterov_momentum"，迷惑ハイパーパラメータは{learning_rate, momentum}とするスタディを作成し，もう一つのスタディは，optimizer="Adam"，迷惑ハイパーパラメータは{learning_rate, beta1, beta2, epsilon}とするスタディです．それぞれのスタディから最もパフォーマンスの良いトライアルを選択することで，2つのオプティマイザを比較することになります．
  • ベイズ最適化や進化的アルゴリズムなどの勾配なし最適化アルゴリズムを使用して，迷惑ハイパーパラメータを最適化することができます．ただし，チューニングの探索段階では，この設定におけるさまざまな利点から，準ランダム探索の使用を推奨しています．探索が終わった後，もし最新のベイズ最適化ソフトウェアが利用できるのであれば，そちらを使用することをお勧めします．
• 科学的ハイパーパラメータの多数の値を比較したいが，それほど多くの独立したスタディを行うのは現実的でない，より複雑なケースでは，科学的パラメータを迷惑ハイパーパラメータと同じ探索空間に含め，探索アルゴリズムを使って一回のスタディで科学的ハイパーパラメータと迷惑ハイパーパラメータの両方の値をサンプルすることができます．
  • このアプローチをとる場合，条件付きハイパーパラメータは，迷惑ハイパーパラメータのセットが科学的ハイパーパラメータのすべての値に対して同じでない限り，探索空間を指定することが困難であるため，問題が発生する可能性があります．
  • この場合，ブラックボックス最適化ツールよりも準ランダム探索の方が，科学的ハイパーパラメータの値のサンプリングが比較的均一であるため，より好ましいと言えます．どのような探索アルゴリズムであっても，科学的パラメータを一様に探索することを何とか確認する必要があります．

• 試験や一連のスタディをデザインする際，以下の3つの望みを十分に達成するために，限られた予算を割り当てる必要があります．
  1. 科学的ハイパーパラメータの十分な異なる値を比較する．
  2. 十分な広さの探索空間で迷惑ハイパーパラメータを調整する．
  3. 迷惑ハイパーパラメータの探索空間を十分に密にサンプリングする．
• この3つの条件を満たせば満たすほど，実験からより多くの知見を得ることができる．
  • 科学的ハイパーパラメータをできるだけ多くの値で比較することで，実験から得られる洞察の幅が広がる．
  • できるだけ多くの迷惑ハイパーパラメータを含み，各迷惑ハイパーパラメータができるだけ広い範囲で変化するようにすると，科学的ハイパーパラメータの各構成の探索空間に「良い」値が存在するという確信が得られます．
    • そうでなければ，科学的ハイパーパラメータの値によっては，より良い値が存在する可能性のある迷惑なパラメータ空間の領域を探索しないため，科学的ハイパーパラメータの値の間で不公平な比較をする可能性がある．
  • 迷惑ハイパーパラメータの探索空間をできるだけ密にサンプリングすることで，探索空間に存在する迷惑ハイパーパラメータの良い設定が探索手順によって発見されるという確信が得られます．
    • そうでなければ，迷惑ハイパーパラメータのサンプリングで幸運になった値があるため，科学的パラメータの値の間で不公平な比較をすることになるかもしれません．
• 残念ながら，これら3つの次元のいずれかを改善するには，試行回数を増やしてリソースコストを上げるか，他の次元でリソースを節約する方法を見つける必要があります．
  • どの問題にも特有の性質や計算上の制約があるため，これら3つの要望に対してどのようにリソースを配分するかは，ある程度専門的な知識が必要です．
  • スタディを実行した後，我々は常にそのスタディが迷惑ハイパーパラメータを十分に調整したかどうか（すなわち，十分に広い空間を十分に広範に探索したかどうか）を把握し，科学的ハイパーパラメータ（以下でさらに詳細に説明する）を公正に比較しようと努めています．

• 探索空間からサンプリングされた最良の点がその境界の近くにある場合，その探索空間は疑わしい．もしその方向に探索範囲を広げれば，さらに良い点が見つかるかもしれません．
• 探索空間の境界を確認するために，我々は完了した試行を基本的なハイパーパラメータ軸プロットと呼ぶものにプロットするのが好きだ．プロット上の各ポイントは1つのトライアルに対応する．
  • 各試行のバリデーション目的値は，通常，訓練期間中に達成された最良の値であるべきである．

図1: 悪い探索空間の境界と許容される探索空間の境界の例．

• 図1のプロットは，初期学習率に対するエラー率（低いほど良い）を示している．
• もし最良の点が探索空間の端（ある次元）に集まっている場合，最良の観測点が境界の近くになくなるまで探索空間の境界を拡張する必要があるかもしれない．
• しばしば，発散したり，非常に悪い結果を出したりする「実行不可能な」試行が含まれる（上のプロットでは赤いX印で示されている）．
  • もしすべての試行がある閾値より大きい学習率で実行不可能であり，かつ最も性能の良い試行の学習率がその領域の端にある場合，モデルはより高い学習率にアクセスするのを妨げる安定性の問題に悩まされるかもしれない．

• 一般に，探索空間が十分に密にサンプリングされているかどうかを知ることは非常に難しい場合があります．🤖
• より多くの試行を行うことはもちろん良いことですが，それには明らかなコストがかかります．
• 十分なサンプリングができたかどうかを知るのは非常に難しいので，通常は余裕のあるサンプリングを行い，様々なハイパーパラメータ軸プロットを繰り返し見て，探索空間の「良い」領域にどれだけのポイントがあるのかを把握することで，直感的な信頼感を較正しようとするのです．

図2: ImageNetで学習したResNet-50の重み減衰の最適値を調査した分離プロット

• 多くの場合，一連の実験の目的は，科学的ハイパーパラメータの異なる値を比較することである．
  • 例えば，最高のバリデーション誤差をもたらす重み減衰の値を決定したい場合があります．
• 分離プロットは，基本的なハイパーパラメータ軸プロットの特別なケースです．分離プロット上の各ポイントは，迷惑ハイパーパラメータの一部（またはすべて）にわたって，最良のトライアルのパフォーマンスに対応します．
  • 言い換えれば，迷惑ハイパーパラメータを「最適化」した後のモデル性能をプロットしているのです．
• 分離プロットにより，科学的ハイパーパラメータの異なる値間のリンゴ対リンゴの比較を簡単に行うことができます．
• 例えば，図2は，ImageNetで学習したResNet-50の特定の構成で，最高のバリデーション性能を生み出す重み減衰の値を明らかにします．
  • もし我々の目的が Weight Decay を全く含まないかどうかを判断することであるなら，このプロットから最良の点を Weight Decay 無しのベースラインと比較することになる．公平に比較するためには，ベースラインの学習率も同様に調整する必要があります．
• (擬似)ランダムサーチで生成されたデータがあり，分離プロットのための連続ハイパーパラメータを検討している場合，基本ハイパーパラメータ軸プロットのX軸の値をバケット化し，バケットで定義された各縦スライスで最良の試行を取ることにより分離プロットを近似することができます．

• プロット生成に手間がかかればかかるほど，プロットをあまり見なくなります．したがって，できるだけ多くのプロットを自動的に生成するようにインフラをセットアップするのが得策です．
• 少なくとも，実験で変化させたすべてのハイパーパラメータについて，基本的なハイパーパラメータ軸のプロットを自動的に生成します．
• さらに，すべてのトライアルについてトレーニングカーブを自動的に作成し，各スタディのベストトライアルをできるだけ簡単に見つけ，そのトレーニングカーブを調べることができるようにします．
• その他にも，有用なプロットや可視化を追加できる可能性があります．上記のものは良い出発点ですが，Geoffrey Hintonの言葉を借りれば，"Every time you plot something new, you learn something new."（新しいものを描くたびに，新しいことを学ぶ）です．

• この手順では，トレーニングセットを「完全に」適合させるだけでなく，一定の学習率で適合させることも可能であると仮定している．
• もしトレーニングセット全体を完全にフィットさせることが可能であれば，トレーニングセットに完全にフィットする設定（max_train_stepsの値がある）が存在するはずである．そのような構成を見つけ，そのmax_train_stepsの値を開始点Nとして使用します．
• データ補強や正則化を行わず，各試行がNステップで学習するように，一定の学習率スイープ（すなわち，学習率のグリッドサーチ）を実行する．
• スイープの中で最も速い試行が完璧な学習性能に到達するために必要なステップ数が，max_train_steps の初期推測値である．
• **注意：**探索空間が悪いと，自己欺瞞に陥る可能性がある．
  • 例えば，ある研究のすべての学習率が小さすぎる場合，max_train_stepsの値を非常に大きくする必要があると誤って結論づけることがあります．
  • 最低限，学習における最適な学習率が探索空間の境界にないことを確認する必要がある．

• 残念ながら，短時間の不完全な訓練で見つかった良いハイパーパラメータが，訓練の長さが大幅に増加したときにも良い選択であるという保証はどこにもないのです．しかし，ハイパーパラメータの種類によっては，ラウンド1でも十分に相関があることが多いのです．
• どのようなハイパーパラメータが，短い訓練で発見され，長い訓練に移行することが期待できるのでしょうか？これら全てについて，さらなる研究が必要です．しかし，これまでに分かっていることに基づいて，移行の確率が低い順に著者の疑いを紹介します．
  • 移行する可能性が非常に高い
    • 初期の学習不安定性は，より少ない数の学習ステップを用いた最初のチューニングで解決することができる．おそらく，これらのハイパーパラメータが最も確実な移行の可能性に近いと思われる．
      • ウォームアップの長さ
      • 初期化
  • 移行の可能性が高い
    • モデルアーキテクチャ: モデルアーキテクチャの劇的にうまく行く場合は，通常，移行されますが，おそらく多くの反例があると思われます．
  • 移行する可能性がある
    • 最適化アルゴリズム/最適化ハイパーパラメータ: これは「緩やかに」移行すると思われます．これは，上記のものよりも確実に弱いです．
    • データ拡張
    • 正規化
      • トレーニングセットに完全にフィットしない場合，モデルは正則化があまり役に立たない領域にある可能性があります．
  • 移行の可能性が低い
    • 学習率スケジュール: 完全に移行する可能性は低い．
      • この論文では減衰スケジュールでも転送されることを示唆しているが，一般的にはそうでないと考えている．例：学習ステップ数が少ないときにsqrt decayを調整し，その後大きなステップ数に拡張すると，学習の大部分が過度に小さなステップ数で行われることになる．
        • 極端なトレーニングバジェットの制限内では，ほとんどのスケジュールで "good enough"になる可能性がありますが，チューニングすれば顕著な性能向上が見られると思われます．
      • Understanding Short-Horizon Bias in Stochastic Meta-Optimization は，近視眼的に学習率を選択しようとすることの危険性について述べています．

• ラウンド1の最適なハイパーパラメータ設定を実行する．
• (推測) 🤖 余分なステップを利用して，高い学習率で学習する期間を延長する．
  • 例：線形スケジュールなら，減衰の長さをRound1から固定にして，最初は学習率を一定にした期間を延長する．
  • コサイン減衰の場合は，Chinchilla paperと同様に，ラウンド1から基本の学習率を維持し，max_train_stepsを延長するだけでよい．
• モデリングとチューニングのパイプラインが非常に成熟しており，実機でのトレーニングが非常に長く高価なチームでは，ラウンド数を増やすことは意味があるかもしれませんが，多くの場合，やりすぎでしょう．
  • ここまで，ステップ1→ステップ2への移行方法について説明してきました．もし，解析時間を気にせず，計算を効率的に使用することが最大の関心事であるならば，理想的なのは，チューニングの多くの異なるラウンドでトレーニング実行の長さ（したがって，研究を完了するためのエンドツーエンドの時間）を指数関数的に増加させることでしょう．
    • 各ラウンドで，私たちが選択したものが引き続き有効であることを体系的に確認します．
    • 新しいアイデアは，ステップiからステップi+1まで，次第に長くなる実験を用いて，徐々に派生していくパイプラインを通過する．

• モデルのパフォーマンスを評価するには，いくつかの設定があります．
  • オンライン評価: 評価指標は，モデルが実運用環境で予測を提供するときに収集されます．
  • オフライン評価: 本番環境を代表するオフラインの訓練/バリデーション/テスト・セットでモデルを実行したときに，評価指標が収集されます．
  • 定期的な評価: 評価指標は，オフライン評価の代理となるモデルのトレーニング中や，オフライン評価で使用されたデータのサブセットで収集されます．
• オンライン評価はゴールドスタンダードであるが，モデル開発段階では現実的でないことが多い．
• 問題によっては，オフライン評価はかなり複雑で，計算コストがかかる場合があります．
• 定期的な評価は最も実用的で経済的な選択ですが，実稼働環境を完全に表現できない場合があります．
  • 定期的な評価では，トレーニング中に得られる信号の信頼性を犠牲にすることなく，オフライン評価の簡便なプロキシを使用することを目標としています．

• トレーニング中に定期的な評価を行うことで，トレーニングの進捗をリアルタイムに監視し，レトロスペクティブなモデルのチェックポイント選択を容易にし，トレーニング終了時にトレーニングカーブを検証できるようにします．
• 最も単純な構成は，トレーニングと定期的な評価の両方を同じ計算インスタンス内で行い，トレーニングと評価を周期的に交互に行うものです．
  • この場合，評価時にモデルのアクティブ度を維持する必要がないため，評価のためのバッチサイズは少なくともトレーニング時のバッチサイズと同程度にする必要があり，1例あたりの計算量が少なくなります．
• 定期的な評価は，時間間隔ではなく，一定のステップ間隔で行う必要があります．
  • 時間間隔に基づいて評価すると，トレーニングカーブの解釈が難しくなります．特に，トレーニングジョブの先送り，ネットワークの遅延の問題などが発生する可能性があります．
• バリデーション/テスト評価指標の周期性（シャッフルされたトレイン/バリデーション/テスト分割を使用する場合）は，テストデータがトレインデータと重複している，またはトレインデータが適切にシャッフルされていないなどの実装上のバグを示すことがあります．一定のステップ間隔で評価することで，これらの問題を容易に発見することができます．
• 評価セットがバッチサイズで割り切れない場合，パーシャルバッチが発生することがあります．損失関数にバイアスがかからないように，パディングされたサンプルは正しく重み付けされていることを確認してください．多くの場合，これらのパディングされた例には，ゼロの重みを与えることができます．
• オフライン分析をサポートするために，評価ごとに十分な情報を保存する．理想的には，個々の例の選択に関する予測を保存することで，デバッグに非常に役立つからです．
  • SavedModelsのような成果物を生成することで，評価ジョブが終了した後にアドホックなモデル検査を容易に行うことができます．

• 定期評価ジョブは，オフライン評価セット全体の評価指標を合理的な時間で計算できるほど高速に実行できない場合があります．このため，定期的な評価のためにデータのサンプリングが必要になることがよくあります．
• サンプリングされたデータセットを構築する際には，以下の要因を考慮します．
  • サンプルサイズ
    • 定期的なジョブが使用するサンプルデータセットで計算された性能が，オフライン評価セット全体の性能と一致すること，つまりサンプルセットとデータセット全体の間に偏りがないことを確認する．
    • 定期的な評価に使用するデータセットは，その全体にわたってモデル予測を生成することが容易なほど十分に小さく，しかしモデルの改善を正確に測定できるほど十分に大きい（すなわち，ラベルノイズに圧倒されない）ことが必要です．
    • また，このような評価を複数の試行にわたって順番に行い，なおかつ正確な推定値が得られるような大きさである必要がある．つまり，時間経過とともにバリデーションセットに適応的に「フィット」してしまい，保持されたテストセットに一般化されないことを避けるためである．しかし，このような懸念は現実的にはほとんどありません．
  • アンバランスなデータセット
    • 不均衡なデータセットでは，稀なクラスの例に対する性能がノイズとなることが多い．
    • クラスラベルの例数が少ないデータセットでは，正しく予測された例数をログに記録して，精度の向上をより深く理解します（.05の感度向上というとよく聞こえますが，正しい例数が1つ増えただけなのではないしょうか？）．

• これは未解決の問題です．学習率の減衰スケジュールが「最善」であることを確信できる厳密な実験のセットをどのように構築するかは明らかではない．
• 我々は，最適なスケジュール集合を知らないが，何らかの（一定でない）スケジュールを持つことが重要であり，それを調整することが重要であることを確信している．
• 最適化プロセスにおいて，異なる学習速度が異なる時期に最も効果的に働きます．ある種のスケジュールを持つことで，モデルが良い学習速度に到達する可能性が高くなります．

• 私たちの好みはlinear decayかcosine decayですが，他のスケジュール集合も良いでしょう．

• 複雑な区分けされた学習率減衰スケジュールを持つ論文を見ることは珍しいことではない．
• 読者はしばしば，著者がどのようにしてそのような複雑な研究にたどり着いたのか不思議に思う．
• 多くの複雑な学習率減衰スケジュールは，バリデーションセットの性能の関数として，以下の様にスケジュールをアドホックにチューニングした結果です．
  1. 単純な学習率減衰（または一定の学習率）で1回の学習を開始する．
  2. パフォーマンスが低下するまで学習を継続する．この場合，トレーニングを一時停止します．この時点から，おそらくより急な学習率減衰スケジュール（またはより小さな一定の学習レート）でトレーニングを再開する．このプロセスを会議／発売の締め切りまで繰り返す．
• 結果として得られるスケジュールをそのままコピーすることは，一般的に良いアイデアとは言えません．なぜなら，最適な特定のスケジュールは，他の多くのハイパーパラメータの選択に対して敏感だからです．
  • スケジュールを生成したアルゴリズムをコピーするのがベターですが，人間の恣意的な判断でスケジュールを生成した場合は，これが可能なことは稀です．
• このようなバリデーションエラーに敏感なスケジュールは，完全に自動化できるのであれば使用しても問題ありませんが，バリデーションエラーの関数である人間ループのスケジュールはもろく，簡単に再現できないので，避けることをお勧めします．
  • このようなスケジュールを使用した結果を公表する前に，十分に再現性を持たせるように努めてください．

• 上述したように，探索空間や探索空間からいくつの点をサンプリングすべきかについて一般的な記述をすることは非常に困難である．Adamのすべてのハイパーパラメータが同じように重要であるわけではないことに注意してください．以下の経験則は，研究の試行回数の異なる「予算」に対応するものです．
  • 試行回数が10回未満の場合は，（基本）学習率のみを調整する．
  • 10-25試行の場合，学習速度と $\beta_1$を調整する．
  • 25回以上の試行がある場合は，学習率と $\beta_1$， $\epsilon$を調整する．
  • 25回以上の試行が可能であれば，さらに $\beta_2$を調整する．

• 準ランダム探索（不一致の少ないシーケンスに基づく）は，チューニング問題を最大限に理解することを目的とした反復チューニングプロセスの一部として使用する場合（私たちは「探索フェーズ」と呼んでいます），派手なブラックボックス最適化ツールよりも私たちの好みとなります．ベイズ最適化および類似のツールは，探索フェーズにより適しています．
• ランダムにシフトされた低不連続度シーケンスに基づく準ランダム探索は，与えられた探索空間を一様に，しかしランダムに探索し，ランダム探索よりも探索点を広げることから，「ジッタード・シャッフル格子探索」と考えることができる．
• より洗練されたブラックボックス最適化ツール（ベイズ最適化，進化的アルゴリズムなど）に対する準ランダム探索の利点は以下の通りです．
  1. 探索空間を非適応的にサンプリングすることで，実験を再実行することなく，ポストホック分析でチューニングの目的を変更することが可能になります．
     • 例えば，我々は通常，学習のどの時点でも達成される検証誤差の観点から最適な試行を見つけたいと思う．しかし，準ランダム探索の非適応性により，最終的な検証誤差，訓練誤差，あるいは別の評価指標に基づいて最適な試行を見つけることが，実験を再実行することなく可能になる．
  2. 準ランダムサーチは一貫性があり，統計的に再現可能な方法で動作する． - 探索アルゴリズムの実装が変わっても，同じ一様性の特性を維持する限り，6ヶ月前の研究を再現することが可能なはずです．高度なベイズ最適化ソフトウェアを使用している場合，バージョン間で実装が重要な形で変更される可能性があり，古い検索を再現することが非常に難しくなります．また，最適化ツールがサービスとして稼働している場合など，古い実装にロールバックすることが常に可能とは限りません．
  3. 探索空間を均一に探索することで，結果や探索空間に関する示唆を容易に推論することができます． - 例えば，準ランダム探索のトラバーサルにおける最良のポイントが探索空間の境界にある場合，これは探索空間の境界を変更すべきであるという良いシグナルです（ただし，確実ではありません）．このセクションでは，さらに深く掘り下げます．しかし，適応型ブラックボックス最適化アルゴリズムでは，同じように良い点を含んでいても，初期の試行が不運だったために探索空間の真ん中が無視されることがあります．
  4. 準ランダム探索（または他の非適応探索アルゴリズム）を使用する場合，適応型アルゴリズムとは異なり，異なる数の試行を並列に実行しても，統計的に異なる結果が得られることはありません．
  5. より洗練された探索アルゴリズムは，特にニューラルネットワークのハイパーパラメータのチューニングを念頭に置いて設計されていない場合，実行不可能な点を必ずしも正しく扱えないことがあります．
  6. 準ランダム探索はシンプルで，多くのチューニング試行を並行して行う場合に特に効果的です． - 特に多くの試行を並行して行う必要がある場合，適応アルゴリズムがその2倍の予算を持つ準ランダム探索に勝つのは非常に難しい（したがって，新しい試行を開始する際に以前の試行結果を利用する機会はほとんどない），という逸話がある¹． - ベイズ最適化などの高度なブラックボックス最適化手法の専門知識がなければ，原理的には提供できるはずのメリットが得られないかもしれません．現実的な深層学習のチューニング条件で，高度なブラックボックス最適化アルゴリズムをベンチマークすることは困難である．これらは現在の研究において非常に活発な分野であり，より洗練されたアルゴリズムには，経験の浅いユーザーにとってそれなりの落とし穴があるのです．これらの手法の専門家は良い結果を得ることができますが，高並列の条件では探索空間と予算がより重要になる傾向があります．
• つまり，計算機資源が少数の試行しか並列に実行できず，多くの試行を順番に実行する余裕がある場合，ベイズ最適化はチューニング結果の解釈が難しくなるにもかかわらず，より魅力的になるのです．

• 我々は，与えられた探索空間に対してハルトン配列を生成するこの実装を使用している（https://arxiv.org/abs/1706.03200 で推奨されているように，シフトされ，スクランブルされたハルトン配列を実装することを意図している）． 低不連続数列に基づく擬似ランダム探索アルゴリズムが利用できない場合は，擬似ランダム一様探索で代用することが可能ですが，若干効率が悪くなる可能性があります． 1-2次元ではグリッド探索も可能であるが，高次元では不可能である（Bergstra & Bengio, 2012を参照）．

図3: ResNet-50はImageNet上で100回の試行を行い，チューニングを行った．ブートストラップにより，異なるチューニング予算がシミュレートされた．各試行予算における最適性能の箱ひげ図を上に示す．

• この問いに一概に答えることはできないが，具体的な例を見ることはできる．
• 図3が示すように，試行回数は結果に大きな影響を与える可能性があります．
  • 試行回数が6回の場合と20回の場合では，四分位範囲がいかに大きいかに注目してください．
  • 20回の試行でも，特に幸運な研究と不運な研究の差は，ハイパーパラメータを固定し，異なるランダムシードでこのモデルを再トレーニングした場合の一般的な変動よりも大きくなる可能性があります．（この作業負荷では，バリデーションエラー率約23%で約±0.1%）

要約: もしモデルに最適化の問題があれば，他のことを試す前にそれを解決することが重要です．トレーニングの失敗を診断し修正することは，活発な研究分野です．

図4: WideResnetの1つの残差ブロック（2x2 -> 1x1）の歩幅を変更すると，学習が不安定になる．これは，低い学習率では性能が低下しないが，高い学習率では不安定になり，うまく学習できない．1000ステップの学習率ウォームアップを行うことで，この不安定性を解消し，最大学習率0.1での安定した学習を可能にした．

不安定なワークロードの特定

• 学習率が大きすぎると，どんなワークロードも不安定になる．不安定さが問題になるのは，小さすぎる学習率を使わざるを得なくなったときだけである．
• 学習の不安定さには，少なくとも2つのタイプがあり，区別する価値がある．
  1. 初期化時やトレーニングの初期に発生する不安定性
  2. トレーニングの途中で突然不安定になること．
• 作業負荷の安定性の問題を特定するために，系統的なアプローチを取ることができます．
  1. 学習率スイープを行い，最適な学習率*を見つける．
  2. 学習率*以上の学習率で学習ロスカーブをプロットする．
  3. もし，学習率 > 学習率* が損失の不安定性を示すなら（学習期間中に損失が増加し，減少しない），その不安定性を修正することが，より良い学習をもたらすと思われる．
• 学習中の全損失勾配のL2ノルムを記録すると，異常値によって学習中に不安定性が発生する可能性があります．これはgradientやupdate clippingをどのように選択するかという情報になります． **注意：**モデルによっては，初期に不安定な状態になり，その後，回復して，ゆっくりではあるが安定した学習ができるものもあります．一般的な評価スケジュールは，十分な頻度で評価しないため，このような問題を見逃す可能性があります! これを確認するために，lr = 2 * current bestを使用して，~500ステップの短縮されたトレーニングを行うことができますが，すべてのステップを評価します．

図5: トレーニング開始時の評価をより頻繁に行うことの価値を示す図．学習初期にモデルが不安定になる可能性がある場合に有効．

よくある不安定なパターンに対する修正の可能性

• 学習速度のウォームアップを適用
  • 初期の学習が不安定な場合に最適です．
• 勾配クリッピングの適用
  • 初期・中期学習不安定に有効，warmupでは直せない悪いインプットも直せる可能性がある．
• 新しいオプティマイザを試す
  • AdamはMomentumが扱えない不安定性を扱えることがある．これは活発な研究分野です．
• モデルアーキテクチャのベストプラクティス/初期化を確実に行うことができる（以下の例）．
  • モデルにまだ含まれていない場合は，残留接続(residual connections)と正規化を追加します．
• 正規化は，残差の前の最後の操作であるべきです．例：x + Norm(f(x))．
• Norm(x + f(x))は問題を引き起こすことが知られています．
• 残差分岐を0に初期化してみてください(例：ReZero init)．
• 学習率を下げる
  • これは最後の手段です．

学習速度ウォームアップ

図6: ウォームアップ時の不安定さの一例（横軸の対数スケールに注意）．この場合，トレーニングを成功させるためには40k歩のウォームアップが必要であった．

学習率ウォームアップを適用するタイミング

図7a: 学習が不安定なモデルのハイパーパラメータ軸プロットの一例．最適な学習率は，実行可能な範囲の端にある．「実現不可能」な試行とは，NaN を発生させるか，損失が異常に大きい試行と定義される．

図7b: 不安定さが見られる学習率で学習させたモデルの学習損失．

• 図7aは，最適化が不安定なモデルを示すハイパーパラメータ軸プロットで，最適な学習率が不安定になるぎりぎりのところにあることを示しています．
• 図7bは，このピークよりも5倍または10倍大きな学習率で学習させたモデルの学習損失を調べることで，これをダブルチェックする方法を示しています．もしこのプロットが，一定の減少の後に損失が急激に増加している場合（例えば上の図の~10kのステップ），そのモデルは最適化の不安定性に悩まされている可能性があります．

学習率ウォームアップの適用方法

図8: 学習速度のウォームアップがトレーニングの不安定性に対処する上で有益な効果．

• 上記のセクションを利用して，モデルが不安定になる学習率を既に特定したと仮定します．これがunstable_base_learning_rateである．
• ウォームアップには，学習率を0から，unstable_base_learning_rateより少なくとも1桁大きい安定したbase_learning_rateに上昇させる学習率スケジュールを前置することが含まれます．デフォルトでは，不安定な基本学習速度の10倍の基本学習速度が試される．しかし，100倍のunstable_base_learning_rateでこの手順全体を再度実行することが可能であることに注意してください．
  • 具体的なスケジュールはwarmup_stepsで0からbase_learning_rateまで上昇させる．
  • post_warmup_stepsは一定の速度で学習する．
• 我々の目標は，unstable_base_learning_rateよりもはるかに高いピーク学習レートにアクセスできる，最短のwarmup_stepsの数を見つけることです．
• そのため，それぞれのbase_learning_rateに対して，warmup_stepsとpost_warmup_stepsを調整する必要があります．通常，post_warmup_steps は 2*warmup_stepsに設定すれば問題ないでしょう．
• Warmupは既存の減衰スケジュールと独立して調整することができる．warmup_stepsは，いくつかの異なるオーダーで掃引する必要がある．例えば，研究例では，[10, 10³, 10⁴,10⁵]を試すことができる．最大の実行可能ポイントは，max_train_stepsの10%以上であってはならない．
• base_learning_rateでの学習を吹き飛ばさないwarmup_stepsが確立されたら，それをベースラインモデルに適用する必要があります．基本的に，このスケジュールを既存のスケジュールの上に追加し，この実験とベースラインを比較するために，上述の最適なチェックポイントの選択を使用します．例えば，元々10,000 max_train_stepsで，warmup_stepsを1000ステップ行った場合，新しい学習手順は合計11,000ステップで実行されるはずです．
• 安定したトレーニングのために長いwarmup_stepsが必要な場合（max_train_stepsの5%以上），これを考慮してmax_train_stepsを増加させる必要があるかもしれません．
• ワークロードの全範囲にわたって「典型的な」値があるわけではありません．100ステップで済むモデルもあれば，40k以上のステップが必要なモデル（特に変換器）もあります．

勾配のクリッピング(Gradient clipping)

図9: 学習初期の不安定さを修正する勾配クリッピングの説明図．

• 勾配クリッピングは，大きな勾配や異常な勾配の問題が発生した場合に最も有効です．
• クリッピングはトレーニング初期の不安定さ（初期の大きな勾配ノルム），またはトレーニング中期の不安定さ（トレーニング中の突然の勾配スパイク）のいずれかを修正することができます．
• ウォームアップ期間を長くすることで，クリッピングでは修正できない不安定さを修正できる場合があります．(上記のこのセクションを参照してください．)
  • 🤖ウォームアップ中のクリッピングはどうするのですか？
• 理想的なクリップのしきい値は「典型的な」勾配ノルムのすぐ上にあります．
• 以下は，勾配クリッピングの例です．
  • もし勾配ノルム $\left | g \right |$が勾配クリッピングのしきい値 $\lambda$より大きければ，${g}'$を新たな勾配として${g}'= \lambda \times \frac{g}{\left | g \right |}$のようにします．
• 学習中のクリップされていない勾配ノルムを記録します．デフォルトでは，生成します．
  • 勾配ノルム vs ステップのプロット
  • 全ステップにわたって集計された勾配ノルムのヒストグラム
• 勾配ノルムの90パーセンタイルに基づいて，勾配クリッピングの閾値を選択します．
  • 閾値は作業負荷に依存しますが，90%は良い出発点です．うまくいかない場合は，この閾値を調整することができる．
  • 🤖 ある種の適応的な戦略はどうでしょうか？
• 勾配クリッピングを試してみて，不安定性の問題が残るようなら，より強く試すことができます（つまり，閾値を小さくする）．
• 極端に攻撃的な勾配クリッピングは，要するに学習率を下げるための奇妙な方法です．もし極端にアグレッシブなクリッピングを使用していることに気づいたら，おそらく代わりに学習率を下げるべきでしょう．
• 通常，更新の50％以上が何らかの形でクリッピングされることを「極めて積極的」と見なします．
• 不安定性の問題に対処するために極めて積極的な勾配クリッピングを行う必要があるのなら，学習率を下げたほうがよいでしょう．

• 確かに「ハイパーパラメータ」という言葉はベイズ機械学習において正確な意味を持ち，学習率や深層学習で調整する他のパラメータのほとんどを「ハイパーパラメータ」と呼ぶのは用語の乱用である．
• 我々は，学習率，アーキテクチャパラメータ，および深層学習で調整する他のすべてのものに対して「メタパラメータ」という用語を使用することを好む．なぜなら，「ハイパーパラメータ」という用語を誤って使用することから生じる混乱の可能性を回避することができる（確率的応答曲面モデルがそれ自身の真のハイパーパラメータを持っているベイズ最適化を議論する際に，特に起こり得る混乱）．
• 残念ながら，混乱を招く可能性はあるものの，ハイパーパラメーターという言葉は深層学習界では極めて一般的になっている．
• そのため，この文書のように，この技術的なことを知らないであろう多くの人々を含む幅広い読者を対象とした文書では，別の混乱を避けるために，この分野の混乱の原因の1つに貢献することを選択しました．
• とはいえ，研究論文を発表するときには別の選択をするかもしれませんし，ほとんどの文脈で代わりに「メタパラメータ」を使うよう他の人に勧めたいと思います．

• トレーニングパイプラインの他の詳細を変更せずにバッチサイズを変更すると，多くの場合，バリデーションセットの性能に影響を及ぼします．
• しかし，トレーニングパイプラインをバッチサイズごとに独立して最適化すると，2つのバッチサイズ間のバリデーションセットの性能の差は，通常なくなります．
• バッチサイズと最も強く相互作用するハイパーパラメータは，オプティマイザのハイパーパラメータ（例：学習率，**量）と正則化のハイパーパラメータです．
  • バッチサイズが小さいと，サンプルの分散により学習アルゴリズムに多くのノイズが混入し，このノイズが正則化の効果をもたらす可能性があります．したがって，バッチサイズが大きくなると過学習が起こりやすくなり，より強力な正則化および/または追加の正則化技術が必要になる場合があります．
• また，バッチサイズを変更する際には，学習ステップの数を調整する必要がある場合もあります．
• これらの効果をすべて考慮すると，バッチサイズが最大達成可能な検証性能に影響を与えるという説得力のある証拠は今のところありません（Shallue et al.2018参照）．

Stochastic gradient descent (SGD)

$ $\theta_{t+1} = \theta_{t} - \eta_t \nabla \mathcal{l}(\theta_t)$$

Momentum

$$v_0 = 0$$

$$v_{t+1} = \gamma v_{t} + \nabla \mathcal{l}(\theta_t)$$

$ $\theta_{t+1} = \theta_{t} - \eta_t v_{t+1}$$

Nesterov

$$v_0 = 0$$

$$v_{t+1} = \gamma v_{t} + \nabla \mathcal{l}(\theta_t)$$

$ $\theta_{t+1} = \theta_{t} - \eta_t( \gamma v_{t+1} + \nabla \mathcal{l}(\theta_{t})$$

RMSProp

$$v_0 = 1 \text{,} m_0 = 0$$

$$v_{t+1} = \rho v_{t} + (1 - \rho) \nabla \mathcal{l}(\theta_t)^2$$

$$m_{t+1} = \gamma m_{t} + \frac{\eta_t}{\sqrt{v_{t+1} + \epsilon}}\nabla \mathcal{l}(\theta_t)$$

$ $\theta_{t+1} = \theta_{t} - m_{t+1}$$

ADAM

$$m_0 = 0 \text{,} v_0 = 0$$

$$m_{t+1} = \beta_1 m_{t} + (1 - \beta_1) \nabla \mathcal{l} (\theta_t)$$

$$v_{t+1} = \beta_2 v_{t} + (1 - \beta_2) \nabla \mathcal{l}(\theta_t)^2$$

$$b_{t+1} = \frac{\sqrt{1 - \beta_2^{t+1}}}{1 - \beta_1^{t+1}}$$

$ $\theta_{t+1} = \theta_{t} - \alpha_t \frac{m_{t+1}}{\sqrt{v_{t+1}} + \epsilon} b_{t+1}$$

NADAM

$$m_0 = 0 \text{,} v_0 = 0$$

$$m_{t+1} = \beta_1 m_{t} + (1 - \beta_1) \nabla \mathcal{l} (\theta_t)$$

$$v_{t+1} = \beta_2 v_{t} + (1 - \beta_2) \nabla \mathcal{l} (\theta_t)^2$$

$$b_{t+1} = \frac{\sqrt{1 - \beta_2^{t+1}}}{1 - \beta_1^{t+1}}$$

$ $\theta_{t+1} = \theta_{t} - \alpha_t \frac{\beta_1 m_{t+1} + (1 - \beta_1) \nabla \mathcal{l} (\theta_t)}{\sqrt{v_{t+1}} + \epsilon} b_{t+1}$$