Skip to content

Add dropout coefficient scheduling#54

Open
maruo555 wants to merge 1 commit intomaruo-mainfrom
feat/dropout-sched
Open

Add dropout coefficient scheduling#54
maruo555 wants to merge 1 commit intomaruo-mainfrom
feat/dropout-sched

Conversation

@maruo555
Copy link
Owner

概要
dropout の“係数”を進行率でスケジュールできる --dropout_sched を追加し、network/rank/module の各 dropout に一括適用しました。あわせて --dropout_sched_log_every でログ出力を追加しています。

変更点

  • --dropout_sched "k0:v0,k1:v1,..." を追加(区間は線形補間、最後は保持)
  • 係数を --network_dropout / rank_dropout / module_dropout の指定値に乗算
  • --dropout_sched_log_every で output_dir にログ(step/係数/各dropout)を出力
  • LoRA モジュールへ dropout 値を反映する set_dropout_values を追加

使い方例

  • --network_dropout 0.3 --network_args "rank_dropout=0.2" --dropout_sched "0.0:0,0.3:0.2,0.8:1.0"
  • --dropout_sched_log_every 100

挙動メモ

  • dropout を指定していない対象には影響しません
  • 係数は 0〜1 推奨、ただし制限は設けていません

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant