LoRAは、既存のモデルに追加学習を行うための技術で、比較的低コストで画像を学習できます。
LoRAモデルを使うと、モデルにないキャラクターや構図、シチュエーションや背景などを簡単に再現できます。
LoRAモデルは、Stable Diffusion Web UIなどのソフトウェアで利用できます。
LoRAモデルの作り方は、以下のような手順で行えます。
- まず、適当なモデル（例えばStable DiffusionやWaifu Diffusionなど）を使って、学習させたい画像を生成します。この画像を元画像と呼びます。
- 次に、元画像と同じモデルを使って、LoRAの学習プログラム（例えばsd-scriptsなど）を実行します。このとき、config.tomlファイルに学習データのパスや学習回数などの設定を記述します。学習が終わると、LoRAモデルがoutputディレクトリに保存されます。
- このLoRAモデルは、元画像に近い画像を生成するように過学習されています。これをコピー機LoRAと呼びます。コピー機LoRAは、他の画像にも適用できますが、元画像と似た特徴が強調される傾向があります。
- もし、元画像とは異なる特徴を持つLoRAモデルを作りたい場合は、元画像を加工して別の画像を作ります。例えば、輪郭線を追加したり、色を変えたり、陰影を塗りつぶしたりします。この加工画像を目的画像と呼びます。
- 最後に、目的画像と同じモデルを使って、再びLoRAの学習プログラムを実行します。このとき、config.tomlファイルに目的画像のパスや学習回数などの設定を記述します。学習が終わると、目的のLoRAモデルがoutputディレクトリに保存されます。
- このLoRAモデルは、目的画像に近い画像を生成するように過学習されています。これを目的LoRAと呼びます。目的LoRAは、他の画像にも適用できますが、目的画像と似た特徴が強調される傾向があります。
以上が、LoRAモデルの作り方の一例です。
作成したLoRAモデルは、Stable Diffusion Web UIなどで読み込んで利用できます。