- NovelAIは、Stable Diffusionのモデルアーキテクチャとトレーニングプロセスを変更して、タグベースのプロンプトをより有効に活用できるようにしたものです。Stable Diffusionでは、テキストと画像を結びつけるためにCLIPというモデルを利用していますが、NovelAIはCLIPを改良して、入力したプロンプトに対する生成画像の精度を高めています。
- NovelAIは、画像のアスペクト比を変更して、より自然な構図の画像を生成できるようにしたものです。Stable Diffusionでは、GPUの効率を最適化するために、複数のトレーニング画像を一気にアスペクト比1:1にクロップしてから学習するため、画像の一部が切り落とされたり、変な構図になったりすることがあります。NovelAIでは、画像のアスペクト比を512×768ピクセルや最大ディメンションサイズ1024と定義して、画像の全体性や細部を保持できるようにしています。
- NovelAIは、SaaSモデルの有料サブスクリプションサービスであり、モデルは非公開です。Stable Diffusionは、オープンソースモデルであり、無料で利用できます。
NovelAIは、自分のPCで実行することもできますが、そのためには漏洩したデータやツールを使う必要があります。
Stable Diffusionは、自分のPCで実行することが前提です。