【WaifuDiffusion1.5/1.6(Beta3/4)】ダウンロードと利用方法【ワイフディフュージョン】

WaifuDiffusion(ワイフ ディフュージョン)のダウンロードと利用方法を中心に紹介したいと思います。WaifuDiffusionはこれまでStableDiffusionやmidjourneyが苦手としていたアニメ(二次元風イラスト)の生成に変化を起こしたモデルです。Waifu Diffusionは、StableDiffusionのデータセットを基に、二次元のイラスト収集サイト「Danbooru」で学習を行い、アニメ風のキャラクター画像生成に特化したAIとして開発されました。

【WaifuDiffusion1.5/1.6(Beta3/4)】ダウンロードと利用方法【ワイフディフュージョン】

WaifuDiffusion(ワイフ ディフュージョン)とは?

StableDiffusionやmidjourneyは、自然の風景や現実世界の画像を生成するのに長けていますが、アニメ調の二次元イラストの生成にはそれほど適していませんでした。これに対し、Waifu Diffusionは異なります。これはStableDiffusionのデータセットをベースに、「Danbooru」という二次元イラスト集積サイトで学習を行った結果、アニメ風キャラクター画像の生成に特化したAIとして誕生しました。

Waifu Diffusion 1.5 (Beta2)

Waifu Diffusion 1.5は、Stable Diffusion技術を基盤とした、アニメ風（二次元）イラスト生成に特化したAIのバージョン1.5を指します。このAIモデルは、大規模な二次元イラストデータセットを学習し、その結果として高品質なアニメ風イラストを自動生成する能力を持っています。

Waifu Diffusion 1.5は、ユーザーが提供した指示（通常はテキスト形式のプロンプト）に従って、特定のイラストを生成します。これにより、ユーザーは自分の思い描くキャラクターやシーンをAIに生成させることが可能となります。

この1.5バージョンでは、前バージョンと比較してさらに進化しており、より高品質なイラスト生成が可能となっています。また、新機能や最適化されたアルゴリズムが導入され、イラストの生成速度が向上し、生成されるイラストの品質も改善されています。

Waifu Diffusion 1.5 (Beta2)の特徴

Stable Diffusion 2.1から直接微調整され、リアルライフとアニメ画像を使用しています。多岐にわたる概念が含まれているため、さらなる微調整やLoRA、その他の埋め込みアプリケーションに理想的な候補となると期待されています。

使用する際には、WD VAEを使用する必要があります。また、自然言語とbooruタグの両方でプロンプトできます。特定のスタイルを指向するために、各画像のキャプションには日付勾配が組み込まれています。また、人間にとって魅力的な美学（芸術的スタイル）を指向するために、各画像のキャプションには美学勾配が組み込まれています。

トレーニングについては、さまざまなBooruサイト、Instagram（モデル、インフルエンサー、女優など）、GravureおよびCosplay画像などからデータを収集し、大規模なデータベースを作成しました。それぞれの画像は、Cafe Aesthetic Suite、WD 1.4 Tagger、BLIP、BLIP2、CLIP+MLP Aesthetic Score Predictorなどを使用して処理されました。

ただし、このモデルはまだベータ版であり、一部のレンダリング（特に手や足）が正確でない場合があります。また、主に日本や他のアジアのソースに基づいているため、この領域外の素材に対しては最適に動作しない場合があります。

このモデルの環境影響については、Machine Learning Impact calculatorに基づいて計算され、約1083.6 kgの炭素排出が発生したとされています。

ライセンスは、Fair AI Public License 1.0-SDの下でリリースされています。このモデルの派生物を作成する場合は、適切に変更を共有する必要があります。

Waifu Diffusion 1.5 (Beta3)

WD 1.5 Beta 3は、AIモデルの新しいバージョンで、画像生成に特化しています。このモデルは、様々なスタイルとコンセプトを扱うことができ、その範囲はリアルライフからアニメまで広がっています。また、fine-tuning、LoRAの使用、その他の埋め込みアプリケーションに適していると期待されています。

このバージョンでは、新たに4つの美学モデルが導入されています：WD Radiance、WD Ink、WD Illusion、WD Mofu。これらのモデルは、それぞれ独自のスタイルを持っています。

また、テキストエンコーダのトレーニングが改善され、コンセプトの組成、認識、分離が向上しています。モデルは自然言語とbooruタグの両方でプロンプトすることができます。

それぞれの画像には、日付勾配と美学勾配がキャプションに組み込まれています。これにより、生成物を特定のスタイルや人間にとってより魅力的な美学に向けて誘導することができます。

Waifu Diffusion 1.5 (Beta3)前バージョンとの違いと特徴

WD 1.5 Beta 3は、新たなエステティックモデル4種類（WD Radiance、WD Ink、WD Illusion、WD Mofu）を導入し、テキストエンコーダーのトレーニングを改善して概念の認識と分離、画像の合成が向上しました。さらに、日付勾配、エステティック勾配、品質勾配などの新しいタグを導入して指示を簡単にし、リアルライフとアニメの画像の両方で微調整されたモデルを提供します。また、パフォーマンスと安定性の向上、さまざまなバグの修正など、微調整と改善が行われています。

Waifu Diffusion 1.5 (Beta4)

(リリースは未定)

Waifu Diffusion 1.6

(リーリースは未定)

Waifu Diffusion GM

(リリースは未定)

その他(メモ)

※『AI美女を作る』をテーマに美女AI情報を発信しています。