Stable Diffusionを使用して、ポケモン風オリジナルキャラクターとジブリ風の画像を生成する方法を紹介します。
準備
DiffusionBeeのダウンロード＆インストール
前の記事を参考にしていただけたらと思います。
モデル pokemon-stable-diffusionのダウンロードと読み込み
こちらからckptファイルをダウンロードします。
赤枠で囲っている「Files and versions」をクリックします。
「Files and versions」の中に「ema-only-epoch=000142.ckpt」というファイルをダウンロードします。
ダウンロードが完了したらDiffusionBeeに読み込ませます。
DiffusionBeeを起動させたら「Settings」を開きます。
「Settings」の中に「Add New Model」をクリックするとファイルを読み込むことができるので、ダウンロードしたckptファイルを読み込ませます。
以上で準備は完了です。
それではポケモン風のキャラクターを生成してみましょう。
ポケモン風の画像生成
Text To Imageで画像を生成していきます。
プロンプトには「cute, Flame Pokemon」と入力しました。
Modelにはダウンロードした「ema-only-epoch=000142.ckpt」が選択されていることを確認します。
そして「Generate」をクリックします。
可愛くないポケモン風のキャラクターが生成されました。
バクフーンに近いかなと個人的には思います。
他にも基本的なプロンプトを「cute」にしてタイプ別で生成していきます。
ほのおタイプ
火をまとっているのが2体とでんきタイプのようなキャラクターになりました。
みずタイプ
色で水タイプだと分かるようになっています。
でんきタイプ
ゴーストと電気、虫と電気のように複合タイプのように思える。
かくとうタイプ
プロンプトで「Fighting」と入力しても、詳細な指示ではないことが分かる画像が生成されました。
ひこうタイプ
全く飛ぶ気配のないキャラクターです。
鳥のような姿になると思ったのですが違いました。
くさタイプ
「Grass」に引っ張られて草をまとっています。
伝説
上段は「cute」ありで下段がなしです。
プロンプトも「legend」とそのまま入力しました。
モデルを使っているのでプロンプトが少なくても、それらしいキャラクターになると期待したのですが上手くはいきません。
ドラゴンタイプ
最後にドラゴンタイプです。
「Dragon」という言葉で姿がドラゴンっぽいです。
他のタイプも試しましたが、似たようなキャラクターしか生成できませんでしたので割愛します。
ジブリ風のモデル
ポケモン風のキャラクター生成同様にジブリ風の画像も生成できます。
モデルが2つあるので両方紹介します。
Ghibli-Diffusion
上記からアクセスしてckptファイルをダウンロードします。
アクセス後、「Files and versions」をクリックします。
「ghibli-diffusion-v1.ckpt」というファイルをダウンロードします。
ダウンロードできたら、DiffusionBeeでモデルを追加してジブリ風の画像を生成できます。
StudioGhibli
こちらもアクセスしてckptファイルをダウンロードします。
「StudioGhibliV4.ckpt」というファイルをダウンロードします。
ダウンロードできたら、DiffusionBeeでモデルを追加してジブリ風の画像を生成できます。
Ghibli-DiffusionとStudioGhibliの違い
2つともジブリの画像で学習しているため大きな差はないように感じます。
しかし、Ghibli-Diffusionは人物、動物、物などの生成が得意でStudioGhibliは風景の生成が得意かもしれません。
と言っても、プロンプトの影響で変わるので絶対ではありません。
好みの違いというところが結論だと思います。
まとめ
ポケモン風とジブリ風の画像生成について紹介しました。
ポケモン風はプロンプトをしっかりと入力しないと、本物に近いものは生成できないことがわかりました。
「cute」というプロンプトもあまり意味がなかった印象です。
モデル自体が可愛く設定されているのかもしれません。
ポケモン風、ジブリ風の画像生成をぜひ試してください。
最後までお読みいただきありがとうございました。
