Skip to content

An extension for stable-diffusion-webui that adds a tab that lets you preview how CLIP model would tokenize your text.

Notifications You must be signed in to change notification settings

sanoto/stable-diffusion-webui-interactive-tokenizer

 
 

Repository files navigation

Interactive Tokenizer Extension for AUTOMATIC1111's Stable Diffusion web UI

Japanese

機能の説明

プロンプト入力中に以下の情報を確認できます。
※ネガティブプロンプトでも同様

  • Clipが文字列をどう区切って認識しているか
    • 下線で色分け
  • 各単語のトークンID
    • 単語にマウスオーバーすると表示
  • 強調の強さ
    • 単語の背景色
    • 1.0より強ければ強いほど赤、1.0より弱ければ弱いほど青に変化
  • チャンク(75トークンの区切り)がどこで区切られているか
    • チャンク毎に改行
  • チャンク毎のトークン数
    • BREAK記法を使っている場合は必ずしも1チャンク75トークンにならないため
    • 各チャンクの後に「<トークン数> / 75」のフォーマットで表記
  • 各Stepで変化するプロンプトのトークン数の推移
    • プロンプトがStepによって変化する場合、トークン数の表示を以下のように変更
    • <変化前のトークン数> -> <変化後のトークン数> / 75
    • 変化の回数によって数珠つなぎに増えるが、コンパクトにするため5回目以降は省略
    • 以下の記法を使用していると表示される

サンプル

プロンプトは元素法典のもの一部改変して使用

強調のみ

BREAK記法

AND記法

Prompt editing

Alternating Words

AND記法・Prompt editing・Alternating Words

English

TODO

About

An extension for stable-diffusion-webui that adds a tab that lets you preview how CLIP model would tokenize your text.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • Python 88.9%
  • CSS 11.1%