Flux 是由 Stability AI 前成员 Robin Rombach 创立的新公司 Black Forest Labs,发布的全新 AI 文生图模型。

你可能不知道 Stability AI 这个公司,但是你一定听说过 Stable Diffusion。Stability AI 开发了 Stable Diffusion 并发明了潜伏扩散技术,为文生图创造了先进的生成式 AI 技术。

flux-ai-thumbnail

FLUX AI 官网地址:Black Forest Labs

什么是 FLUX AI

FLUX AI 是前 Stability AI 成员创立的新公司 Black Forest Labs 发布的 AI 模型,目前一共推出了三个开源模型:FLUX.1 Pro、FLUX.1 Dev 和 FLUX.1 Schnell:

  • FLUX.1 Pro 是最高质量的模型,但是只能通过 API 调用,具有一流的提示追踪、视觉品质、影像细节和输出多样性。
  • FLUX.1 Dev 是由 Pro 提炼的开源非商用模型,与 FLUX.1 Pro 的质能和能力相似。
  • FLUX.1 Schnell 是专为本地开发和个人使用量身定制的模型,根据 Apache 2.0 标准公开使用,同时是三款模型中最开的模型。

FLUX.1 Pro 和 Dev 均在各方面超越了 Midjourney V6、DALL-E 3 以及 Stable Diffusion 3 - Ultra 等流行模型

flux-ai-new-art-gen
flux-ai-new-art-gen

如何使用 FLUX AI

使用 FLUX AI 可以在 Replicate 和 Hugging Face 上找到对应的模型,如下分别是 3 个版本模型的地址:

通过 ComfyUI 使用 FLUX AI

目前 ComfyUI 已经支持了这个模型,只需要将 ComfyUI 更新到最新版即可,使用 FLUX 时不仅需要下载 FLUX 本体,还需要下载 CLIP 以及对应的 VAE 模型

ComfyUI 下载

ComfyUI 下载:Github Repo | Comfy UI 官网:ComfyUI
设置 ComfyUI 中文语言包,语言包下载地址,将 ZIP 压缩包解压到 ComfyUI\custom_nodes 目录中即可

下载 CLIP 模型

需下载 t5xxl_fp16.safetensors 或 t5xxl_fp8_e4m3fn.safetensors(建议 fp8 版本,如果你显存超过 32G 可选择 fp16 版本)和 clip_l.safetensors 到 ComfyUI/models/clip/ 目录中。
这个模型和 Stable Diffusion 一样的,如果已经有了,可以不用下载。

下载地址: HuggingFace

下载 FLUX 模型

FLUX.1 Dev 官方版本满配版(机器性能要求很高)
下载地址: https://huggingface.co/black-forest-labs/FLUX.1-dev/blob/main/flux1-dev.sft

FLUX.1 Dev fp8: 大佬优化 FLUX.1 Dev 后版本,建议选择此版本,最低 12G 显存可跑
下载地址: https://huggingface.co/Kijai/flux-fp8/blob/main/flux1-dev-fp8.safetensors

FLUX.1 Schnell: 4 步蒸馏模型(前面有介绍),大多数显卡可跑
下载地址: https://huggingface.co/black-forest-labs/FLUX.1-schnell/blob/main/flux1-schnell.sft

FLUX.1 Schnell fp8: 大佬优化 FLUX.1 Schnell 后版本,其他同上,但能适应更低的显卡配置
下载地址: https://huggingface.co/Kijai/flux-fp8/blob/main/flux1-schnell-fp8.safetensors

模型的存放位置在 ComfyUI/models/unet/ 目录下

下载 VAE 模型

VAE 模型下载地址:https://huggingface.co/black-forest-labs/FLUX.1-schnell/blob/main/ae.safetensors
将下载的 ae.safetensors 放置在 ComfyUI/models/vae/ 目录下