OFT (Orthogonal Fine-Tuning) 官网

OFT (Orthogonal Fine-Tuning) 图文介绍：

oft.wyliu.com 是上海交通大学与威斯康星大学麦迪逊分校联合发布的 Orthogonal Fine-Tuning（OFT）官方项目主页。该方法通过正交约束保持神经元超球面能量不变，在不破坏原模型生成能力的同时，仅训练极少量参数即可让 Stable Diffusion 等文本到图像模型学会新人物、新物体或新风格，被誉为“免模型坍塌的轻量级个性化”方案 。

主要功能：

• 正交微调：冻结原权重，仅优化 0.1%–1% 参数，即可注入主体或风格。
• 能量保持：理论上保证神经元间超球面能量不变，防止模型坍塌。
• 主体驱动生成：上传 3–5 张目标图片，输入文本即可生成该主体在不同场景下的图像。
• 风格迁移：快速提取艺术风格并复用到任意提示词，无需耗时的 DreamBooth 重训。
• 一键脚本：提供 PyTorch 与 Diffusers 版训练/推理脚本，支持 Stable Diffusion v1/v2、SDXL。
• 可视化对比：在线 Demo 可实时查看微调前后生成差异，支持滑动条与盲测打分。

应用场景：

• 个性化头像：用户上传自拍，生成迪士尼、吉卜力、赛博朋克等多风格头像。
• 电商商品图：商家无需拍摄，直接生成同一商品在不同背景、灯光下的主图与详情页。
• 游戏美术：快速产出 NPC 原画、装备图标，保持世界观风格一致。
• 教育科研：在论文中可视化新概念、新样本，无需担心版权风险。
• 广告创意：把品牌 IP 形象快速植入节日、热点场景，缩短海报制作周期。

是否收费：

• 开源代码与权重：GitHub 与官网均可免费下载，遵循 MIT 协议。
• 在线 Demo：提供限时免费体验（每日 20 张生成额度）。
• 企业定制：如需私有数据微调、性能优化或私有化部署，可通过邮件洽谈商业授权。

平台兼容性：

• 训练：Linux / Windows / macOS，Python ≥3.8，CUDA ≥11.6，兼容单卡 8 GB 显存起步。
• 推理：支持 CPU、NVIDIA、Apple Silicon、AMD ROCm；提供 Hugging Face Space 一键体验。
• API：已封装成 Diffusers Pipeline，可无缝接入 ComfyUI、Stable Diffusion WebUI 插件。
• 云端：官网 Demo 基于 Gradio，无需安装，浏览器即可上传图片与输入提示词。

OFT 用“正交”思想破解了个性化生成中“模型坍塌”与“训练成本高”两大痛点，让普通用户也能在几分钟内完成主体或风格注入。对研究者，它提供了一种轻量级微调新范式；对开发者，它是可即插即用的开源模块；对设计师与运营人员，它则是一把加速创意落地的“隐形画笔”。