4. 第 3 模块:动态权重修补与 LoRA/Hook 注入体系 (03_model_patcher_and_hooks)¶
模块章节目录
4.5. 模块架构概述¶
本模块剖析 ComfyUI 最富扩展性与工程精巧度的核心组件——ModelPatcher 与模型拦截 Hook 体系。
在生成式 AI 工作流中,基础大模型通常需要叠加多个 LoRA、ControlNet 注入、模型量化或自定义注意力算子。ComfyUI 避免了昂贵的基础模型硬拷贝,通过优雅的补丁代数与运行时劫持实现非破坏性组合:
ModelPatcher 对象模型:构建模型代理包装器,利用浅拷贝与克隆树追踪派生补丁链,确保多分支采样工作流零显存额外开销。
权重差分注入代数:实现低秩适配(LoRA/DoRA)在显存加载阶段的在线矩阵代数合并(
add_patches/calculate_weight)与动态卸载还原。前向计算拦截与 Hook 链:通过对象替换(
object_patches)与 Forward 函数包装,实现跨层特征提取、注入与激活值引导。运行时上下文注入:解剖
transformer_options在 UNet 与 DiT 跨层前向传播过程中的参数广播与动态注意力控制。