Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

使用静态图推理时,当输入数量改变,静态图必须要重编吗,请问如何可以不用重编呢 #10524

Open
songh11 opened this issue May 13, 2024 · 2 comments

Comments

@songh11
Copy link

songh11 commented May 13, 2024

Description

就比如 SD 的 controlnet,我们修改 pipeline 使当 conditioning_scale 为 0 时,使 down_block_res_samples 和 mid_block_res_sample 为 None,这样会导致 unet 的输入数量改变而重新编译静态图,请问有办法不重编么

@ccssu
Copy link
Contributor

ccssu commented May 17, 2024

Description

就比如 SD 的 controlnet,我们修改 pipeline 使当 conditioning_scale 为 0 时,使 down_block_res_samples 和 mid_block_res_sample 为 None,这样会导致 unet 的输入数量改变而重新编译静态图,请问有办法不重编么

这个是两种情况。 1. 这个可以理解为 conditioning_scale 为0 代表不使用 controlnet (可以将controlnet 模块删掉),2. conditioning_scale >0 代表使用 controlnet 。

@songh11 在 1 和 2 这两种情况切换是需要改变静态图。 防止 重编 可以提前缓存图参考 onediff: https://github.com/siliconflow/onediff/blob/main/onediff_diffusers_extensions/examples/pipe_compile_save_load.py

@songh11
Copy link
Author

songh11 commented May 17, 2024

Description

就比如 SD 的 controlnet,我们修改 pipeline 使当 conditioning_scale 为 0 时,使 down_block_res_samples 和 mid_block_res_sample 为 None,这样会导致 unet 的输入数量改变而重新编译静态图,请问有办法不重编么

这个是两种情况。 1. 这个可以理解为 conditioning_scale 为0 代表不使用 controlnet (可以将controlnet 模块删掉),2. conditioning_scale >0 代表使用 controlnet 。

@songh11 在 1 和 2 这两种情况切换是需要改变静态图。 防止 重编 可以提前缓存图参考 onediff: https://github.com/siliconflow/onediff/blob/main/onediff_diffusers_extensions/examples/pipe_compile_save_load.py

感谢回复

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants