[ComfyUI Session 8] Adding Controlnet, Multi Controlnet (for beginners)

[@손손-g4m]

설 연휴에도 좋은 팁 올려 주시다니.. 잘 보았습니다. 늦었지만 새해 복 많이 받으세요.

[@ai_opener]

올리자마자 봐주셔서 감사해요~^^ 새해 복 많이 받으세요!

[@Sedtiny]

덕분에 정말정말 잘배우고 있습니다. 복받으세요!

[@ai_opener]

아닙니다 감사합니다^^

[@yuramisuper]

정말 감사합니다~!

[@ai_opener]

네 시청해주셔서 감사합니다~~

[@석이에AI이야기]

멀티 컨트롤넷 아주 유용하네요. 좋은 정보 너무 감사합니다.

[@ai_opener]

네 감사합니다. animatediff에서 사용할 콘트롤넷에 도움이 되셨나 모르겠습니다 ㅠㅠ

[@석이에AI이야기]

@@ai_opener 설명해 주신 멀티 컨트롤넷이 많이 도움이 됐습니다 ComfyUi를 실행할때 KSampler 노드쪽에서 자꾸 에러가 뜨고 멈추길래 제 PC사양이 안되서 그런줄 알고 포기하고 있었는데 단순히 ComfyUi 업데이트를 안해서 그랬네요 ㅋㅋ;; 어쩐지 전에는 잘되다 갑자기 에러난게 이상하다 했어요 😂

[@ai_opener]

@@석이에AI이야기 다행입니다 ㅎㅎ 업데이트를 정말 자주 해줘야 하는 툴인 특성이 있는거 같습니다~

[@rabongdaebong5539]

잘 배우고 있습니다. instant id도 좀 다뤄 주세요^^

[@ai_opener]

네 감사합니다^^

[@kennedysworks]

알려주신 워크플로우로 작업하는데 DWPOSE에서 오류가 뜹니다..ㅜㅜ
Error occurred when executing DWPreprocessor:
cannot import name 'packaging' from 'pkg_resources' (C:\StabilityMatrix\Packages\ComfyUI\venv\lib\site-packages\pkg_resources\__init__.py)
File "C:\StabilityMatrix\Packages\ComfyUI\execution.py", line 152, in recursive_execute
output_data, output_ui = get_output_data(obj, input_data_all)
File "C:\StabilityMatrix\Packages\ComfyUI\execution.py", line 82, in get_output_data
return_values = map_node_over_list(obj, input_data_all, obj.FUNCTION, allow_interrupt=True)
File "C:\StabilityMatrix\Packages\ComfyUI\execution.py", line 75, in map_node_over_list
results.append(getattr(obj, func)(**slice_dict(input_data_all, i)))
File "C:\StabilityMatrix\Packages\ComfyUI\custom_nodes\comfyui_controlnet_aux
ode_wrappers\dwpose.py", line 87, in estimate_pose
out = common_annotator_call(func, image, include_hand=detect_hand, include_face=detect_face, include_body=detect_body, image_and_json=True, resolution=resolution)
File "C:\StabilityMatrix\Packages\ComfyUI\custom_nodes\comfyui_controlnet_aux\utils.py", line 85, in common_annotator_call
np_result = model(np_image, output_type="np", detect_resolution=detect_resolution, **kwargs)
File "C:\StabilityMatrix\Packages\ComfyUI\custom_nodes\comfyui_controlnet_aux
ode_wrappers\dwpose.py", line 83, in func
pose_img, openpose_dict = model(image, **kwargs)
File "C:\StabilityMatrix\Packages\ComfyUI\custom_nodes\comfyui_controlnet_aux\src\controlnet_aux\dwpose\__init__.py", line 262, in __call__
poses = self.detect_poses(input_image)
File "C:\StabilityMatrix\Packages\ComfyUI\custom_nodes\comfyui_controlnet_aux\src\controlnet_aux\dwpose\__init__.py", line 252, in detect_poses
keypoints_info = self.dw_pose_estimation(oriImg.copy())
File "C:\StabilityMatrix\Packages\ComfyUI\custom_nodes\comfyui_controlnet_aux\src\controlnet_aux\dwpose\wholebody.py", line 80, in __call__
import torch.utils.benchmark.utils.timer as torch_timer
File "C:\StabilityMatrix\Packages\ComfyUI\venv\lib\site-packages\torch\utils\benchmark\utils\timer.py", line 8, in
from torch.utils.benchmark.utils import common, cpp_jit
File "C:\StabilityMatrix\Packages\ComfyUI\venv\lib\site-packages\torch\utils\benchmark\utils\cpp_jit.py", line 13, in
from torch.utils import cpp_extension
File "C:\StabilityMatrix\Packages\ComfyUI\venv\lib\site-packages\torch\utils\cpp_extension.py", line 28, in
from pkg_resources import packaging # type: ignore[attr-defined]
혹시 이유가 뭔지 알 수 있을까요?

[@ai_opener]

네~ matrix 사용하시나본데, 좀 오류가 많아서 단일로 설치를 권유드립니다^^ 개발자가 아닌이상 참 어렵습니다 ㅠㅠ

[@bkzee5630]

혹시 현재 DWPose Estimator 노드에 문제가 있나여?업데이트를 진행하고 해도 항상 이 노드에서 에러가 나는데.....

[@ai_opener]

원인은 모르겠지만 여기저기서 안된다는 의견이 나오는거 같긴 합니다,, 개발자의 수정이 필요할것 같아요

[@dkeps4880]

갖고있는모델에 실사의류 입히는것도 영상으로좀올려주세요~

[@ai_opener]

네 요즘 제가 시간이 안나서 고민이 많네요 고려해보겠습니다^^

[@dkeps4880]

​@@ai_opener감사합니다~^^

[@kimkangrok8198]

원래 Contrlnet을 사용하면 속도가 엄청 느려지나요..? 기본 세팅에서 컨트롤넷 오픈 포즈만 넣었는데도 KSampler 에서 시간이 엄청 오래걸리네요..

[@ai_opener]

시간이 더 걸리긴 하는데 comfyui 에서 그렇게 많이 오래걸리지는 않습니다. ㅠㅠ

[@지도니-f4u]

Error occurred when executing DWPreprocessor:
module 'glob' has no attribute 'glob'
File "D:
ew_ComfyUI_windows_portable_nvidia_cu121_or_cpu\ComfyUI_windows_portable\ComfyUI\execution.py", line 151, in recursive_execute
output_data, output_ui = get_output_data(obj, input_data_all)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "D:
ew_ComfyUI_windows_portable_nvidia_cu121_or_cpu\ComfyUI_windows_portable\ComfyUI\execution.py", line 81, in get_output_data
return_values = map_node_over_list(obj, input_data_all, obj.FUNCTION, allow_interrupt=True)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "D:
ew_ComfyUI_windows_portable_nvidia_cu121_or_cpu\ComfyUI_windows_portable\ComfyUI\execution.py", line 74, in map_node_over_list
results.append(getattr(obj, func)(**slice_dict(input_data_all, i)))
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "D:
ew_ComfyUI_windows_portable_nvidia_cu121_or_cpu\ComfyUI_windows_portable\ComfyUI\custom_nodes\comfyui_controlnet_aux
ode_wrappers\dwpose.py", line 87, in estimate_pose
out = common_annotator_call(func, image, include_hand=detect_hand, include_face=detect_face, include_body=detect_body, image_and_json=True, resolution=resolution)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "D:
ew_ComfyUI_windows_portable_nvidia_cu121_or_cpu\ComfyUI_windows_portable\ComfyUI\custom_nodes\comfyui_controlnet_aux\utils.py", line 85, in common_annotator_call
np_result = model(np_image, output_type="np", detect_resolution=detect_resolution, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "D:
ew_ComfyUI_windows_portable_nvidia_cu121_or_cpu\ComfyUI_windows_portable\ComfyUI\custom_nodes\comfyui_controlnet_aux
ode_wrappers\dwpose.py", line 83, in func
pose_img, openpose_dict = model(image, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^
File "D:
ew_ComfyUI_windows_portable_nvidia_cu121_or_cpu\ComfyUI_windows_portable\ComfyUI\custom_nodes\comfyui_controlnet_aux\src\controlnet_aux\dwpose\__init__.py", line 197, in __call__
poses = self.detect_poses(input_image)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "D:
ew_ComfyUI_windows_portable_nvidia_cu121_or_cpu\ComfyUI_windows_portable\ComfyUI\custom_nodes\comfyui_controlnet_aux\src\controlnet_aux\dwpose\__init__.py", line 187, in detect_poses
keypoints_info = self.dw_pose_estimation(oriImg.copy())
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "D:
ew_ComfyUI_windows_portable_nvidia_cu121_or_cpu\ComfyUI_windows_portable\ComfyUI\custom_nodes\comfyui_controlnet_aux\src\controlnet_aux\dwpose\wholebody.py", line 80, in __call__
import torch.utils.benchmark.utils.timer as torch_timer
File "D:
ew_ComfyUI_windows_portable_nvidia_cu121_or_cpu\ComfyUI_windows_portable\python_embeded\Lib\site-packages\torch\utils\benchmark\__init__.py", line 2, in
from torch.utils.benchmark.utils.timer import * # noqa: F403
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "D:
ew_ComfyUI_windows_portable_nvidia_cu121_or_cpu\ComfyUI_windows_portable\python_embeded\Lib\site-packages\torch\utils\benchmark\utils\timer.py", line 8, in
from torch.utils.benchmark.utils import common, cpp_jit
File "D:
ew_ComfyUI_windows_portable_nvidia_cu121_or_cpu\ComfyUI_windows_portable\python_embeded\Lib\site-packages\torch\utils\benchmark\utils\cpp_jit.py", line 13, in
from torch.utils import cpp_extension
File "D:
ew_ComfyUI_windows_portable_nvidia_cu121_or_cpu\ComfyUI_windows_portable\python_embeded\Lib\site-packages\torch\utils\cpp_extension.py", line 210, in
CUDA_HOME = _find_cuda_home() if torch.cuda._is_compiled() else None
^^^^^^^^^^^^^^^^^
File "D:
ew_ComfyUI_windows_portable_nvidia_cu121_or_cpu\ComfyUI_windows_portable\python_embeded\Lib\site-packages\torch\utils\cpp_extension.py", line 107, in _find_cuda_home
cuda_homes = glob.glob(
^^^^^^^^^
이런 애러뜨는데 어떡해 해결하죠 ,,.??

[@ai_opener]

저도 에러는 잘 모르겠습니다,,, 이건 사용하시는 컴퓨터환경 이런게 다 달라서 진단이 조금 어렵기도 합니다 ,,맥을 쓰시는지 업데이트가 얻까지 되었는지 등등 단서가 없거든요 ㅜㅜ

[@지도니-f4u]

@@ai_opener CUDA 11x 드라이버 다운받으니 되네요! 감사합니다

[@ai_opener]

아 cuda 차이때문에 그렇군요!! 해결되서 다행입니다~~

[@monkeyzred]

comfyui 도 글카 사양을 많이 타나요

[@ai_opener]

영상의 경우 타긴 하는데 webui보다는 덜타요 3060의 경우라면 comfyui가 더 자유도가 큰편이더라구요 ^^