ComfyUI - OpenPose 에디터 노드

https://github.com/nakoland/ComfyUi_NakoNode

GitHub - nakoland/ComfyUi_NakoNode

comfy에는 불행히도 제대로된 오픈포즈 에디터가 없습니다. 

대부분이 굉장히 오래전에 만들어져서 업데이트도 중지되어 있죠. 

그래서 과거의 오픈포즈 에디터들을 참고하고 AI의 힘을 빌려 직접 만들었습니다

 

# Open Pose Preset

저는 제가 만든 노드에는 거의 반드시라고 해도 좋을정도로 프리셋 기능을 넣습니다

매번 직접 작성하는게 너무 귀찮아서요

그리고 이게 다른 오픈포즈 에디터랑 가장 차별화되는 장점입니다

포즈를 편집한후 프리셋으로 저장할 수 있습니다. 이때 배경화면이 없으면 그냥 뼈대그림만, 있으면 배경화면을

프리뷰로해서 프리셋이 저장됩니다.

 

이후 프리셋콤보에서 미리보기를 보면서 자세를 선택할 수 있게됩니다.

기본적인 사용법은

브라우저탭을 두개 띄워놓고 포즈저장용 워크플로에서 포즈를 저장,

그림뽑는 워크플로에서 아까 만든 프리셋포즈를 불러와사용하는 것입니다. 

이때 저장한 포즈는 가장위의 OpenPose(refresh)를 선택하면 다른탭에서도 즉시 갱신됩니다.

 

하지만 이것도 프리셋매니아인 저에게 부족한 점이 있었습니다

오픈포즈는 그 자체로도 그림에 강력한 영향력을 지니지만

프롬프트도 그 상황에 맞게 작성하지 않으면 단지 포즈만 같을뿐 원하는 의도대로는 안나옵니다

그렇기에 포즈+프롬프트 세트가 되어야 제대로된 프리셋이라고 할 수 있죠

 

그래서 만든것이 <pose> 태그입니다.

포즈태그는 <lora> 태그처럼 텍스트 프롬프트 기반의 포즈지정을 가능하게 해줍니다

위 스샷처럼 프롬프트들에 섞어서 <pose-reze>를 넣으면 포즈에디터에서 프리셋 선택같은걸 안해도

저장한 reze의 포즈를 적용시켜줍니다.

그러므로 포즈태그를 적절한 프롬프트를 함께 저장하면 완전한 포즈프리셋을 만들 수 있습니다

더불어서 <pose-reze:1:0:80> 이렇게 포즈컨트롤넷의 강도, 시작%, 끝%도 텍스트로 전부 설정할 수 있습니다

그래서 원하는 만큼 포즈의 강약을 쉽게 조절해서 자유도를 줄 수 있으며 텍스트기반이므로

와일드카드로 매번 수치가 바뀌게도 만들 수 있습니다

 

# 오픈포즈 에디터 기능 ( OpenPose Editor )

오픈포즈는 뼈대를 감지해주는 노드들로 전처리를 하는게 보통입니다만

제대로 감지된다는 보장은 없습니다. 특히나 애니메이션 케릭의 경우는 높은 확률로 제대로 감지하지 못합니다

저정도면 그래도 잘나온거고

이런 수준으로 나오는게 넘치죠. 그래서 이를 보정해주기위해, 혹은 아예 따라 그리기위해

반드시 포즈에디터가 필요합니다. 이 에디터가 잘만들어지는 조건은

1. 배경을 볼 수 있어야함 (그래야 따라 그릴 수 있으니..)
2. 수정이 간편하고 편리해야함 (3D에디터는 이부분에서 본말이 전도되었다고 봄)
3. 버그가 없어야함

 

마지막에 버그가 없어야 하는건 조건정도가 아니라 당연한 얘기지만

불행히도 버그가 없는 포즈에디터를 본적이 없다는게 문제.. 

그래서 이 3가지를 충족하려고 열심히 제가 만든..건 아니고 AI를 갈궜습니다

코덱스, 클로드, 제미니를 골고루 갈궜고 주로 클로드가 80%이상했죠

여하튼 열심히 갈군결과 3가지 조건을 다 만족하는 에디터를 만들 수 있었습니다

저 수준이면 직접 만들어야되지만

배경만 보이면 사실 뼈대 만드는건 그리 어려운건 아닙니다

2분정도면 뚝딱이죠

더불어 사이즈도 조절, 물론 배경을 처음부터 알맞게 크롭하고 시작하는게 원정석

완성후 포즈프리셋에 InAir 라고 저장하면 프리뷰에 이렇게 나옵니다

그걸 이제 프롬프트와 함께 Pose태그를 쓰면 적용이 되는거죠

또한 comfyui-custom-scripts (pysssss)  노드가 설치되어 있다면(거의 필수급이니 이미 설치되어있을거임)

자동완성을 지원합니다. 다만 새포즈 추가시 이건 브라우저 새로고침해야 새포즈가 추가되어 나옵니다

마지막으로 텍스트프리셋 노드를 이용한 (프롬프트+포즈) 프리셋 적용예시

위와 같이 다른 프롬프트 프리셋 노드와 조합하면 완성입니다.

(참고로 위의 TextBuilder는 아직 포함된 상태는 아님)

 

# 그 외 

상단 설정버튼 (⚙) 클릭하면 설정창이 뜹니다.

그냥 컨트롤넷 기능을 켰을때 적용되는 설정들과 중간에 Pose json 텍스트창 켜기끄기 기능

위에껀 켜져있고 pose_input 이 연결되어 제대로된 값이 들어온다면

컴피를 실행때마다 포즈값을 받아옴, 꺼져있으면 배경화면외에 포즈값을 받지 않음

아래껀 말그대로 컨넷을 켜고 끄는거, 포즈태그없이 테스트등을 할때 주로 사용

단, 포즈태그가 들어올 경우 컨트롤넷 on, off 여부랑 관계없이

무조건 컨트롤넷이 적용됩니다. 포즈태그를 쓴다는 말은

컨트롤넷을 쓰겠다는 의도가 명확하니까요

 

포즈태그의 문법은

<pose-프리셋이름:강도:시작:끝>

예를들면 <pose-gym02:1:0:40> 이런식이고

만약 값이 없는 부분이 있다면 원래 세팅된 값을 사용합니다.

<pose-gym02:1:0> 이럴 경우 강도는 1, 시작%는 0, 끝%는 세팅한 값을 사용하는거죠