เจาะลึก ControlNet ใน Stable Diffusion [Part8]

จากประสบการณ์ที่ใช้เครื่องมือ AI Gen รูปมาหลายตัว พบว่า สิ่งที่ทำให้ Stable Diffusion โดดเด่นมากเมื่อเทียบกับเครื่องมืออื่นๆ นั่นก็คือสิ่งที่เรียกว่า ControlNet นั่นเอง

แม้ว่าก่อนหน้านี้ผมจะมีการเขียนถึง ControlNet ไปแล้วทีนึง แต่มันก็ผ่านมาหลายเดือนแล้ว (หลายเดือนในโลกของ AI นี่คือนานมากกกก) ตอนนี้ ControlNet เก่งขึ้นกว่าเดิมมากๆ แล้ว จนผมต้องขอกลับมาพูดถึงมันอีกครั้ง โดยที่นอกจากจะอธิบายว่าแต่ละตัวคืออะไรแล้ว จะบอกวิธีการประยุกต์ใช้งานด้วย จะได้สามารถเอาไปใช้ได้ในงานจริงๆ ได้ครับ

ก่อนอื่นให้ทุกคน Update ControlNet เป็น Version ล่าสุดเท่าที่จะทำได้ (ณ ที่ผมเขียนบทความอยู่นี่ ผมใช้ ControlNet v1.1.224 ซึ่งจะมี Model Preprocessor ให้เลือกใช้มากมายเลยล่ะ แต่ในอนาคตก็คงโผล่เพิ่มมาอีกเรื่อยๆ

สารบัญ

รวมบทความ Stable Diffusion

Setting ต่างๆ ที่สำคัญของ ControlNet ที่ควรรู้จัก

Mode ของ ControlNet

Balanced : เป็นโหมดการทำงานมาตรฐาน ซึ่ง ControlNet จะถูกใช้กับทั้งส่วน Conditioned และ Unconditioned (ในขั้นตอนการสุ่มตัวอย่าง
My prompt is more important: เน้นที่ Prompt ของเรามากกว่า โดยทำให้ผลของ ControlNet จะลดลงอย่างเรื่อย ๆ ตลอดการทำงานของ U-Net
ControlNet is more important : เน้นความสำคัญของ ControlNet โดย CFG scale จะทำหน้าที่เป็นตัวคูณสำหรับผลของ ControlNet ด้วย

Resize mode

ควบคุมวิธีการจัดการเมื่อขนาดของภาพต้นฉบับมี “อัตราส่วนของรูป” ที่แตกต่างจากขนาดของภาพที่เราจะ Gen ออกมา

Just Resize : ปรับขนาดความกว้างและความสูงภาพต้นฉบับ (เช่น ภาพมนุษย์ก้าง) เพื่อให้พอดีกับอัตราส่วนภาพที่เราจะ Gen
Crop and Resize : Crop ภาพต้นฉบับ (เช่น ภาพมนุษย์ก้าง) เพื่อให้พอดีกับอัตราส่วนภาพที่เราจะ Gen
Resize and fill : ปรับขนาดภาพต้นฉบับ (เช่น ภาพมนุษย์ก้าง) ให้พอดีกับอัตราส่วนโดย”เติมค่าที่ว่างเปล่า” เพื่อให้มีขนาดเท่ากับภาพที่เราจะ Gen

ป.ล. ถ้าติ๊ก Pixel Perfect มีการปรับขนาดให้เหมาะสมโดยอัตโนมัติ ผมนะนำให้ติ๊กด้วย

ความสามารถของแต่ละ Model และ Preprocessor ที่ใช้คู่กัน

ผมจะพยายามเรียง Model ที่คล้ายกันมาอยู่ด้วยกัน (ไม่ได้เรียงตามตัวอักษร) เพื่อนๆ จะได้เทียบความแตกต่างได้ชัดเจนขึ้นนะครับ

หมายเหตุ : ทุก Model อาจจะใช้ Preprocessor เป็น None ได้ หากว่ารูปต้นฉบับผ่านการ Process มาตามที่ Model นั้นๆ ต้องการเรียร้อยแล้ว เช่น Model Openpose ต้องการรูปมนุษย์ก้าง หากรูปที่เราใส่เป็นมนุษย์ก้างอยู่แล้ว ก็ใช้แบบ None ได้เลย

หมายเหตุ 2 : เราสามารถเปิดใช้ ControlNet ได้หลายตัวพร้อมกัน (Multi-ControlNet) โดยไปเปิดใน Setting ได้นะครับ

Prompt ที่ใช้

(best quality:1.4), (ultra highres:1.2), (photorealistic:1.4), (8k, RAW photo:1.2), (beautiful woman wearing jeans:1.4)

Negative prompt: paintings, sketches, (worst quality,low quality,normal quality:2), lowres, ((monochrome)), ((grayscale))

Steps: 30, Sampler: DPM++ SDE Karras, CFG scale: 7, Seed: 1352808870, Size: 512x768, Model hash: e4a30e4607, Model: majicmixRealistic_v6, Version: v1.3.0

ผลที่ได้ (แบบไม่มีการ Control)

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 2

รูปอ้างอิงที่จะใช้ใน ControlNet

วิธีการที่จะได้รูปต้นแบบมาเป็นตัวควบคุมนั้นทำได้หลายอย่าง เช่น

เอามาจาก internet
Gen ขึ้นมาด้วย SD เอง
Gen ขึ้นมาด้วย AI ตัวอื่น เช่น MidJourney
ใช้เครื่องมือ เช่น Blender3D หรือ https://app.posemy.art/ ในการสร้าง 3D Model ก่อนจะเอาออกมาเป็น Reference ก็ได้

อันนี้ตัวอย่างว่าเราสามารถกำหนดท่าทางใน https://app.posemy.art/ ได้เลย แล้วอาจเอามาใช้เป็นแบบ สำหรับ OpenPose , Depth, Canny, Normal ก็ได้ (เดี๋ยวตอนใน Model จะเห็นว่าแต่ละอันควบคุมอะไร)

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 3

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 4 — รูปปกติ

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 5 — Canny

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 6 — depth

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 7 — normal

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 8 — openpose

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 9 — openpose+hand

เอาล่ะ แต่ในตัวอย่างของบทความนี้ ผมจะใช้รูปสมจริงนี้ใน ControlNet โดยใช้ร่วมกับ Prompt ข้างบน

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 10

เอาล่ะ เรามาดูกันว่าถ้าใช้รูปอ้างอิงข้างต้นเป็นตัวควบคุมในแต่ละ Model จะให้ผลเป็นยังไงในแต่ละ Preprocessor ด้วย

ควบคุมมนุษย์โดยเฉพาะ

Model: Openpose

OpenPose สามารถตรวจจับจุดสำคัญของร่างกายของมนุษย์ เช่น ตำแหน่งของหัว แขน ขา มือ หรือแม้แต่สีหน้าได้ เราจะใช้ Model นี้เพื่อควบคุมท่าทางของมนุษย์ โดยไม่ต้องลอกเลียนรายละเอียดอื่น ๆ เช่น เสื้อผ้า, ทรงผม และพื้นหลัง

openpose : = body (ควบคุมร่างกาย) คือ ตา, จมูก, ตา, คอ, ไหล่, ข้อศอก, ข้อมือ, ข้อเข่า, และข้อเท้า

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 11

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 12

openpose_face : openpose + รายละเอียดบนใบหน้า

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 13

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 14

openpose_faceonly : รายละเอียดใบหน้าอย่างเดียว

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 15

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 16

openpose_hand : openpose + มือ (ตำแหน่งนิ้ว)

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 17

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 18

openpose_full : openpose + face + hand

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 19

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 20

Tips: เราสามารถใช้คู่กับ extension https://github.com/huchenlei/sd-webui-openpose-editor เพื่อสามารถกด Edit เพื่อดัดแปลงมนุษย์ก้างที่ Preprocess มาให้ได้ดั่งใจมากขึ้นได้ด้วยนะ (จริงๆ มีหลาย Extension เลย ที่ edit Openpose ได้)

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 21

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 22

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 23

กลุ่มควบคุมด้วยลายเส้น

Model: Canny

ใช้ Canny Edge Detector ในการดึงเอา “เฉพาะเส้นขอบ” ของภาพออกมา ทำให้สามารถสร้างภาพที่มีโครงเหมือนภาพต้นฉบับได้

Canny

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 24

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 25

Model: Scribble

ควบคุมภาพแบบใช้ลายเส้นที่ชุ่ยๆ เหมือนวาดด้วยเด็กน้อย หรือคนที่วาดรูปไม่เก่ง

scribble_hed : Holistically-Nested Edge Detection (HED) เป็นตัวตรวจจับขอบที่ดีในการสร้างเส้นขอบเหมือนคนจริงๆ เหมาะสำหรับการเปลี่ยนสีและการเปลี่ยนรูปแบบภาพ

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 26

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 27

scribble_pidinet : ระบบสำหรับตรวจจับเส้นโค้งและเส้นตรงโดยใช้เทคนิคของ Pixel Difference network (Pidinet) ผลลัพธ์คล้ายกับ HED แต่จะได้เส้นที่สะอาดกว่าและมีรายละเอียดน้อยลง (เหมาะสำหรับการคัดลอกเส้นเค้าโครงโดยไม่ต้องคำนึงถึงรายละเอียดละเอียดที่เล็กน้อย)

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 28

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 29

scribble_xdog : วิธีการตรวจจับขอบแบบ EXtended Difference of Gaussian (XDoG) เวลาใช้ สามารถปรับค่าเกณฑ์ xDoG เพื่อให้ผลเปลี่ยนไปได้ (เลขเยอะจะทำให้รายละเอียดน้อยลง)

xDog 1

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 30

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 31

XDog32

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 32

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 33

Xdog64

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 34

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 35

Model: Softedge

เป็นเหมือนตัวกึ่งกลางระหว่าง Canny กับ Scribble

มีหลายตัว เช่น

softedge_hed

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 36

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 37

softedge_pidinet

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 38

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 39

softedge_hedsafe

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 40

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 41

softedge_pidisafe

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 42

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 43

แนวทางการใช้งาน

คุณภาพผลลัพธ์ : SoftEdge_HED > SoftEdge_PIDI > SoftEdge_HED_safe > SoftEdge_PIDI_safe
ความยืดหยุ่น : SoftEdge_PIDI_safe > SoftEdge_HED_safe >> SoftEdge_PIDI > SoftEdge_HED
ผู้จัดทำแนะนำให้ใช้ : SoftEdge_PIDI

Model: MLSd

MLSD (Mobile Line Segment Detection) เป็นตัวตรวจจับเฉพาะเส้นตรง (โดยไม่สนใจเส้นโค้งหรือเส้นที่ไม่ตรงเป๊ะๆ เลย) มักใช้ในการสกัดเส้นขอบที่มีขอบตรง เช่น การออกแบบอาคาร, ตกแต่งภายใน, ฉากถนน, กรอบรูป, และขอบกระดาษ

MLSd

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 44

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 45

Model: Lineart

เป็น Model ที่มาใหม่ แต่ทรงพลังมาก มันสามารถแสดงเส้นขอบของภาพ โดยที่เรากำหนดรูปแบบของเส้นให้เหมาะกับรูปต้นฉบับได้

lineart_realistic : เส้นสไตล์สมจริง

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 46

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 47

lineart_coarse : เส้นสไตล์สมจริงโดยมีความหยาบๆ มากกว่า (จำนวนเส้นจะน้อยลง)

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 48

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 49

lineart_standard (from white background and black lines) : ภาพจากเส้นขาวดำอยู่แล้ว (พอเอามาใช้กับภาพปกติ เลยประหลาด เพราะเหมาะกับรูปต้นแบบที่เป็นเส้นอยู่แล้วนั่นเอง)

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 50

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 51

Model: Lineart Anime

ออกแบบมาเพื่อใช้ควบคุมภาพสไตล์ anime โดยเฉพาะ (พอเอามาใช้กับ Reference ภาพจริงจะแปลกๆ หน่อยนะ)

lineart_anime : เส้นสไตล์อนิเมะ

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 52

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 53

lineart_anime_denoise : เส้นสไตล์อนิเมะแบบลดรายละเอียดการควบคุมลง

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 54

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 55

กลุ่มควบคุมด้วยความลึก/พื้นที่

Model: Depth

ควบคุมข้อมูลความลึกของรูปจากภาพอ้างอิง ออกมาเป็นภาพ grayscale

depth_midas : ได้เฉพาะความลึกตัวแบบออกมา

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 56

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 57

depth_leres : ได้ความลึกตัวแบบและพื้นหลังออกมาด้วย

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 58

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 59

depth_leres++ : ได้ความลึกตัวแบบและพื้นหลังออกมาเยอะที่สุด

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 60

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 61

depth_zoe : เน้นควบคุม Object ค้อนข้างคล้ายๆ depth_midas

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 62

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 63

Model: Normal

ใช้ระบุลักษณะพื้นผิวของ Object คล้ายกับการใช้งาน Depth Map มักใช้ในการถ่ายทอดโครงสร้างสามมิติของภาพต้นแบบ

normal_bae : มักได้พื้นผิวทั้ง Object และ Background

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 64

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 65

normal_midas : มักได้พื้นผิวของ Object หลักอย่างเดียว

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 66

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 67

Model: Seg

Seg ในที่นี้คือ Segmentation หรือการแบ่งกลุ่ม จะทำการบอกประเภทของวัตถุที่อยู่ในภาพอ้างอิงออกมาได้ด้วยสีที่แตกต่างกัน ใช้เพื่อควบคุมตำแหน่งและรูปร่างของวัตถุที่เราต้องการได้แบบเป๊ะๆ

seg_ofade20k : การแบ่งกลุ่ม UniFormer (uf) ที่ฝึกสอนด้วยชุดข้อมูล ADE20K

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 68

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 69

seg_ofcoco : การแบ่งกลุ่ม OneFormer (of) ที่ฝึกสอนด้วยชุดข้อมูล ADE20K

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 70

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 71

seg_ufade20k : การแบ่งกลุ่ม OnFormer ที่ฝึกสอนด้วยชุดข้อมูล COCO

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 72

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 73

กลุ่มพิเศษ

Model: IP2P สั่งเปลี่ยนรูปตามต้องการ

IP2P หรือ Instruct Pix2Pix ทำให้เราสามารถ “สั่ง” ให้รูปผลลัพธ์เปลี่ยนไปได้ตามต้องการ เป็นตัวที่สนุกมากๆๆ ขอบอกเลยครับ โคตรชอบ

โดยใส่รูปที่ต้องการสั่ง แล้วเลือก Preprocessor เป็น None

(best quality:1.4), (ultra highres:1.2), (photorealistic:1.4), (8k, RAW photo:1.2),  make woman very strong and muscular

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 74

(best quality:1.4), (ultra highres:1.2), (photorealistic:1.4), (8k, RAW photo:1.2),  (make room on fire:1.4)

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 75

Shuffle

ตัวแปรก่อนประมวลผล Shuffle จะทำการ Random หมุนกวนภาพต้นฉบับแบบสุ่ม (ขึ้นกับ seed) สามารถใช้ในการถ่ายทอดแบบสีของภาพอ้างอิงได้

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 76

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 77

กลุ่ม T2IA

t2ia_color_grid : จะควบคุมสีของรูปได้ โดยใช้วิธีลดขนาดภาพอ้างอิงลงถึง 64 เท่าแล้วขยายกลับเป็นขนาดเดิม ผลลัพธ์ที่ได้คือ ผลเป็นแบบตารางที่ประกอบด้วยสีเฉลี่ยของพื้นที่เดิม โดยต้องใช้คู่กับ Model t2iadapter_color

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 78

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 79

t2ia_sketch_pidi : คล้ายๆ พวก Model ควบคุมโครงภาพ โดยต้องใช้คู่กับ Model t2iadapter_sketch

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 80

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 81

t2ia_style_clipvision : ใช้ทำ Style Transfer ได้ โดยแปลงภาพอ้างอิงเป็น CLIP Vision Embedding การฝังภาพนี้ประกอบด้วยข้อมูลเนื้อหาและสไตล์ของภาพเดิม โดยต้องใช้คู่กับ Model t2iadapter_style

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 82

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 83 — nude เฉยเลย

กลุ่ม Reference

ช่วยให้สามารถสร้างภาพที่คล้ายกับภาพอ้างอิงได้

reference_only : เลียนแบบรูป Reference

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 84

reference_adain : ใช้กับการเลียนแบบ Style จากรูป Reference (Style transfer)

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 85

reference_adain+attn : ทำข้างบนทั้งคู่

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 86

กลุ่มที่มักต้องใช้คู่กับเครื่องมืออื่น

Model: Tile

เราใช้อันนี้ใน img2img โดยไม่ต้องใส่รูปใน ControlNet

tile_resample : ใช้สำหรับเพิ่มรายละเอียดในภาพ “มักใช้ร่วมกับ Upscaler” (เช่น Script Ultimate Upscale + Model 4x-Ultrasharp) เพื่อขยายภาพให้ใหญ่ขึ้นไปโดยที่ภาพจะไม่ค่อยเพี้ยนจากเดิม แม้จะ denoise ค่อนข้างสูงก็ตาม (ถ้าใส่ down sampling rate เยอะ ภาพจะเปลี่ยนจากเดิมได้มากขึ้น)

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 87 — denoise 0.7 ยังไม่พังเลย

tile_colorfix : เหมือน tile resample แต่พยายามทำให้สีไม่เพี้ยนจากต้นแบบ (แม้ว่าจะ conflict กับ prompt) ถ้าเป็นรูปสมจริงอาจะไม่ค่อยเห็นผลนัก

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 88

tile_colorfix+sharp : เหมือน tile colorfix แต่พยายามทำให้ภาพคมชัดมาก (ปรับ sharpness ได้)

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 89 — sharpness 1

Model: Inpaint

เป็น Model ที่ “ใช้ตอน Inpaint” ซึ่งจำทำให้ได้ผลลัพธ์ที่ดีขึ้นมากๆ

วิธีใช้งาน Model นี้มี 2 แบบ คือ

ใช้ใน Mode Text to IMG : สามารถใส่รูปต้นฉบับเข้า ControlNet แล้ว Inpaint ในนั้นแล้ว Gen ตามปกติได้เลย รูปจะมีการแก้เฉพาะพื้นที่ที่เรา Inpaint โดยจะไม่มีอิธิพลที่ต้อง denoise จาก img2img มายุ่งด้วยเลย รายละเอียดดูได้ที่คลิปนี้
ใช้ในโหมด Inpaint ของ IMG2IMG : อันนี้รูปต้นฉบับให้ใส่ใน Inpaint ไม่ต้องใส่ใน ControlNet ช่วยให้สามารถใช้ Denoising Strength ที่ค่อนข้างเยอะตอน Inpaint ได้โดย ภาพรวมไม่เละ (เช่น ไม่มีหัวงอก แขนขางอก)

สมมติ Prompt ตอน inpaint แบบนี้

(best quality:1.4), (ultra highres:1.2), (photorealistic:1.4), (8k, RAW photo:1.2), (jeans:1.4)

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 90 — พื้นที่ Mask

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 91 — Inpaint แบบ Fill Denoise 0.6 แบบไม่เปิด ControlNet
จะเห็นว่ามีความเพี้ยนเกิดขึ้นพอสมควร

inpaint_global_harmonious :

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 92

inpaint_only :

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 93

inpaint_only+lama : ตัวนี้ผลลัพธ์ค่อนข้างเจ๋งสุดๆ ไปเลย (LaMa คือ Resolution-robust Large Mask Inpainting with Fourier Convolutions เป็น Model ที่ฉลาดเรื่องการ Inpaint มากๆ)

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 94

Outpainting!

ตัว inpaint_only+lama มักใช้เพื่อเลียนแบบการ Outpaint ได้ด้วย แต่จะเจ๋งกว่า Outpaint ปกติมากๆ

prompt คือ

(best quality:1.4), (ultra highres:1.2), (photorealistic:1.4), (8k, RAW photo:1.2),( full body shot:1.5), (woman looking at viewer:1.4), casual cloth, ( pants),  in living room, (windows:1.3), (plant and vase:1.2), (lamp :1.4), (cupboard:1.1)

เปรียบเทียบให้ดูกับ Script ปกติ

ใช้ Script Outpainting mk2 ในโหมด Img2Img

ผลลัพธ์เกือบจะดีแล้ว แต่มีความเพี้ยนตรงรอยต่อจากภาพเดิม เช่น ขอบโซฟา เป็นต้น

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 95

ถ้าจะใช้ inpaint_only+lama

วิธีที่ 1: ใช้ Txt2Img สามารถใช้โหมด Txt2Img แต่ใส่รูปต้นแบบใน ControlNet กำหนดขนาดผลลัพธ์ตามต้องการได้เลย แล้วให้เลือก ControlNet Mode เป็น Resize and Fill และ ControlNet is more important

เราจะพบว่าผลลัพธ์นั้นดูดีกว่าเดิมมาก

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 96

วิธีที่ 2 ใช้ img2Img : ทำเหมือนกันเลย แต่ใส่รูปใน Img2Img ด้วย แล้วปรับค่า Denoise เช่นได้ตามใจชอบ (แนะนำ 0.6 ขึ้นไป และ สามารถใส่สูงถึง 1 ได้เลย)

แล้วใน ControlNet ก็ใส่รูปต้นแบบด้วย (ใส่รูปต้นแบบทั้ง 2 ที่) แล้วให้เลือก ControlNet Mode เป็น Resize and Fill และ ControlNet is more important เช่นกัน

ผมลองปรับ Denoise ให้ดูหลายๆ ค่า (ยิ่ง Denoise น้อย จะยิ่งคล้ายๆ พื้นที่เดิม)

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 97 — denoise 0.6

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 98 — denoise 0.8

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 99 — denoise 1

ผลออกมาได้เทพมาก! ผลลัพธ์พอๆ กับใช้ Generative Fill ของ Photoshop Beta ที่เสียตังแพงๆ เลย แต่ใน SD ใช้ฟรี!!

การประยุกต์

จริงๆ พอเรารู้ว่ามันควบคุม Object ด้วยวิธีต่างๆ ที่ผมบอกข้างบนแล้ว จริงๆ เราก็สามารถเอาภาพที่ Preprocess ได้มาดัดแปลง ปรับปรุงให้เข้าทางเราได้มากขึ้น

ตัวอย่าง : Segmentation

เช่น ใน Segmentation เราใช้สีที่แตกต่างกันในการกำหนด Object ได้ แบบนี้เราก็สามารกำหนดได้เลยว่าจะมี Object อะไรอยู่ตรงไหน (แต่ถ้าให้ดีควร Prompt ช่วยด้วย)

เช่น ผมจะเอาพืชไปพันรอบตัวผู้หญิง ผมก็สามารถใช้ Photo Editor อย่าง Photoshop หรือ Photopea ไปวาดรูปเพิ่มให้สีของพืชพันตัวผู้หญิงในตำแหน่งที่ต้องการได้เลย

(best quality:1.4), (ultra highres:1.2), (photorealistic:1.4), (8k, RAW photo:1.2), (beautiful woman wearing jeans:1.4), (get tied by plant vine:1.4)

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 100 — ไปวาดรูปเพิ่มใน Photo Editor ให้สีของพืชพันตัวผู้หญิง

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 101 — เราก็จะควบคุมผลลัพธ์ได้ดีขึ้น

นอกจากนี้เรายังประยุกต์ในการดัดแปลงภาพโครงลายเส้นต่างๆ ให้มีสิ่งที่เราต้องการได้เช่นกันด้วยการวาด หรือตัดต่อเข้าไป

ตัวอย่าง : Scribble

อันนี้ใช้ Scribble แล้วไปดัดแปลงใน Photopea เพื่อเปลี่ยนรูปให้ได้ดั่งใจ

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 102

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 103

ตัวอย่าง Multi-ControlNet

เราสามารถใช้ ControlNet หลาย Model ร่วมกันได้ ซึ่งเราสามารถเล่นอะไรแปลกๆ ได้ตามใจชอบ ซึ่งในที่นี้ผมขอใช้ตัวที่ไม่ conflict กันมากนัก

OpenPose + Shuffle

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 104

OpenPose + TiAdapter Color

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 105

MLSD + TiAdapter Color

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 106

MLSD+Shuffle

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 107

ลอง Mix & Match เล่นๆ : ใช้ Preprocessor ที่ไม่ใช่ของ Model

ใช้ Segment ใน TiColor

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 109

ใช้ TiColor ใน Model Segmentation

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 111

ใช้ TiColor ใน Tile

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 113

ใช้ OpenPoseใน Scribble

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 115

ใช้ OpenPoseใน Soft Edges

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 117

ความ Creative ไม่มีที่สิ้นสุด!!

Unofficial Model

สร้าง QR Code

ใช้สร้างรูปที่ใช้ QR Code เป็น Reference เพื่อให้สามารถ Scan ในฐานะเป็น QR Code ได้ ซึ่งมี 2 แนวทางที่ใช้ Model ต่างกัน แต่ก่อนอื่นเรามาเตรียมรูป QR ก่อน

อันนี้รูป QR Code ต้นแบบ

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 118

(สร้างจากที่นี่ https://dnschecker.org/qr-code-generator.php
โดยให้ย่อ Link ให้สั้นก่อน แล้วค่อยเอาไปทำ QR
โดยเลือก Error Correction เป็น H=High)

วิธีที่ 1 ใช้ Brightness Model

ControlNet Brightness Model (ควบคุมความสว่าง) : ไปโหลดที่นี่

อันนี้ผมใช้ Brightness (ปรับ Weight ให้เหมาะ) และปรับ Model Resize & Fill (ผม Gen ภาพ 512×768) และ Control Start & End ให้ดี

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 119

วิธีที่ 2 ใช้ ControlNet QR Code Model

ControlNet QR Code Model : (ใช้ทำ QR โดยเฉพาะ) ต้องไปโหลดเพิ่มที่นี่ (โหลดทั้ง model และ yaml)

อันนี้ผมใช้ Model QR Code ซึ่งเท่าที่ลอง มีประเด็นสำคัญดังนี้

ต้อง Gen รูปเป็นจตุรัส เช่น 768×768 ถึงจะ Work
ต้องปรับ Control Weight ให้มากกว่า 1 เช่น 1.6 ขึ้นไปเลย ไม่งั้นจะ Scan ไม่ติด
เลือก Preprocessor เป็น Invert จะได้ลายสีดำ (ค่าปกติจะได้ลายสีขาว)

นอกจากนี้เรายังสามารถ พลิกแพลงใช้ร่วมกันหลายๆ อย่าง เช่น ผม Gen รูปนี้ออกมาก่อนด้วย Txt2img ปกติ โดยยังไม่ Control อะไรเลย

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 120

จากนั้นลองเอารูปที่ได้ไปใช้เป็นตัว Control Model ControlNet อื่นๆ ที่จะใช้ Gen คู่กับ ControlNet QR Code (ในที่นี้ผมใช้ Openpose ช่วยคุมอีกก็ได้)

ผลของผมที่ออกมาได้แบบนี้

เจาะลึก ControlNet ใน Stable Diffusion [Part8] 121

ซึ่ง iphone ของผม scan ติดด้วยนะ 5555

สรุป

เห็นรึยังว่า “ControlNet โคตรทรงพลัง!” ดังนั้น.. หัดใช้ให้เป็นเถอะครับ!!

ใครสนใจอยากใช้ Excel ได้ดีขึ้น อัตโนมัติขึ้น แนะนำ ลองดู Workshop นี้ได้เลย ตอนนี้กำลังจะอบรมแล้ว

แนะนำ Power Query WORKSHOP 2025

โดย เทพเอ็กเซล พร้อมยกระดับทักษะการใช้ Excel ให้คุณทำงานได้เร็วและแม่นยำยิ่งขึ้น!

รวบรวม+ดัดแปลง Data เพื่อเตรียมข้อมูลก่อน Pivot ให้พร้อมแบบอัตโนมัติ ด้วย Power Query
สอนตั้งแต่เบื้องต้น จนถึงแก้ไข M Code ด้วยตัวเองได้ 🔥

เลือกรูปแบบการเรียนที่สะดวกสำหรับคุณ:

ONSITE (2 วันเต็ม) – ได้เจอวิทยากรตัวจริง!

17-18 พ.ค. 68 | 9:00 – 17:00 น. | Sindhorn Midtown Hotel
ราคาพิเศษ 7,000 – 7,500 บาท/ท่าน (รวม VAT) (ปกติ 8,500 บาท)
Early Bird ชำระก่อน 30 เม.ย. + ลูกค้าเก่า Workshop มีส่วนลดพิเศษ

LIVE ONLINE (6 วัน วันละ 2 ชม.) – เรียนจากที่ไหนก็ได้!

13-15 & 20-22 พ.ค. 68 | 20:00 – 22:00 น. | ผ่าน Zoom
ราคาพิเศษ 4,000 – 4,500 บาท/ท่าน (รวม VAT) (ปกติ 5,500 บาท)
Early Bird ชำระก่อน 30 เม.ย. + ลูกค้าเก่า Workshop มีส่วนลดพิเศษ

สมัครเลย! ดูรายละเอียดเพิ่มเติมที่นี่ https://www.thepexcel.com/thepexcel-public-workshop-2025/

สอบถามเพิ่มเติม: LINE: @ThepExcelWorkshop ได้เลย

One response to “เจาะลึก ControlNet ใน Stable Diffusion [Part8]”

สอนใช้ ComfyUI EP06 : เพิ่มพลังควบคุมภาพ AI ด้วย ControlNet – Thep Excel

April 12, 2024

[…] ในบทความนี้เราจะพูดถึง ControlNet ยอดนิยมแค่ 4 ตัวเท่านั้น แต่ถ้าใครอยากรู้ว่า ControlNet ทั้งหมดมีอะไรบ้าง ลองไปอ่านบทความเก่าของผมได้ที่นี่ […]

Reply

Cookie	Duration	Description
cookielawinfo-checkbox-analytics	11 months	This cookie is set by GDPR Cookie Consent plugin. The cookie is used to store the user consent for the cookies in the category "Analytics".
cookielawinfo-checkbox-functional	11 months	The cookie is set by GDPR cookie consent to record the user consent for the cookies in the category "Functional".
cookielawinfo-checkbox-necessary	11 months	This cookie is set by GDPR Cookie Consent plugin. The cookies is used to store the user consent for the cookies in the category "Necessary".
cookielawinfo-checkbox-others	11 months	This cookie is set by GDPR Cookie Consent plugin. The cookie is used to store the user consent for the cookies in the category "Other.
cookielawinfo-checkbox-performance	11 months	This cookie is set by GDPR Cookie Consent plugin. The cookie is used to store the user consent for the cookies in the category "Performance".
viewed_cookie_policy	11 months	The cookie is set by the GDPR Cookie Consent plugin and is used to store whether or not user has consented to the use of cookies. It does not store any personal data.