วิธีการใช้ LoRA กับ FLUX AI: คู่มือที่ครอบคลุม

FLUX AI ได้ปฏิวัติการสร้างภาพด้วย AI โดยนำเสนอผลลัพธ์ที่เหมือนจริงอย่างมากซึ่งมักจะเกินกว่าทางเลือกที่ได้รับความนิยม ด้วยการรวม FLUX กับโมเดล LoRA (Low-Rank Adaptation) ศิลปินและผู้สนใจสามารถปลดล็อคขอบเขตใหม่ของความคิดสร้างสรรค์ คู่มือที่ครอบคลุมนี้จะพาคุณผ่านกระบวนการการใช้

Build APIs Faster & Together in Apidog

วิธีการใช้ LoRA กับ FLUX AI: คู่มือที่ครอบคลุม

Start for free
Inhalte

FLUX AI ได้ปฏิวัติการสร้างภาพด้วย AI โดยนำเสนอผลลัพธ์ที่เหมือนจริงอย่างมากซึ่งมักจะเกินกว่าทางเลือกที่ได้รับความนิยม ด้วยการรวม FLUX กับโมเดล LoRA (Low-Rank Adaptation) ศิลปินและผู้สนใจสามารถปลดล็อคขอบเขตใหม่ของความคิดสร้างสรรค์ คู่มือที่ครอบคลุมนี้จะพาคุณผ่านกระบวนการการใช้ LoRA กับ FLUX AI โดยให้คำแนะนำรายละเอียด ลิงก์ไปยังแหล่งข้อมูลที่จำเป็น และแนวปฏิบัติที่ดีที่สุด

หากคุณไม่ต้องการที่จะผ่านกระบวนการทั้งหมดนี้และต้องการใช้ FLUX AI ทันที ก็มีวิธีแก้ไขอื่นสำหรับคุณAnakin AI เสนอ FLUX AI ฟรี พวกเขามีโมเดล FLUX ทั้งหมดรวมถึงFLUX Pro ,FLUX Realism LoRA และFLUX.1 Schnell. ไปดูพวกเขาด้วยนะ

เข้าใจ LoRA และ FLUX

LoRA หรือ Low-Rank Adaptation คือเทคนิคที่ช่วยให้ปรับแต่งโมเดลภาษาขนาดใหญ่โดยไม่จำเป็นต้องฝึกโมเดลทั้งหมดใหม่ เมื่อใช้กับ FLUX AI โมเดล LoRA สามารถปรับเปลี่ยนเช็คพอยต์พื้นฐานของ FLUX เพื่อให้ได้สไตล์ ตัวละคร หรือเอฟเฟกต์ทางศิลปะที่เฉพาะเจาะจง FLUX AI ซึ่งพัฒนาโดย Stability AI เป็นที่รู้จักในด้านความสามารถในการสร้างภาพที่ละเอียดและมีความเหมือนจริงอย่างมาก โดยการรวมโมเดล LoRA ผู้ใช้สามารถเสริมสร้างความสามารถของ FLUX และปรับแต่งผลลัพธ์ให้ตรงตามความต้องการของตน

การตั้งค่าโปรแกรม

เพื่อใช้ LoRA กับ FLUX AI คุณจะต้องตั้งค่าสภาพแวดล้อมซอฟต์แวร์ที่เหมาะสม:

  1. ติดตั้ง SD Forge WebUI ซึ่งให้การสนับสนุนที่ยอดเยี่ยมสำหรับโมเดลและ LoRA ของ FLUX
    ดาวน์โหลด: https://github.com/lllyasviel/stable-diffusion-webui-forge
  2. ดาวน์โหลดโมเดล FLUX AI:
    https://huggingface.co/lllyasviel/flux1-dev-bnb-nf4/tree/main
  3. ดาวน์โหลด FLUX VAE:
    https://huggingface.co/black-forest-labs/FLUX.1-schnell/tree/main
  4. เพื่อการจัดการการติดตั้ง Stable Diffusion ที่ง่ายขึ้น ให้พิจารณาใช้ StabilityMatrix:
    https://github.com/LykosAI/StabilityMatrix
  5. คุณอาจต้องการ 7-Zip สำหรับการแตกไฟล์:
    https://www.7-zip.org/download.html

ตรวจสอบให้แน่ใจว่าคุณมี GPU ที่เข้ากันได้และมี VRAM อย่างน้อย 8GB (แนะนำให้ใช้ 16GB หรือมากกว่าสำหรับประสิทธิภาพที่ดีที่สุด)

ขั้นตอนโดยละเอียดสำหรับการใช้โมเดล LoRA กับ FLUX AI

ขั้นตอนที่ 1: การขอรับโมเดล LoRA

  1. เยี่ยมชม Civitai: https://civitai.com/
  2. ใช้ตัวกรองค้นหาเพื่อค้นหาโมเดล LoRA ที่เข้ากันได้กับ FLUX
  3. มองหา LoRA ที่มีแท็ก “FLUX” หรือระบุในคำอธิบายว่าเข้ากันได้กับ FLUX AI
  4. ดาวน์โหลดโมเดล LoRA ที่คุณเลือก พวกเขามักจะมาในรูปแบบ .safetensors หรือ .pt

ขั้นตอนที่ 2: การติดตั้งโมเดล LoRA

  1. ค้นหาตำแหน่งที่ติดตั้ง SD Forge WebUI ของคุณ
  2. ไปที่โฟลเดอร์ “webui/models/Lora”
  3. สร้างโฟลเดอร์ย่อยใหม่ชื่อ “Flux” เพื่อจัดระเบียบ
  4. วางไฟล์ LoRA ที่ดาวน์โหลดไว้ในโฟลเดอร์ย่อย “Flux” นี้

ขั้นตอนที่ 3: การสร้างภาพด้วย LoRA ใน Forge WebUI

  1. เปิด SD Forge WebUI และไปที่แท็บ “Stable Diffusion”
  2. ในเมนูแบบเลื่อนลง “Checkpoint” ให้เลือกเช็คพอยต์ FLUX (ควรเลือก flux1-dev เพื่อให้ได้คุณภาพที่ดีที่สุด)
  3. ไปที่ส่วน “LoRA” ของอินเตอร์เฟซ
  4. คลิก “เพิ่ม LoRA” และเลือกโมเดล LoRA ที่คุณต้องการใช้จากรายการแบบเลื่อนลง
  5. ปรับน้ำหนักของ LoRA (โดยปกติอยู่ระหว่าง 0.5 ถึง 1.0 เพื่อผลลัพธ์ที่ดีที่สุด)
  6. ในกล่องข้อความป้อนข้อความ ให้เพิ่มข้อความที่คุณต้องการ หากมีการระบุคำกระตุ้น LoRA ในเอกสาร
  7. ตั้งค่าขนาดภาพที่ต้องการ วิธีการสุ่ม และจำนวนขั้นตอน
  8. คลิก “สร้าง” เพื่อสร้างภาพของคุณโดยใช้ LoRA ที่ใช้แล้ว

เทคนิคการใช้ LoRA ขั้นสูง

การรวม LoRA หลายตัว

  1. เพิ่ม LoRA หลายตัวในส่วน LoRA ของ WebUI
  2. ปรับน้ำหนักสำหรับแต่ละ LoRA เพื่อสร้างความสมดุลของผลกระทบ
  3. ทดลองกับการรวมกันที่แตกต่างกันเพื่อให้ได้สไตล์ที่ไม่ซ้ำกัน

การใช้ LoRA กับข้อความเชิงลบ

  1. ในกล่อง “Negative prompt” ให้เพิ่มคำอธิบายขององค์ประกอบที่คุณต้องการหลีกเลี่ยง
  2. คุณสามารถใช้โมเดล LoRA ในข้อความเชิงลบโดยการเพิ่มพวกเขาด้วยน้ำหนักเชิงลบ

การปรับแต่งผลกระทบของ LoRA

  1. ทดลองกับน้ำหนัก LoRA ที่แตกต่างกันเพื่อปรับความแข็งแกร่งของผลกระทบ
  2. ใช้สไลด์ “CFG Scale” เพื่อควบคุมว่าภาพจะเข้าใกล้กับข้อความของคุณมากน้อยเพียงใด
  3. ลองใช้วิธีการสุ่มที่แตกต่างกัน (เช่น Euler a, DPM++ 2M Karras) เพื่อดูว่าแบบใดทำงานได้ดีที่สุดกับ LoRA ที่คุณเลือก

LoRA ของ FLUX ที่ได้รับความนิยมและการใช้งาน

คุณสามารถค้นหานี้และ LoRA ที่เข้ากันได้กับ FLUX อื่นๆ ได้ที่ Civitai: https://civitai.com/

  1. Flux Disney: ดีที่สุดสำหรับการสร้างตัวละครการ์ตูนในสไตล์ Disney
  • คำกระตุ้น: “flux_disney”
  • น้ำหนักที่แนะนำ: 0.7–0.9

2. Flux Realism: เสริมความจริงจังที่น่าประทับใจของ FLUX

  • คำกระตุ้น: “flux_realism”
  • น้ำหนักที่แนะนำ: 0.6–0.8

3. Flux Yarn Art: สร้างลักษณะแฮนด์เมดที่มีพื้นผิวเฉพาะตัว

  • คำกระตุ้น: “flux_yarn”
  • น้ำหนักที่แนะนำ: 0.8–1.0

4. Flux Aquarell Watercolor: สร้างภาพในสไตล์สีน้ำที่สวยงาม

  • คำกระตุ้น: “flux_watercolor”
  • น้ำหนักที่แนะนำ: 0.7–0.9

เทคนิคการกระตุ้นสำหรับ FLUX และ LoRA

  1. เริ่มต้นด้วยคำอธิบายเรื่องที่ชัดเจน: เริ่มโดยการกำหนดเรื่องหลักของภาพของคุณอย่างชัดเจน
  2. เพิ่มรายละเอียดเกี่ยวกับสไตล์ แสง และองค์ประกอบ: ระบุสไตล์ทางศิลป์ สภาพแสง และองค์ประกอบที่ต้องการเพื่อให้ได้ผลลัพธ์ที่มีความละเอียดมากขึ้น
  3. รวมคำกระตุ้น LoRA ถ้ามีการระบุ: ตรวจสอบให้แน่ใจว่ามีคำกระตุ้น LoRA ที่ถูกต้องในข้อความเพื่อเปิดใช้งานโมเดล
  4. ใช้คำศิลปะเพื่อชี้นำสไตล์: คำต่างๆ เช่น "อิมเพรสชั่นนิสต์" หรือ "ถ่ายภาพเหมือนจริง" จะช่วยนำโมเดลไปสู่สไตล์ศิลปะที่เฉพาะเจาะจง

ตัวอย่างข้อความ:
“ภาพเหมือนจริงของผู้หญิงสาวคนหนึ่ง, flux_realism, สวมชุดดอกไม้แบบโบราณ, ยิ้มอ่อน, ยืนอยู่ในสวนที่มีแสงแดด, มีการวัดความลึกของภาพ, Photography มืออาชีพ”


การแก้ปัญหาปัญหาทั่วไป

LoRA ไม่ส่งผลต่อภาพ:

  • ตรวจสอบว่า LoRA ถูกโหลดอย่างถูกต้องใน WebUI
  • ลองเพิ่มน้ำหนักของ LoRA
  • ตรวจสอบว่าคุณใช้คำกระตุ้นที่ถูกต้องในข้อความ

ข้อผิดพลาดการใช้หน่วยความจำหมด:

  • ลดความละเอียดของภาพหรือลดจำนวนกลุ่ม
  • เปลี่ยนไปใช้โหมดความแม่นยำครึ่งหนึ่ง (fp16) เพื่อลดการใช้หน่วยความจำ
  • ปิดแอปพลิเคชันที่ใช้หน่วยความจำมากอื่นๆ ที่ทำงานอยู่เบื้องหลัง

ผลลัพธ์ที่ไม่คาดคิด:

  • ตรวจสอบหาสิ่งที่ขัดแย้งในข้อความของคุณที่อาจทำให้โมเดลสับสน
  • ปรับสเกล CFG (Classifier-Free Guidance) เพื่อให้ควบคุมผลลัพธ์ได้ดียิ่งขึ้น
  • ทดลองกับวิธีการสุ่มที่แตกต่างกันเพื่อปรับแต่งภาพที่สร้างขึ้น

การฝึกสอน LoRA FLUX ของคุณเอง

สำหรับผู้ใช้ขั้นสูงที่สนใจสร้าง LoRA ที่กำหนดเอง:

  1. เตรียมชุดข้อมูลภาพ 15–30 ภาพที่มีคุณภาพสูงเพื่อแสดงสไตล์หรือหัวข้อที่คุณต้องการ
  2. สร้างไฟล์ข้อความที่สอดคล้องกับคำอธิบายที่ละเอียดสำหรับแต่ละภาพ
  3. ใช้ Repository Kohya_ss บน GitHub สำหรับสคริปต์การฝึก LoRA:
    https://github.com/bmaltais/kohya_ss
  4. แก้ไขไฟล์การตั้งค่าเพื่อระบุโฟลเดอร์ชุดข้อมูลของคุณ อัตราการเรียนรู้ และจำนวนขั้นตอนการฝึก
  5. รันสคริปต์การฝึกและติดตามค่าสูญเสียเพื่อป้องกันการเรียนรู้มากเกินไป

สำหรับผู้ใช้ Mac ที่ตั้งค่าสภาพแวดล้อมการฝึก:

แนวปฏิบัติที่ดีที่สุดสำหรับการฝึก LoRA และการใช้งาน

  • ใช้ชุดข้อมูลที่หลากหลายเพื่อสร้าง LoRA ที่หลากหลาย
  • สำหรับ LoRA ที่เกี่ยวกับตัวละคร ให้รวมท่าทาง การแสดงออก และชุดที่หลากหลาย
  • เริ่มต้นด้วยอัตราการเรียนรู้ที่ต่ำกว่า (เช่น 1e-4) และเพิ่มขึ้นตามความจำเป็น
  • ทดสอบ LoRA ของคุณด้วยน้ำหนักและคำกระตุ้นที่แตกต่างกันเพื่อทำความเข้าใจความสามารถของมันให้เต็มที่
  • แชร์ LoRA ของคุณกับชุมชนและรวบรวมข้อเสนอแนะแนวทางการพัฒนา

การเชี่ยวชาญในโมเดล LoRA ด้วย FLUX AI จะทำให้คุณสามารถขยายขอบเขตของศิลปะที่สร้างด้วย AI ไม่ว่าคุณจะตั้งเป้าหมายเพื่อความมีจริงที่สูงสุด การวาดภาพที่มีสไตล์ หรือเอฟเฟกต์ศิลปะที่ไม่ซ้ำกัน การรวมกันของ FLUX และ LoRA ให้เครื่องมือที่ทรงพลังในการนำวิสัยทัศน์สร้างสรรค์ของคุณไปสู่ชีวิต ทดลอง สำรวจ และเพลิดเพลินไปกับความเป็นไปได้ที่ไม่มีที่สิ้นสุดที่เทคโนโลยีนี้มอบให้

โปรดดาวน์โหลดซอฟต์แวร์จากแหล่งที่เชื่อถือได้และระมัดระวังเมื่อทำการติดตั้งเครื่องมือของบุคคลที่สาม นอกจากนี้ให้แน่ใจว่าระบบของคุณมีคุณสมบัติตรงตามความต้องการขั้นต่ำ โดยเฉพาะอย่างยิ่งสำหรับความสามารถของ GPU เพื่อการทำงานของการสร้างภาพ AI อย่างมีประสิทธิภาพ