วิธีใช้ LoRA กับ FLUX AI: คู่มือที่ครอบคลุม

FLUX AI ได้เปิดยุคใหม่ของการสร้างภาพด้วย AI ที่ขับเคลื่อนด้วยเทคโนโลยี มันมีความสมจริงที่ไม่มีใครเทียบได้ และมักจะก้าวหน้ากว่าคู่แข่งที่มีชื่อเสียง เมื่อร่วมกับโมเดล LoRA (Low-Rank Adaptation) จะเปิดโอกาสทางสร้างสรรค์ใหม่ ๆ ให้กับศิลปิ

Build APIs Faster & Together in Apidog

วิธีใช้ LoRA กับ FLUX AI: คู่มือที่ครอบคลุม

Start for free
Inhalte

FLUX AI ได้เปิดยุคใหม่ของการสร้างภาพด้วย AI ที่ขับเคลื่อนด้วยเทคโนโลยี มันมีความสมจริงที่ไม่มีใครเทียบได้ และมักจะก้าวหน้ากว่าคู่แข่งที่มีชื่อเสียง เมื่อร่วมกับโมเดล LoRA (Low-Rank Adaptation) จะเปิดโอกาสทางสร้างสรรค์ใหม่ ๆ ให้กับศิลปินและผู้สนใจ คู่มือที่ครอบคลุมนี้จะช่วยคุณในการใช้พลังของ LoRA กับ FLUX AI มันเต็มไปด้วยคำแนะนำที่ละเอียดลออ ลิงก์ทรัพยากรที่สำคัญ และแนวปฏิบัติที่ดีที่สุดในอุตสาหกรรม มาดำดิ่งกันเถอะ! โหลดเพิ่มเติม

💡
สมมติว่าคุณไม่ต้องการผ่านขั้นตอนทั้งหมดนี้และต้องการใช้ FLUX AI ทันที มีทางเลือกอื่นสำหรับคุณ.Anakin AI เสนอบริการ FLUX AI ฟรี ที่นี่มีโมเดล FLUX ทั้งหมดรวมถึง FLUX Pro, FLUX Realism LoRA และ FLUX.1 Schnell. กรุณาไปตรวจสอบดู.

เข้าใจ LoRA และ FLUX

LoRA ซึ่งย่อมาจาก Low-Rank Adaptation เป็นวิธีการที่ชาญฉลาดที่ปรับแต่งโมเดลภาษาขนาดใหญ่โดยไม่จำเป็นต้องทำการฝึกฝนใหม่ทั้งหมด เมื่อใช้ร่วมกับ FLUX AI ผลิตภัณฑ์จาก Stability AI ที่มีชื่อเสียงในการสร้างภาพที่มีรายละเอียดและสมจริงอย่างน่าทึ่ง LoRA สามารถปรับแต่งจุดตรวจสอบพื้นฐานของ FLUX เพื่อสร้างสไตล์ ตัวละคร หรือเอฟเฟกต์ศิลป์เฉพาะอย่าง การผสมผสานที่สมบูรณ์แบบนี้ช่วยให้ผู้ใช้สามารถเพิ่มศักยภาพของ FLUX และปรับแต่งผลลัพธ์ให้ตรงตามความต้องการเฉพาะของตนได้ โหลดเพิ่มเติม

การตั้งค่า Software

เพื่อใช้ LoRA กับ FLUX AI คุณจำเป็นต้องตั้งค่าสภาพแวดล้อมซอฟต์แวร์ที่เหมาะสม:

  1. ติดตั้ง SD Forge WebUI ซึ่งให้การสนับสนุนที่ดีเยี่ยมสำหรับโมเดล FLUX และ LoRAs.
    ดาวน์โหลด: https://github.com/lllyasviel/stable-diffusion-webui-forge
  2. ดาวน์โหลดโมเดล FLUX AI:
    https://huggingface.co/lllyasviel/flux1-dev-bnb-nf4/tree/main
  3. ดาวน์โหลด FLUX VAE:
    https://huggingface.co/black-forest-labs/FLUX.1-schnell/tree/main
  4. เพื่อการจัดการการติดตั้ง Stable Diffusion ให้สะดวกขึ้น พิจารณาใช้ StabilityMatrix:
    https://github.com/LykosAI/StabilityMatrix
  5. คุณอาจต้องใช้ 7-Zip ในการแตกไฟล์:
    https://www.7-zip.org/download.html

ตรวจสอบให้แน่ใจว่าคุณมี GPU ที่เข้ากันได้ซึ่งมี VRAM อย่างน้อย 8GB (แนะนำ 16GB หรือมากกว่าสำหรับประสิทธิภาพที่ดีที่สุด).

ขั้นตอนที่ละเอียดสำหรับการใช้โมเดล LoRA กับ FLUX AI

ขั้นตอนที่ 1: การได้รับโมเดล LoRA

  1. ไปที่ Civitai: https://civitai.com/
  2. ใช้ตัวกรองการค้นหาเพื่อค้นหาโมเดล LoRA ที่เข้ากับ FLUX.
  3. ค้นหา LoRAs ที่ถูกแท็กด้วย “FLUX” หรือกล่าวถึงในคำอธิบายว่าเข้ากับ FLUX AI.
  4. ดาวน์โหลดโมเดล LoRA ที่คุณเลือก ซึ่งโดยทั่วไปจะมาในรูปแบบ .safetensors หรือ .pt.

ขั้นตอนที่ 2: การติดตั้งโมเดล LoRA

  1. ระบุไดเรกทอรีการติดตั้ง: ค้นหาไดเรกทอรีที่ติดตั้ง SD Forge WebUI ของคุณ.
  2. ไปยังโฟลเดอร์ LoRA: เปิดเส้นทาง webui/models/Lora.
  3. สร้างโฟลเดอร์ย่อยเพื่อการจัดระเบียบ: ภายในโฟลเดอร์ LoRA สร้างโฟลเดอร์ย่อยใหม่ที่เรียกว่า "Flux" เพื่อให้จัดระเบียบได้ง่าย.
  4. ย้ายไฟล์ LoRA: วางไฟล์ LoRA ที่ดาวน์โหลดมาในโฟลเดอร์ย่อย "Flux" ที่สร้างขึ้นใหม่.

ขั้นตอนที่ 3: การสร้างภาพด้วย LoRA ใน Forge WebUI

  1. เปิด SD Forge WebUI: เริ่ม WebUI และไปที่แท็บ "Stable Diffusion".
  2. เลือกจุดตรวจสอบ: ในรายการดรอปดาวน์ "Checkpoint" ให้เลือกจุดตรวจสอบ FLUX (แนะนำ: flux1-dev เพื่อคุณภาพที่ดีที่สุด).
  3. เข้าถึงส่วน LoRA: เลื่อนลงไปที่ส่วน "LoRA" ในหน้าอินเทอร์เฟซ.
  4. เพิ่มโมเดล LoRA: คลิก "Add LoRA" และเลือกโมเดล LoRA ที่คุณต้องการจากรายการดรอปดาวน์.
  5. ปรับน้ำหนัก LoRA: ใช้สไลเดอร์น้ำหนักเพื่อกำหนดประสิทธิภาพของ LoRA (โดยปกติอยู่ระหว่าง 0.5 ถึง 1.0 เพื่อผลลัพธ์ที่ดีที่สุด).
  6. ป้อนข้อความนำ: ในกล่องข้อความ ให้เขียนข้อความที่คุณต้องการสำหรับภาพ หากระบุไว้ ให้รวมคำกระตุ้น LoRA จากเอกสารของโมเดล.
  7. กำหนดพารามิเตอร์ภาพ: เลือกขนาดภาพ วิธีการสุ่ม และขั้นตอน.
  8. สร้างภาพ: เมื่อทุกอย่างตั้งค่าเรียบร้อยแล้ว คลิก "Generate" เพื่อสร้างภาพด้วย LoRA ที่ใช้.

เทคนิคการใช้ LoRA ขั้นสูง

การรวม LoRA หลาย ๆ ตัว

  • เพิ่ม LoRAs หลายตัวในส่วน LoRA ของ WebUI.
  • ปรับน้ำหนักของแต่ละ LoRA เพื่อลดผลกระทบของมัน.
  • ทดลองใช้การรวมกันที่แตกต่างกันสำหรับสไตล์ที่ไม่เหมือนใคร.

การใช้ LoRA กับข้อความนำเชิงลบ

  • ใช้กล่อง "Negative prompt" เพื่ออธิบายองค์ประกอบที่คุณต้องการยกเว้น.
  • โมเดล LoRA สามารถนำไปใช้กับข้อความนำเชิงลบโดยตั้งค่าน้ำหนักเชิงลบ.

การปรับแต่งประสิทธิภาพของ LoRA

  • ปรับน้ำหนักของ LoRA เพื่อควบคุมความเข้มข้นของผลกระทบ.
  • ใช้สไลเดอร์ "CFG Scale" เพื่อปรับแต่งว่าภาพจะทำตามข้อความของคุณใกล้แค่ไหน.
  • ทดลองใช้วิธีการสุ่มที่แตกต่างกัน (เช่น Euler a, DPM++ 2M Karras) เพื่อตรวจสอบว่าอันไหนทำงานดีที่สุดกับโมเดล LoRA ของคุณ.

LoRAs ที่นิยมใน FLUX และการใช้งานของพวกเขา

คุณสามารถค้นหา LoRAs ที่เข้ากับ FLUX เหล่านี้และอื่น ๆ บน Civitai: https://civitai.com/

  1. Flux Disney: เหมาะสำหรับการสร้างตัวละครการ์ตูนสไตล์ดิสนีย์.
  • คำกระตุ้น: “flux_disney”
  • น้ำหนักที่แนะนำ: 0.7–0.9

2. Flux Realism: ทำให้ความสมจริงที่น่าประทับใจของ FLUX ดีขึ้น.

  • คำกระตุ้น: “flux_realism”
  • น้ำหนักที่แนะนำ: 0.6–0.8

3. Flux Yarn Art: สร้างลุคที่มีเอกลักษณ์และทำด้วยมือ.

  • คำกระตุ้น: “flux_yarn”
  • น้ำหนักที่แนะนำ: 0.8–1.0

4. Flux Aquarell Watercolor: สร้างภาพแบบสีน้ำที่สวยงาม.

  • คำกระตุ้น: “flux_watercolor”
  • น้ำหนักที่แนะนำ: 0.7–0.9

เทคนิคการนำเสนอสำหรับ FLUX และ LoRA

  1. เริ่มต้นด้วยคำอธิบายของวัตถุอย่างชัดเจน.
  2. เพิ่มรายละเอียดเกี่ยวกับสไตล์ แสงสว่าง และการจัดองค์ประกอบ.
  3. รวมคำกระตุ้น LoRA หากระบุไว้.
  4. ใช้คำศัพท์ทางศิลปะเพื่อแนะแนวทางสไตล์ (เช่น “ภาพอิมเพรสชั่นนิสต์”, “สมจริง”).

ตัวอย่างข้อความนำ:
“ภาพเหมือนที่มีความสมจริงสูงของผู้หญิงสาว wearing a vintage floral dress, soft smile, standing in a sunlit garden, depth of field, professional photography”

การแก้ไขปัญหาทั่วไป

  1. LoRA ไม่มีผลต่อภาพ:
  • ตรวจสอบว่า LoRA ได้ถูกโหลดอย่างถูกต้องใน WebUI.
  • เพิ่มน้ำหนัก LoRA.
  • ตรวจสอบให้แน่ใจว่าคุณใช้คำกระตุ้นที่ถูกต้อง.

2. ข้อผิดพลาดหน่วยความจำไม่พอ:

  • ลดขนาดภาพหรือจำนวนการรวม.
  • ลองใช้โหมดครึ่งความแม่นยำ (fp16).
  • ปิดแอปพลิเคชันอื่นที่ใช้หน่วยความจำมาก.

3. ผลลัพธ์ที่ไม่คาดคิด:

  • ตรวจสอบสำหรับองค์ประกอบที่ขัดแย้งในข้อความนำของคุณ.
  • ลองปรับสเกล CFG.
  • ทดลองใช้วิธีการสุ่มที่แตกต่างกัน.

การฝึก LoRA FLUX ของคุณเอง

สำหรับผู้ใช้ที่มีความก้าวหน้าที่สนใจในการสร้าง LoRAs ที่กำหนดเอง:

  1. เตรียมชุดข้อมูลภาพคุณภาพสูง 15–30 ภาพที่แสดงถึงสไตล์หรือหัวข้อที่คุณต้องการ.
  2. สร้างไฟล์ข้อความที่สอดคล้องกับคำอธิบายที่ละเอียดสำหรับแต่ละภาพ.
  3. ใช้ที่เก็บ GitHub kohya_ss สำหรับสคริปต์การฝึกอบรม LoRA:
    https://github.com/bmaltais/kohya_ss
  4. แก้ไขไฟล์กำหนดค่าเพื่อระบุโฟลเดอร์ชุดข้อมูลของคุณ อัตราการเรียนรู้ และขั้นตอนการฝึก.
  5. เรียกใช้สคริปต์การฝึกและติดตามค่าการสูญเสียเพื่อป้องกันการเหมาะเกินไป.

สำหรับผู้ใช้ Mac ที่ตั้งค่าสภาพแวดล้อมการฝึก:

แนวปฏิบัติที่ดีที่สุดสำหรับการฝึกอบรมและการใช้งาน LoRA

  1. ใช้ชุดข้อมูลที่หลากหลายเพื่อสร้าง LoRAs ที่หลากหลาย
  2. สำหรับ LoRA ของตัวละคร ให้รวมท่าทาง อารมณ์ และชุดที่หลากหลาย.
  3. เริ่มต้นด้วยอัตราการเรียนรู้ที่ต่ำกว่า (เช่น 1e-4) และเพิ่มหากจำเป็น.
  4. ทดสอบ LoRA ของคุณด้วยน้ำหนักและข้อความนำที่แตกต่างกันเพื่อเข้าใจความสามารถทั้งหมดของมัน.
  5. แชร์ LoRA ของคุณกับชุมชนและรวบรวมข้อเสนอแนะแนะนำการปรับปรุง.

ด้วยการเชี่ยวชาญในการใช้โมเดล LoRA กับ FLUX AI คุณสามารถผลักดันขอบเขตของศิลปะแบบสร้างสรรค์ด้วย AI ไม่ว่าคุณจะมุ่งหวังที่จะสร้างภาพที่เรียลลิสติกสุด ๆ ภาพประกอบที่สไตล์หรืองานศิลปะที่ไม่ซ้ำกัน การรวมกันของ FLUX และ LoRA มอบเครื่องมือที่ทรงพลังในการนำวิสัยทัศน์สร้างสรรค์ของคุณไปสู่ชีวิต ทดลองสำรวจและเพลิดเพลินกับความเป็นไปได้ที่ไม่มีที่สิ้นสุดที่เทคโนโลยีนี้เสนอให้ อย่าลืมดาวน์โหลดซอฟต์แวร์จากแหล่งที่มาที่ถูกต้องและระมัดระวังเมื่อทำการติดตั้งเครื่องมือจากบุคคลที่สาม นอกจากนี้ให้แน่ใจว่าระบบของคุณตรงตามความต้องการขั้นต่ำสำหรับการใช้งานแอปพลิเคชันเหล่านี้ โดยเฉพาะในแง่ของความสามารถของ GPU สำหรับการสร้างภาพ AI.