FLUX AI đã cách mạng hóa việc tạo hình ảnh AI, cung cấp kết quả siêu thực tế thường vượt qua các lựa chọn phổ biến khác. Bằng cách kết hợp FLUX với các mô hình LoRA (Low-Rank Adaptation), các nghệ sĩ và người đam mê có thể mở khóa một loạt khả năng sáng tạo rộng lớn hơn nữa. Hướng dẫn toàn diện này sẽ hướng dẫn bạn qua quy trình sử dụng LoRA với FLUX AI, cung cấp hướng dẫn chi tiết, liên kết đến các tài nguyên thiết yếu và các phương pháp tốt nhất.

Giả sử bạn không muốn trải qua tất cả những quy trình này và muốn sử dụng FLUX AI ngay lập tức. Thì, có một giải pháp thay thế cho bạn.Anakin AI cung cấp FLUX AI miễn phí. Họ cung cấp tất cả các mô hình FLUX bao gồm FLUX Pro, FLUX Realism LoRA, và FLUX.1 Schnell. Hãy kiểm tra chúng nhé.

Hiểu về LoRA và FLUX

LoRA, hay Low-Rank Adaptation, là một kỹ thuật cho phép tinh chỉnh các mô hình ngôn ngữ lớn mà không cần phải huấn luyện lại toàn bộ mô hình. Khi áp dụng cho FLUX AI, các mô hình LoRA có thể sửa đổi checkpoint cơ bản của FLUX để đạt được các kiểu dáng, nhân vật, hoặc hiệu ứng nghệ thuật cụ thể. FLUX AI, được phát triển bởi Stability AI, nổi tiếng với khả năng tạo ra những hình ảnh chi tiết và chân thực cao. Bằng cách tích hợp các mô hình LoRA, người dùng có thể tăng cường khả năng của FLUX và tùy chỉnh đầu ra theo nhu cầu cụ thể của họ.

Thiết lập Phần mềm

Để sử dụng LoRA với FLUX AI, bạn cần thiết lập môi trường phần mềm phù hợp:

Cài đặt SD Forge WebUI, cung cấp hỗ trợ tuyệt vời cho các mô hình và LoRA của FLUX.
Tải về: https://github.com/lllyasviel/stable-diffusion-webui-forge
Tải mô hình FLUX AI:
https://huggingface.co/lllyasviel/flux1-dev-bnb-nf4/tree/main
Tải FLUX VAE:
https://huggingface.co/black-forest-labs/FLUX.1-schnell/tree/main
Để quản lý dễ dàng hơn các cài đặt Stable Diffusion, hãy xem xét sử dụng StabilityMatrix:
https://github.com/LykosAI/StabilityMatrix
Bạn có thể cần 7-Zip để giải nén các tệp:
https://www.7-zip.org/download.html

Đảm bảo bạn có một GPU tương thích với ít nhất 8GB VRAM (16GB hoặc nhiều hơn được khuyến nghị để có hiệu suất tốt nhất).

Các Bước Chi Tiết để Sử Dụng Các Mô Hình LoRA với FLUX AI

Bước 1: Nhận Các Mô Hình LoRA

Truy cập Civitai: https://civitai.com/
Sử dụng bộ lọc tìm kiếm để tìm các mô hình LoRA tương thích với FLUX.
Tìm kiếm các LoRA được gán nhãn “FLUX” hoặc được đề cập trong mô tả là tương thích với FLUX AI.
Tải các mô hình LoRA mà bạn đã chọn. Chúng thường đi kèm dưới dạng tệp .safetensors hoặc .pt.

Bước 2: Cài Đặt Các Mô Hình LoRA

Định vị thư mục cài đặt SD Forge WebUI của bạn.
Đi tới thư mục “webui/models/Lora”.
Tạo một thư mục con mới có tên “Flux” để tổ chức tốt hơn.
Đặt các tệp LoRA đã tải về vào thư mục con “Flux” này.

Bước 3: Tạo Hình Ảnh với LoRA trong Forge WebUI

Mở SD Forge WebUI và điều hướng đến tab “Stable Diffusion”.
Trong menu thả xuống “Checkpoint”, chọn checkpoint FLUX (tốt nhất là flux1-dev để có chất lượng tốt nhất).
Đi đến phần “LoRA” của giao diện.
Nhấn vào “Thêm LoRA” và chọn mô hình LoRA mà bạn muốn sử dụng từ danh sách thả xuống.
Điều chỉnh thanh trượt trọng số LoRA (thường từ 0.5 đến 1.0 để có kết quả tốt nhất).
Trong ô nhắc, thêm lời nhắc văn bản mà bạn mong muốn. Bao gồm từ kích hoạt LoRA nếu được chỉ định trong tài liệu của LoRA.
Đặt kích thước hình ảnh mong muốn, phương pháp lấy mẫu và số bước.
Nhấn “Tạo” để tạo hình ảnh của bạn với LoRA đã áp dụng.

Kỹ Thuật Sử Dụng LoRA Nâng Cao

Kết Hợp Nhiều LoRA

Thêm nhiều LoRA trong phần LoRA của WebUI.
Điều chỉnh trọng số cho từng LoRA để cân bằng hiệu ứng của chúng.
Thử nghiệm với các kết hợp khác nhau để đạt được các kiểu dáng độc đáo.

Sử Dụng LoRA với Các Lời Nhắc Tiêu Cực

Trong ô “Lời nhắc tiêu cực”, thêm mô tả về các yếu tố mà bạn muốn tránh.
Bạn có thể sử dụng các mô hình LoRA trong các lời nhắc tiêu cực bằng cách thêm chúng với trọng số tiêu cực.

Điều Chỉnh Hiệu Ứng LoRA

Thử nghiệm với các trọng số LoRA khác nhau để điều chỉnh cường độ của hiệu ứng.
Sử dụng thanh trượt “CFG Scale” để kiểm soát mức độ hình ảnh tuân thủ theo lời nhắc của bạn.
Thử nghiệm với các phương pháp lấy mẫu khác nhau (như Euler a, DPM++ 2M Karras) để xem cái nào hoạt động tốt nhất với LoRA mà bạn đã chọn.

Các LoRA FLUX Phổ Biến và Cách Sử Dụng Chúng

Bạn có thể tìm thấy các mô hình LoRA tương thích với FLUX này và những mô hình khác trên Civitai: https://civitai.com/

Flux Disney: Lý tưởng để tạo ra các nhân vật hoạt hình phong cách Disney.

Từ kích hoạt: “flux_disney”
Trọng số được khuyến nghị: 0.7–0.9

2. Flux Realism: Nâng cao mức độ chân thực đã ấn tượng của FLUX.

Từ kích hoạt: “flux_realism”
Trọng số được khuyến nghị: 0.6–0.8

3. Flux Yarn Art: Tạo ra một vẻ ngoài thủ công, có kết cấu độc đáo.

Từ kích hoạt: “flux_yarn”
Trọng số được khuyến nghị: 0.8–1.0

4. Flux Aquarell Watercolor: Tạo ra những hình ảnh phong cách watercolor đẹp mắt.

Từ kích hoạt: “flux_watercolor”
Trọng số được khuyến nghị: 0.7–0.9

Kỹ Thuật Nhắc Nhở cho FLUX và LoRA

Bắt đầu với mô tả chủ thể rõ ràng: Bắt đầu bằng việc định nghĩa rõ ràng chủ đề chính của hình ảnh của bạn.
Thêm chi tiết về kiểu dáng, ánh sáng và bố cục: Chỉ định các phong cách nghệ thuật, điều kiện ánh sáng và bố cục mong muốn để có đầu ra tinh tế hơn.
Bao gồm từ kích hoạt LoRA nếu được chỉ định: Đảm bảo rằng từ kích hoạt LoRA chính xác được bao gồm trong lời nhắc của bạn để kích hoạt mô hình.
Sử dụng các thuật ngữ nghệ thuật để hướng dẫn kiểu dáng: Các thuật ngữ như "ấn tượng" hoặc "chân thực" giúp lái mô hình về một phong cách nghệ thuật cụ thể.

Mẫu lời nhắc:
“Một chân dung siêu thực của một người phụ nữ trẻ, flux_realism, mặc một chiếc váy hoa vintage, nụ cười nhẹ, đứng trong một khu vườn ánh nắng, độ sâu trường ảnh, nhiếp ảnh chuyên nghiệp.”

Khắc Phục Các Vấn Đề Phổ Biến

LoRA không ảnh hưởng đến hình ảnh:

Xác minh rằng LoRA đã được tải đúng trong WebUI.
Thử tăng trọng số LoRA.
Đảm bảo bạn đang sử dụng từ kích hoạt đúng trong lời nhắc.

Lỗi hết bộ nhớ:

Giảm độ phân giải hình ảnh hoặc giảm số lượng lô.
Chuyển sang chế độ nửa độ chính xác (fp16) để tiết kiệm bộ nhớ.
Đóng các ứng dụng nặng bộ nhớ khác đang chạy ở nền.

Kết quả bất ngờ:

Tìm các yếu tố mâu thuẫn trong lời nhắc của bạn có thể làm rối mô hình.
Điều chỉnh tỷ lệ CFG (Hướng dẫn không phân loại) để kiểm soát tốt hơn đầu ra.
Thử nghiệm với các phương pháp lấy mẫu khác nhau để điều chỉnh hình ảnh được tạo ra.

Huấn Luyện LoRA FLUX Của Riêng Bạn

Đối với người dùng nâng cao quan tâm đến việc tạo LoRA tùy chỉnh:

Chuẩn bị một tập dữ liệu gồm 15–30 hình ảnh chất lượng cao đại diện cho phong cách hoặc chủ đề mong muốn của bạn.
Tạo các tệp văn bản tương ứng với các mô tả chi tiết cho mỗi hình ảnh.
Sử dụng kho GitHub kohya_ss cho các kịch bản huấn luyện LoRA:
https://github.com/bmaltais/kohya_ss
Chỉnh sửa tệp cấu hình để chỉ định thư mục dữ liệu của bạn, tốc độ học và số bước huấn luyện.
Chạy kịch bản huấn luyện và theo dõi các giá trị mất mát để ngăn ngừa overfitting.

Đối với người dùng Mac thiết lập môi trường huấn luyện:

Python 3.10: https://www.python.org/downloads/
Git: https://git-scm.com/download/mac

Các Thực Hành Tốt Nhất cho Huấn Luyện và Sử Dụng LoRA

Sử dụng một tập dữ liệu đa dạng để tạo ra các LoRA linh hoạt.
Đối với các LoRA nhân vật, kết hợp nhiều tư thế, biểu cảm và trang phục khác nhau.
Bắt đầu với tốc độ học thấp hơn (ví dụ: 1e-4) và tăng lên khi cần.
Thử nghiệm LoRA của bạn với các trọng số và lời nhắc khác nhau để hiểu rõ khả năng của nó.
Chia sẻ LoRA của bạn với cộng đồng và thu thập phản hồi để cải tiến.

Bằng cách làm chủ các mô hình LoRA với FLUX AI, bạn có thể mở rộng ranh giới của nghệ thuật do AI tạo ra. Dù mục tiêu của bạn là ultra-realism, minh họa phong cách, hay hiệu ứng nghệ thuật độc đáo, sự kết hợp của FLUX và LoRA mang đến một bộ công cụ mạnh mẽ để hiện thực hóa những ý tưởng sáng tạo của bạn. Hãy thử nghiệm, khám phá, và tận hưởng những khả năng vô hạn mà công nghệ này cung cấp.

Luôn tải xuống phần mềm từ các nguồn chính thức và hãy thận trọng khi cài đặt các công cụ bên thứ ba. Ngoài ra, hãy đảm bảo rằng hệ thống của bạn đáp ứng các yêu cầu tối thiểu, đặc biệt là về khả năng GPU, để chạy hiệu quả việc tạo hình ảnh AI.