Hãy tưởng tượng có một mô hình AI mạnh mẽ chạy trên máy tính của bạn — không cần gọi API vô tận, không cần hóa đơn đám mây, và tốt nhất là hoàn toàn riêng tư cho dữ liệu nhạy cảm của bạn. Với QwQ-32B của Alibaba, bạn có thể mang AI chất lượng doanh nghiệp ngay trên bàn làm việc của mình. Trong hướng dẫn này, tôi sẽ hướng dẫn bạn cách cài đặt và chạy QwQ-32B cục bộ trên Windows, macOS và Linux. Thêm vào đó, tôi sẽ cho bạn thấy quy trình này gần như giống hệt cho bất kỳ mô hình nào có sẵn trên Ollama, giúp nó trở nên rất linh hoạt. Và nếu bạn tò mò khám phá không chỉ QwQ-32B mà còn cả những mô hình đột phá khác như DeepSeek-R1, GPT-4o và Clause 3.7, bạn có thể xem chúng tại Anakin AI — một trung tâm một cửa cho tất cả những gì liên quan đến AI.
Trước khi đào sâu vào các chi tiết, hãy nhanh chóng nói về lý do tại sao bạn có thể muốn chạy QwQ-32B trên phần cứng của riêng mình:
Chạy QwQ-32B cục bộ giúp bạn kiểm soát hoàn toàn mô hình, và quy trình thiết lập vô cùng thân thiện với người mới bắt đầu. Ngay cả khi bạn chưa bao giờ mở Terminal trước đó, bạn có thể thiết lập điều này trong khoảng 10 phút!
Chạy QwQ-32B cục bộ cần phần cứng mạnh mẽ để đảm bảo quá trình cài đặt diễn ra suôn sẻ và suy diễn hiệu quả. Dưới đây là các yêu cầu tối thiểu cho mỗi nền tảng:
Bước đầu tiên là tải Ollama — một phần mềm miễn phí giúp việc cài đặt AI cục bộ trở nên dễ dàng. Dưới đây là cách thực hiện:
.exe đã tải xuống. Không cần quyền quản trị.Tiếp theo, mở Terminal trên máy tính Windows của bạn. Bạn có thể làm điều này bằng cách tìm kiếm “Terminal” trong menu Bắt đầu. Điều này có vẻ hơi kỹ thuật, nhưng đừng lo lắng — hãy làm theo.
Với Ollama được cài đặt, bạn có thể cài đặt QwQ-32B. Trong Terminal, hãy nhập lệnh:
ollama run qwqLệnh này yêu cầu Ollama chạy phiên bản chính xác đầy đủ (FP16) của QwQ-32B. Nếu hệ thống của bạn có ít VRAM hơn, bạn có thể chọn phiên bản định lượng:
ollama run qwq:32b-preview-q4_K_M
Sau khi nhấn enter, mô hình sẽ bắt đầu cài đặt. Điều này có thể mất vài giây. Khi được cài đặt, bạn có thể kiểm tra nó bằng cách hỏi một câu hỏi đơn giản như:
> Tích phân của x² từ 0 đến 5 là gì?
Terminal nên hiển thị câu trả lời, chứng minh rằng mô hình của bạn đã hoạt động.
Người dùng Mac, đặc biệt là những người có Apple Silicon, có quy trình tương tự. Mở Terminal và chạy:
ollama run qwqĐoạn mã này cài đặt Ollama trên macOS của bạn. Thực hiện theo bất kỳ thông báo nào xuất hiện trong quá trình cài đặt.
Đối với các máy Mac có bộ nhớ cao hơn (48GB hoặc hơn), bạn có thể chọn phiên bản định lượng 5-bit:
ollama run qwq:32b-preview-q5_1
Phiên bản này được tối ưu hóa cho các máy có cấu hình bộ nhớ hợp nhất mạnh mẽ. Sử dụng Activity Monitor để theo dõi việc sử dụng bộ nhớ của bạn trong quá trình suy diễn.
Sau khi cài đặt, hãy kiểm tra cài đặt của bạn bằng cách nhập một truy vấn trong Terminal:
> Tên của bạn là gì?
Bạn sẽ nhận được câu trả lời từ mô hình, xác nhận rằng mọi thứ hoạt động như mong đợi.
Để cài đặt và chạy mô hình QwQ-32B thông qua Ollama trên Linux, hãy làm theo các bước sau:
Ollama đơn giản hóa quy trình thiết lập để chạy các mô hình AI tiên tiến như QwQ-32B. Sử dụng lệnh sau để cài đặt:
curl -fsSL https://ollama.com/install.sh | sh
Sử dụng Ollama để tải mô hình QwQ-32B. Chạy lệnh sau:
ollama pull qwq:32b
Điều này sẽ tải phiên bản định lượng của QwQ-32B được tối ưu hóa cho suy diễn hiệu quả.
Khi mô hình đã được tải xuống, bạn có thể tương tác trực tiếp với nó trong terminal. Sử dụng lệnh này để bắt đầu chạy mô hình:
ollama run qwq:32b
Nếu bạn thích một giao diện đồ họa tương tự như ChatGPT hơn là sử dụng dòng lệnh, bạn có thể thiết lập một giao diện web bằng cách sử dụng Docker. Cách tiếp cận này hơi kỹ thuật nhưng chỉ cần thực hiện một lần.
Tải xuống và cài đặt Docker Desktop từ trang web của Docker.
Trong Terminal của bạn, chạy:
docker run -d -p 8080:8080 — gpus all -v ollama:/root/.ollama -v open-webui:/app/backend/data — name open-webui — restart always ghcr.io/open-webui/open-webui:main
Lệnh này sẽ tải container, thiết lập quyền truy cập GPU, và ánh xạ các volume cần thiết. Khi hoàn thành, mở trình duyệt web của bạn và truy cập http://localhost:8080. Bạn sẽ thấy một giao diện giống ChatGPT nơi bạn có thể tương tác với mô hình cục bộ của mình.
Nếu máy tính của bạn không đáp ứng các thông số yêu cầu, hãy xem xét một giải pháp đám mây. Ví dụ, NodeShift cung cấp các phiên bản GPU:
curl -sL nodeshift.com/qwq32b-install | bash
Điều này thiết lập QwQ-32B trên một phiên bản đám mây, cho phép bạn vượt qua các giới hạn phần cứng trong khi vẫn tận hưởng quyền kiểm soát giống như cục bộ.
Khi mô hình của bạn hoạt động, bạn có thể tinh chỉnh nó để phù hợp với nhu cầu của mình. Ví dụ, bạn có thể tạo một phiên bản tùy chỉnh của QwQ-32B với bộ dữ liệu của riêng bạn:
ollama create qwq-custom -f Modelfile
Để biết thêm hướng dẫn, hãy khám phá kho lưu trữ Hugging Face chính thức của Alibaba nơi bạn sẽ tìm thấy các cấu hình mẫu và đóng góp từ cộng đồng.
Chạy QwQ-32B cục bộ không chỉ là một bài tập kỹ thuật — đó là cánh cửa để khai thác AI chất lượng doanh nghiệp trên phần cứng của riêng bạn. Hướng dẫn này đã đề cập đến những điều cơ bản cho Windows, macOS và Linux, cùng với các mẹo về việc thiết lập giao diện web và thậm chí là giải pháp đám mây cho những người không có phần cứng cao cấp.
Hãy tưởng tượng sự tự do khi có thể chạy các mô hình AI ngoại tuyến, phân tích riêng tư các tài liệu của riêng bạn và thử nghiệm với nhiều mô hình khác nhau, tất cả từ máy tính cục bộ của bạn. Và hãy nhớ rằng, quy trình đơn giản tương tự có thể được sử dụng để cài đặt bất kỳ mô hình nào có sẵn trên Ollama. Bất kể bạn đang làm việc với QwQ-32B, Llama 3, Mistol, hay bất kỳ mô hình nào khác, các bước vẫn sẽ tương tự nhau.
Nếu bạn háo hức thử nghiệm những khả năng thú vị này, đừng quên khám phá Anakin AI. Với quyền truy cập vào một loạt các mô hình tiên tiến như QwQ-32B, DeepSeek-R1, GPT-4o, Clause 3.7 và nhiều hơn nữa, Anakin AI là trung tâm hoàn hảo của bạn cho đổi mới AI tiên tiến.
Khi chúng ta tiến sâu hơn vào năm 2025, tình hình AI đang phát triển nhanh chóng. Chạy các mô hình như QwQ-32B cục bộ cho bạn quyền riêng tư, tiết kiệm chi phí, và tự do đổi mới mà không có giới hạn. Dù bạn là một nhà phát triển dày dạn kinh nghiệm hay chỉ mới bắt đầu, việc thiết lập môi trường AI cục bộ của riêng bạn mở ra một thế giới những khả năng sáng tạo.
Vậy còn chờ gì nữa? Hãy nhảy vào, làm theo hướng dẫn này và cài đặt QwQ-32B trên máy tính của bạn ngay hôm nay. Và nếu bạn tò mò muốn khám phá nhiều mô hình AI hơn nữa, Anakin AI đang chờ đợi — với một kho công cụ mạnh mẽ sẵn sàng biến ý tưởng của bạn thành hiện thực.
Chúc bạn thử nghiệm vui vẻ, và hãy chúc cho một tương lai nơi AI tiên tiến trở nên dễ tiếp cận với tất cả — ngay từ sự thoải mái của ngôi nhà bạn!
