วิธีติดตั้งและเรียกใช้ QwQ-32B ท้องถิ่นบน Windows, macOS และ Linux

จินตนาการว่ามีโมเดล AI ที่ทรงพลังทำงานบนคอมพิวเตอร์ของคุณเอง — ไม่มีการเรียก API ที่ไม่มีที่สิ้นสุด ไม่ต้องกังวลเกี่ยวกับค่าใช้จ่ายบนคลาวด์ และที่สำคัญที่สุด ความเป็นส่วนตัวสำหรับข้อมูลที่ละเอียดอ่อนของคุณ กับ

Build APIs Faster & Together in Apidog

วิธีติดตั้งและเรียกใช้ QwQ-32B ท้องถิ่นบน Windows, macOS และ Linux

Start for free
Inhalte

จินตนาการว่ามีโมเดล AI ที่ทรงพลังทำงานบนคอมพิวเตอร์ของคุณเอง — ไม่มีการเรียก API ที่ไม่มีที่สิ้นสุด ไม่ต้องกังวลเกี่ยวกับค่าใช้จ่ายบนคลาวด์ และที่สำคัญที่สุด ความเป็นส่วนตัวสำหรับข้อมูลที่ละเอียดอ่อนของคุณ กับ QwQ-32B ของ Alibaba คุณสามารถนำ AI ระดับองค์กรเข้าสู่โต๊ะทำงานของคุณ ในคู่มือนี้ ฉันจะนำคุณผ่านการติดตั้งและเรียกใช้งาน QwQ-32B ในเครื่องบน Windows, macOS, และ Linux นอกจากนี้ ฉันจะแสดงให้คุณเห็นว่ากระบวนการนี้เกือบจะเหมือนกันสำหรับโมเดลใดๆ ที่มีใน Ollama ทำให้มันมีความหลากหลายอย่างมาก และถ้าคุณอยากสำรวจไม่เพียงแต่ QwQ-32B แต่ยังรวมถึงโมเดลที่ล้ำสมัยอื่นๆ เช่น DeepSeek-R1, GPT-4o, และ Clause 3.7 คุณสามารถตรวจสอบได้ที่ Anakin AI — ศูนย์รวมแหล่งข้อมูลสำหรับทุกสิ่งที่เกี่ยวกับ AI.

ทำไมต้องเรียก QwQ-32B ในเครื่อง?

ก่อนที่จะเข้าสู่รายละเอียด ให้เราคุยกันอย่างรวดเร็วเกี่ยวกับเหตุผลที่คุณอาจต้องการเรียก QwQ-32B บนฮาร์ดแวร์ของคุณเอง:

  • ความเป็นส่วนตัว: รักษาข้อมูลทั้งหมดของคุณให้อยู่ในคอมพิวเตอร์ของคุณ ไม่ต้องกังวลเกี่ยวกับการส่งข้อมูลที่ละเอียดอ่อนไปยังบริการคลาวด์.
  • การประหยัดค่าใช้จ่าย: ด้วยการติดตั้งในเครื่อง คุณจะหลีกเลี่ยงค่าใช้จ่าย API ที่เกิดขึ้นซ้ำ QwQ-32B ทำงานเพียง $0.25 ต่อหนึ่งล้านโทเคนเมื่อเปรียบเทียบกับค่าใช้จ่ายคลาวด์ที่สูงกว่า.
  • การปรับแต่ง: ปรับแต่งโมเดลด้วยชุดข้อมูลของคุณเองและปรับแต่งให้เหมาะสมกับความต้องการเฉพาะของคุณ.
  • ความยืดหยุ่น: สลับระหว่างโมเดลที่แตกต่างกัน — เช่น Llama 3, Mistol, และอื่นๆ — โดยใช้กระบวนการที่ง่ายเดียวกัน.

การเรียกใช้งาน QwQ-32B ในเครื่องจะทำให้คุณควบคุมโมเดลทั้งหมดได้ และกระบวนการติดตั้งนั้นง่ายสำหรับมือใหม่ แม้ว่าคุณจะไม่เคยเปิด Terminal มาก่อน แต่คุณก็สามารถทำสิ่งนี้ให้ทำงานได้ภายในเวลาเพียง 10 นาที!

ข้อกำหนดของฮาร์ดแวร์สำหรับ QwQ-32B

การเรียกใช้งาน QwQ-32B ในเครื่องต้องการฮาร์ดแวร์ที่มีประสิทธิภาพเพื่อให้การติดตั้งเป็นไปอย่างราบรื่นและการอนุมานมีประสิทธิภาพ ด้านล่างนี้คือข้อกำหนดขั้นต่ำสำหรับแต่ละแพลตฟอร์ม:

Mac

  • โปรเซสเซอร์: Apple Silicon — M1 Pro หรือ M1 Max เป็นที่แนะนำสำหรับประสิทธิภาพที่ดีที่สุด.
  • RAM: ไม่น้อยกว่า 24GB (เหมาะสำหรับบริบทที่ใหญ่กว่า: ระบบที่มี Unified Memory 48GB+ ให้ประสิทธิภาพที่ดียิ่งขึ้น).
  • พื้นที่เก็บข้อมูล: มีพื้นที่ว่างในดิสก์เพียงพอ (แนะนำอย่างน้อย 100GB สำหรับไฟล์โมเดลและข้อมูลเพิ่มเติม).

Windows

  • โปรเซสเซอร์: CPU หลายคอร์ที่ทันสมัยพร้อมการสนับสนุน AVX2/AVX512.
  • GPU: สำหรับเวอร์ชันที่ถูกควอนติไซซ์: NVIDIA GeForce RTX 3060 (12GB VRAM) หรือสูงกว่า.
  • สำหรับการอนุมานด้วยความแม่นยำเต็ม: NVIDIA RTX 4090 (24GB VRAM) เป็นที่แนะนำ.
  • RAM: อย่างน้อย 32GB เพื่อการทำงานที่ราบรื่น.
  • พื้นที่เก็บข้อมูล: มีพื้นที่ว่างในดิสก์ไม่น้อยกว่า 100GB สำหรับไฟล์โมเดลและแหล่งข้อมูลที่เกี่ยวข้อง.

Linux

  • โปรเซสเซอร์: CPU หลายคอร์ที่มีการสนับสนุน AVX2/AVX512 ชิป ARM ก็เข้ากันได้.
  • GPU: สำหรับเวอร์ชันที่ถูกควอนติไซซ์: NVIDIA RTX 3090 หรือ RTX 4090 (24GB VRAM) ก็เพียงพอ.
  • สำหรับบริบทที่ใหญ่ขึ้นหรือตั้งค่าความแม่นยำที่สูงขึ้น GPUs เช่น NVIDIA A6000 เป็นที่แนะนำ.
  • RAM: ไม่น้อยกว่า 32GB.
  • พื้นที่เก็บข้อมูล: มีพื้นที่ว่างในดิสก์อย่างน้อย 100GB สำหรับที่เก็บโมเดล.

วิธีติดตั้ง QwQ-32B บน Windows

ขั้นตอนที่ 1: ดาวน์โหลดและติดตั้ง Ollama

ขั้นตอนแรกคือการดาวน์โหลด Ollama — ซอฟต์แวร์ฟรีที่ทำให้การติดตั้ง AI ในเครื่องเป็นเรื่องง่าย นี่คือวิธี:

  1. ไปที่ ollama.com และคลิกที่ปุ่มดาวน์โหลดสำหรับ Windows.
  2. เรียกใช้ไฟล์ .exe ที่ดาวน์โหลด ไม่มีสิทธิ์ผู้ดูแลระบบจำเป็น.
  3. ทำตามคำแนะนำบนหน้าจอเพื่อติดตั้ง Ollama อาจจะขอให้คุณพิมพ์รหัสผ่านของคอมพิวเตอร์ของคุณ นั่นเป็นเรื่องปกติ.

ขั้นตอนที่ 2: เปิด Terminal

ถัดไป ให้เปิด Terminal บนเครื่อง Windows ของคุณ คุณสามารถทำได้โดยการค้นหา “Terminal” ในเมนู Start ของคุณ อาจดูเหมือนจะเป็นเรื่องที่ซับซ้อน แต่ไม่ต้องกังวล — เพียงแค่ทำตามนี้.

ขั้นตอนที่ 3: ติดตั้งโมเดลที่เลือก

เมื่อ Ollama ติดตั้งเรียบร้อยแล้ว คุณสามารถติดตั้ง QwQ-32B ได้ ใน Terminal ให้พิมพ์คำสั่ง:

ollama run qwq

คำสั่งนี้บอกให้ Ollama เรียกใช้งานเวอร์ชันความแม่นยำเต็ม (FP16) ของ QwQ-32B หากระบบของคุณมี VRAM น้อยกว่า คุณอาจเลือกใช้เวอร์ชันที่ถูกควอนติไซซ์แทน:

ollama run qwq:32b-preview-q4_K_M

หลังจากกด Enter โมเดลจะเริ่มการติดตั้ง อาจใช้เวลาสักครู่ เมื่อเสร็จแล้ว คุณสามารถทดสอบโดยการถามคำถามง่ายๆ เช่น:

> อันตรกิริยาของ x² จาก 0 ถึง 5 คืออะไร?

Terminal จะต้องแสดงคำตอบ แสดงให้เห็นว่าโมเดลของคุณทำงานแล้ว.

วิธีติดตั้ง QwQ-32B บน macOS

ขั้นตอนที่ 1: เปิด Terminal

ผู้ใช้ Mac โดยเฉพาะผู้ที่ใช้ Apple Silicon จะมีกระบวนการที่คล้ายกัน เปิด Terminal และรัน:

ollama run qwq

สคริปต์นี้จะติดตั้ง Ollama บน macOS ของคุณ ทำตามคำแนะนำที่ปรากฏระหว่างการติดตั้ง.

ขั้นตอนที่ 2: การจัดการหน่วยความจำ

สำหรับ Mac ที่มีหน่วยความจำสูงขึ้น (48GB หรือมากกว่า) คุณอาจเลือกใช้เวอร์ชันควอนติไซซ์ 5 บิต:

ollama run qwq:32b-preview-q5_1

เวอร์ชันนี้ถูกปรับให้เหมาะกับเครื่องที่มีการจัดตั้งหน่วยความจำรวมที่แข็งแกร่ง ใช้ Activity Monitor เพื่อตรวจสอบการใช้หน่วยความจำของคุณในระหว่างการอนุมาน.

ขั้นตอนที่ 3: ทดสอบโมเดล

หลังการติดตั้ง ทดสอบการตั้งค่าของคุณโดยการป้อนคำถามใน Terminal:

> ชื่อของคุณคืออะไร?

คุณควรได้รับคำตอบจากโมเดล ซึ่งยืนยันว่าทุกอย่างทำงานตามที่คาดไว้.

วิธีติดตั้ง QwQ-32B บน Linux

ในการติดตั้งและเรียกใช้งานโมเดล QwQ-32B ผ่าน Ollama บน Linux ให้ทำตามขั้นตอนเหล่านี้:

ขั้นตอนที่ 1: ติดตั้ง Ollama

Ollama ทำให้กระบวนการตั้งง่ายขึ้นสำหรับการเรียกใช้งานโมเดล AI ขั้นสูง เช่น QwQ-32B ใช้คำสั่งดังต่อไปนี้เพื่อติดตั้ง:

curl -fsSL https://ollama.com/install.sh | sh

ขั้นตอนที่ 2: หลังการติดตั้ง ให้ตรวจสอบว่า Ollama ได้ติดตั้งแล้วโดยการรัน: ollama

ขั้นตอนที่ 3: ดึงโมเดล QwQ-32B

ใช้ Ollama เพื่อติดตั้งโมเดล QwQ-32B รันคำสั่งต่อไปนี้:

ollama pull qwq:32b

สิ่งนี้จะดึงเวอร์ชันที่ถูกควอนติไซซ์ของ QwQ-32B ที่ถูกปรับให้มีประสิทธิภาพสำหรับการอนุมาน.

ขั้นตอนที่ 4. เรียกใช้โมเดล

เมื่อดาวน์โหลดโมเดลเสร็จแล้ว คุณสามารถโต้ตอบกับมันได้โดยตรงใน terminal ใช้คำสั่งนี้เพื่อเริ่มเรียกใช้งานโมเดล:

ollama run qwq:32b

ตัวเลือก: การตั้งค่าอินเทอร์เฟซเว็บด้วย Docker

หากคุณต้องการอินเทอร์เฟซกราฟิกที่คล้ายกับ ChatGPT แทนที่จะใช้บรรทัดคำสั่ง คุณสามารถตั้งค่า UI เว็บโดยใช้ Docker วิธีการนี้อาจดูเทคนิคมากขึ้นเล็กน้อย แต่ต้องทำเพียงครั้งเดียว.

ขั้นตอนที่ 1: ติดตั้ง Docker Desktop

ดาวน์โหลดและติดตั้ง Docker Desktop จากเว็บไซต์ของ Docker.

ขั้นตอนที่ 2: เรียกใช้คอนเทนเนอร์ Open WebUI

ใน Terminal ของคุณ ให้รัน:

docker run -d -p 8080:8080 — gpus all -v ollama:/root/.ollama -v open-webui:/app/backend/data — name open-webui — restart always ghcr.io/open-webui/open-webui:main

คำสั่งนี้จะดึงคอนเทนเนอร์ ตั้งค่า GPU access และแมพ volume ที่จำเป็น เมื่อเสร็จแล้ว ให้เปิดเบราว์เซอร์เว็บของคุณและไปที่ http://localhost:8080 คุณจะเห็นอินเทอร์เฟซที่คล้ายกับ ChatGPT ซึ่งคุณสามารถโต้ตอบกับโมเดลในเครื่องของคุณได้.

ทางเลือกคลาวด์สำหรับฮาร์ดแวร์ที่มีความสามารถต่ำ

หากคอมพิวเตอร์ของคุณไม่ตรงตามข้อกำหนดที่จำเป็น ให้พิจารณาทางเลือกคลาวด์ ตัวอย่างเช่น NodeShift เสนอตัวอย่าง GPU:

  1. สมัครสมาชิกที่ NodeShift และสร้างบัญชี.
  2. เปิดตัวอย่าง GPU ที่มี GPU A100 หรือ A6000.
  3. ติดตั้ง QwQ-32B โดยใช้ Auto-Installer:
curl -sL nodeshift.com/qwq32b-install | bash

สิ่งนี้จะติดตั้ง QwQ-32B บนตัวอย่างคลาวด์ ช่วยให้คุณหลีกเลี่ยงข้อจำกัดของฮาร์ดแวร์ในขณะยังคงได้ควบคุมในลักษณะเดียวกับในเครื่อง.

การปรับแต่งและการปรับแต่ง

เมื่อโมเดลของคุณทำงานแล้ว คุณสามารถปรับแต่งให้เหมาะกับความต้องการของคุณ ตัวอย่างเช่น คุณสามารถสร้างเวอร์ชันที่กำหนดเองของ QwQ-32B ด้วยชุดข้อมูลของคุณเอง:

ollama create qwq-custom -f Modelfile

สำหรับข้อมูลเพิ่มเติม ลองสำรวจ คลัง Hugging Face ของ Alibaba ซึ่งคุณจะพบการตั้งค่าสุ่มตัวอย่างและการมีส่วนร่วมจากชุมชน.

การรวมทุกอย่างเข้าด้วยกัน

การเรียกใช้งาน QwQ-32B ในเครื่องนั้นมากกว่าการออกกำลังกายทางเทคนิค — มันคือช่องทางในการใช้งาน AI ระดับองค์กรบนฮาร์ดแวร์ของคุณเอง คู่มือนี้ครอบคลุมพื้นฐานสำหรับ Windows, macOS, และ Linux รวมถึงเคล็ดลับในการตั้งค่าอินเทอร์เฟซเว็บ และแม้กระทั่งทางเลือกคลาวด์สำหรับผู้ที่ไม่มีฮาร์ดแวร์ระดับสูง.

จินตนาการถึงเสรีภาพในการเรียกใช้งานโมเดล AI แบบออฟไลน์ วิเคราะห์เอกสารของคุณเองอย่างเป็นส่วนตัว และทดลองกับโมเดลต่างๆ ทั้งหมดจากเครื่องของคุณเอง และจำไว้ว่ากระบวนการง่ายๆ เดียวกันนี้สามารถใช้เพื่อติดตั้งโมเดลใดๆ ที่มีใน Ollama ไม่ว่าคุณจะทำงานกับ QwQ-32B, Llama 3, Mistol หรือโมเดลอื่นๆ ขั้นตอนก็จะคล้ายกันอย่างน่าทึ่ง.

หากคุณอยากลองใช้ความเป็นไปได้ที่น่าตื่นเต้นเหล่านี้ อย่าลืมสำรวจ Anakin AI ด้วยการเข้าถึงเป็นชุดของโมเดลขั้นสูงมากมาย เช่น QwQ-32B, DeepSeek-R1, GPT-4o, Clause 3.7 และอื่นๆ Anakin AI คือศูนย์กลางของการสร้างสรรค์ AI ที่ทันสมัยที่สุดของคุณ.

คำพูดสุดท้าย: ยอมรับพลังของ AI ในเครื่อง

เมื่อเราเดินหน้าเข้าสู่ปี 2025 โลกของ AI กำลังพัฒนาอย่างรวดเร็ว การเรียกใช้งานโมเดลอย่าง QwQ-32B ในเครื่องมอบสิทธิ์คุณกับความเป็นส่วนตัว การประหยัดค่าใช้จ่าย และอิสระในการพัฒนาโดยไม่จำกัด ไม่ว่าคุณจะเป็นนักพัฒนาที่มีประสบการณ์หรือเพิ่งเริ่มต้น การตั้งค่าสภาพแวดล้อม AI ในเครื่องของคุณเองเปิดโลกแห่งความเป็นไปได้ที่สร้างสรรค์.

ทำไมต้องรอ? ก้าวออกไป ติดตามคู่มือนี้ และติดตั้ง QwQ-32B บนคอมพิวเตอร์ของคุณวันนี้ และถ้าคุณสนใจที่จะสำรวจโมเดล AI ที่หลากหลายมากขึ้น Anakin AI รออยู่ — พร้อมชุดเครื่องมือที่ทรงพลังที่จะเปลี่ยนความคิดของคุณให้เป็นจริง.

สนุกกับการทดลอง และหวังว่าจะได้เห็นอนาคตที่ AI ขั้นสูงสามารถเข้าถึงได้ทุกคน — จากความสะดวกสบายในบ้านของคุณ!