Knowledge Distillation สำหรับ Industrial AI: เทคนิคบีบอัดโมเดล AI ขนาดใหญ่ให้วิ่งบน Edge Device
ในยุคที่โมเดล Deep Learning มีขนาดใหญ่ขึ้นเรื่อยๆ (บางโมเดลมีพารามิเตอร์นับพันล้าน) การ Deploy ลงบน Edge Device ในโรงงานที่มีทรัพยากรจำกัด (RAM 512 MB – 4 GB, CPU พลังต่ำ) จึงเป็นความท้าทายใหญ่ Knowledge Distillation (KD) คือเทคนิคที่แก้ปัญหานี้โดยการ “ถ่ายทอดความรู้” จากโมเดลใหญ่ (Teacher) ไปยังโมเดลเล็ก (Student) โดยรักษาประสิทธิภาพไว้ใกล้เคียงเดิม
หลักการพื้นฐานของ Knowledge Distillation
KD ได้แรงบันดาลใจจากกระบวนการเรียนการสอนในชีวิตจริง ครูที่มีความรู้ลึกซึ้ง (Teacher Model) สอนนักเรียนที่มีความจำจำกัด (Student Model) ให้เข้าใจเนื้อหาแกนกลางได้โดยไม่ต้องรู้ทุกอย่างแบบครู กระบวนการนี้ทำงานผ่านกลไกที่เรียกว่า Soft Labels
ปกติโมเดล Classification จะให้ผลลัพธ์เป็น Hard Label (เช่น “ตำหนิประเภท A = 100%”) แต่ Teacher Model จะให้ผลเป็น Soft Label ที่อยู่ในรูป Probability Distribution (เช่น “ตำหนิ A = 70%, ตำหนิ B = 25%, ปกติ = 5%”) ข้อมูลเหล่านี้เรียกว่า Dark Knowledge — มันเก็บข้อมูลความสัมพันธ์ระหว่างคลาสที่ Hard Label สูญเสียไป
สูตรการทำงานของ KD
Loss Function ของ Student Model ประกอบด้วย 2 ส่วน:
L_total = α × L_hard(y_true, y_student) + (1-α) × T² × L_soft(y_teacher, y_student)โดยที่:
- L_hard = Cross-Entropy Loss กับ Ground Truth (เหมือนการ Train ปกติ)
- L_soft = KL Divergence ระหว่าง Soft Label ของ Teacher และ Student
- T (Temperature) = พารามิเตอร์ที่ทำให้ Probability Distribution “นุ่ม” ขึ้น (ปกติ T = 1, ใช้ T = 3–10 ใน KD)
- α = น้ำหนักระหว่าง Hard และ Soft Loss (ปกติ α = 0.5–0.7)
ประเภทของ Knowledge Distillation
| ประเภท KD | กลไกการถ่ายทอด | ความซับซ้อน | ความเหมาะสม |
|---|---|---|---|
| Response-Based | จับคู่ผลลัพธ์ Final Output (Soft Label) | ต่ำ | Classification ทั่วไป |
| Feature-Based | จับคู่ Intermediate Feature Map ระหว่างเลเยอร์ | ปานกลาง | Object Detection, Segmentation |
| Relation-Based | จับคู่ความสัมพันธ์ระหว่าง Sample ต่างๆ | สูง | งานที่ต้องเข้าใจโครงสร้างข้อมูล |
การผสาน Knowledge Distillation กับเทคนิคบีบอัดอื่น
ในทางปฏิบัติ KD มักใช้ร่วมกับเทคนิคอื่นเพื่อผลลัพธ์ที่ดีที่สุด:
- Quantization — แปลงพารามิเตอร์จาก FP32 → INT8 ลดขนาดโมเดล 4 เท่า KD ช่วย Recover ความแม่นยำที่หายไปจาก Quantization
- Pruning — ตัดพารามิเตอร์ที่ไม่จำเป็นออก (เช่น Weight ที่ใกล้ศูนย์) หลัง Prune แล้วใช้ KD ทำ Fine-tune เพื่อฟื้นฟูประสิทธิภาพ
- Architecture Search — ออกแบบ Student Model ที่เหมาะสมที่สุดสำหรับฮาร์ดแวร์เป้าหมาย ผ่าน Neural Architecture Search (NAS)
ผลลัพธ์ในงานอุตสาหกรรมจริง
ในการประยุกต์ใช้ KD สำหรับระบบตรวจสอบคุณภาพด้วย Computer Vision พบว่า:
| ตัวชี้วัด | Teacher Model | Student Model (ไม่ใช้ KD) | Student Model (ใช้ KD) |
|---|---|---|---|
| ขนาดโมเดล | ~250 MB | ~15 MB (−94%) | ~15 MB (−94%) |
| ความแม่นยำ (Accuracy) | 98.5% | 92.1% | 97.2% |
| Inference Time | 45 ms | 3.2 ms | 3.2 ms |
| RAM Usage | ~2 GB | ~120 MB | ~120 MB |
ข้อสังเกต: Student Model ที่ Train ด้วย KD รักษาความแม่นยำไว้ได้ถึง 97.2% เทียบกับ Teacher ที่ 98.5% — สูญเสียเพียง 1.3% ในขณะที่ลดขนาดลง 94% และเร่งความเร็ว 14 เท่า นี่คือพลังของ Dark Knowledge
การนำไปใช้ในโรงงาน
Workflow ที่แนะนำสำหรับการ Deploy AI Model บน Edge Device ในโรงงาน:
- Train Teacher Model บน Cloud/GPU Server ด้วยข้อมูลทั้งหมดให้ได้ความแม่นยำสูงสุด
- เลือก Student Architecture ที่เหมาะกับฮาร์ดแวร์ Edge (เช่น MobileNet, SqueezeNet)
- Train Student ด้วย KD โดยใช้ Teacher เป็นแหล่งความรู้ (ใช้เวลา Train นานกว่าปกติ 1.5–2 เท่า)
- ทำ Quantization INT8 และ Test บนฮาร์ดแวร์ Edge จริง
- Monitor ประสิทธิภาพและทำ Periodic Retrain เมื่อมี Drift
Key Takeaways
- KD คือการถ่ายทอดความรู้ จากโมเดลใหญ่ไปเล็กผ่าน Soft Labels ที่เก็บ Dark Knowledge ของความสัมพันธ์ระหว่างคลาส
- ลดขนาดได้ถึง 94% โดยสูญเสียความแม่นยำเพียง 1–3% เทียบกับ Teacher Model ต้นฉบับ
- เร่งความเร็ว 10–20 เท่า ทำให้โมเดล AI สามารถวิ่งบน Edge Device ที่ทรัพยากรจำกัดได้แบบเรียลไทม์
- Feature-Based KD เหมาะสำหรับงาน Object Detection และ Segmentation ที่ต้องเข้าใจโครงสร้างภาพ
- ใช้ร่วมกับ Quantization และ Pruning เพื่อผลลัพธ์การบีบอัดที่ดีที่สุด — KD ช่วยฟื้นฟูความแม่นยำที่สูญเสียจากเทคนิคอื่น
- Temperature Scaling เป็นพารามิเตอร์สำคัญ — T สูงทำให้ Soft Label นุ่มขึ้น ช่วย Student เรียนรู้ความสัมพันธ์ได้ดีขึ้น