Time-Series Data Retention และ Compression: ออกแบบนโยบายเก็บข้อมูลโรงงานให้อยู่รอด 10 ปี

คำถามที่โรงงานเกือบทุกแห่งตอบไม่ได้: ข้อมูล 1 นาทีของเรา เก็บไว้นานแค่ไหน?

เมื่อทีมวิศวกรของ Honey Corporation เข้าไปประเมินระบบเก็บข้อมูลโรงงานลูกค้า เรามักเริ่มด้วยคำถามง่ายๆ สามข้อ: “ข้อมูลเซ็นเซอร์ท่านเก็บความละเอียดระดับไหน เก็บไว้กี่ปี และใครเป็นคนตัดสินใจ” คำตอบที่ได้บ่อยที่สุดคือเงียบสนิท เพราะการตั้งค่า retention ในระบบเก็บข้อมูลส่วนใหญ่มาจากค่า default ของระบบ ไม่ใช่นโยบายขององค์กร

บทความนี้เจาะลึกมุมที่บทความทั่วไปไม่ค่อยพูดถึง — การออกแบบ นโยบายการเก็บข้อมูลอนุกรมเวลา (Retention Policy) และ เทคนิคบีบอัดข้อมูล (Compression) ที่ทำงานร่วมกัน ซึ่งเป็นตัวชี้ขาดว่าแพลตฟอร์มข้อมูลโรงงานของคุณจะอยู่รอดได้นานแค่ไหนเมื่อจำนวนเซ็นเซอร์โตจาก 500 ตัวเป็น 50,000 ตัว

เบื้องหลังตัวเลข: ทำไม 1 นาที × 5 ปี ถึงไม่ใช่เรื่องง่าย

มาคำนวณกันแบบวิศวกรก่อน เซ็นเซอร์แบบที่พบทั่วไปในโรงงานอุตสาหกรรมไทยส่งค่าทุก 1 นาที หนึ่งจุดวัด (tag) หนึ่งปี จะได้ประมาณ 525,600 ค่า ถ้าเก็บแบบไม่บีบอัด ข้อมูล raw ของ 2,000 tags ตลอด 5 ปี จะกินพื้นที่จัดเก็บระดับสิบๆ เทราไบต์ได้ง่ายๆ และยังไม่นับสำเนาสำรองและดัชนี (index) ที่บางระบบใช้พื้นที่มากกว่าตัวข้อมูลเอง

ปัญหาที่ตามมามี 3 ข้อ ที่เราเจอซ้ำๆ ในงานจริง:

• ค่า default ที่โหดร้าย — ระบบเก็บข้อมูลจำนวนมากตั้ง retention เริ่มต้นไว้สั้นมาก เช่น 30-90 วัน พอเกิดปัญหาคุณภาพหรือการร้องเรียนจากลูกค้าที่พบหลังผ่านไป 4 เดือน ข้อมูลช่วงเหตุการณ์ถูกลบไปแล้ว สืบย้อนไม่ได้เลย
• เก็บทุกอย่างไว้ 1 วินาที ตลอดกาล — กลับกัน บางโรงงานกลัวข้อมูลหายจนเก็บ raw ทุกค่าทุกชั้น ภาระการเก็บรักษาโตเร็วกว่าจำนวนเซ็นเซอร์ ทั้งที่ 95% ของข้อมูลเหล่านั้นไม่มีใครเปิดดูอีกเลย
• กฎหมายและสัญญา — อุตสาหกรรมอาหารและยาต้องสืบย้อนข้อมูลกระบวนการผลิตได้ตามเกณฑ์ GMP ขณะที่ข้อมูลพลังงานระดับมิเตอร์ใช้สำหรับการอ้างอิงด้านการประหยัดพลังงานและการรายงานคาร์บอนที่ต้องย้อนหลังได้หลายปี นโยบายเดียวทั้งโรงงานจึงใช้ไม่ได้จริง

เทคนิคบีบอัดที่คุณต้องเข้าใจก่อนเลือกระบบ

ฐานข้อมูลอนุกรมเวลายุคปัจจุบันไม่ได้เก็บข้อมูลเป็นแถวๆ เหมือนฐานข้อมูลทั่วไป แต่ใช้เทคนิคเฉพาะที่ทำให้ข้อมูลโรงงานซึ่ง “เปลี่ยนแปลงทีละนิดและเกิดซ้ำๆ” ถูกบีบอัดได้มหาศาล:

1. Delta-of-Delta encoding — แทนที่จะเก็บ timestamp เต็มๆ เช่น 10:00:00, 10:00:01, 10:00:02 ระบบเก็บเพียง “ห่างจากที่คาดไว้เท่าไร” ซึ่งกรณีข้อมูลมาสม่ำเสมอทุก 1 นาที ค่าที่ต้องเก็บคือศูนย์เท่านั้น ตัวเลข 8 ไบต์จึงเหลือเป็นไม่กี่บิต

2. XOR bit-packing สำหรับค่าวัด — อุณหภูมิที่เปลี่ยนจาก 82.34 เป็น 82.36 องศา ต่างกันแค่ไม่กี่บิตสุดท้าย การเก็บเฉพาะบิตที่ต่างกัน (XOR) บวกการบรรจุแน่น (bit-packing) ทำให้ขนาดข้อมูลเล็กลงขนาด 10-20 เท่าโดยไม่เสียความละเอียดแม้แต่บิตเดียว เทคนิคตระกูลนี้เป็นหัวใจของระบบเก็บข้อมูลอนุกรมเวลาแทบทุกตัวในตลาดปัจจุบัน

3. Deadband / Swinging Door — สองเทคนิคนี้ต่างจากข้างบนตรงที่ ยอมทิ้งค่าโดยเจตนา ถ้าค่าอุณหภูมิค้างที่ 82.3 องศานาน 2 ชั่วโมง ระบบจะเก็บเฉพาะจุดเริ่มและจุดเปลี่ยน พอดึงข้อมูลย้อนหลังจะได้เส้นกราฟที่เหมือนเดิมแทบทุกจุด แต่การเก็บน้อยลงมหาศาล จุดที่ต้องระวังคือ deadband ที่ห่างเกินไปจะทำให้พลาดเหตุการณ์สั้นๆ อย่าง spike ของกระแสมอเตอร์

4. Aggregation ระยะไกล — การหาค่าเฉลี่ย ต่ำสุด สูงสุดของข้อมูล 1 นาที ออกมาเป็นรายชั่วโมง เก็บไว้ชั้นเย็นระยะยาว ซึ่งเหมาะกับกราฟ trend และรายงานด้านสิ่งแวดล้อม แต่ต้องจำไว้เสมอว่าค่าเฉลี่ยเพียงอย่างเดียวจะทำลายหลักฐานของเหตุการณ์แวบสั้น ดังนั้นชุดข้อมูล raw ช่วงเหตุการณ์สำคัญควรถูกตรึง (hold) ไว้แยกต่างหาก

สูตรที่เราใช้จริง: 3 ชั้น ตามอายุข้อมูล

จากประสบการณ์ติดตั้งระบบเก็บข้อมูลโรงงานให้ลูกค้าหลากหลายอุตสาหกรรม ทีม Honey Corporation สรุปแนวปฏิบัติที่สมดุลที่สุดออกมาเป็นสถาปัตยกรรม 3 ชั้น ซึ่งเทียบเคียงได้กับงานติดตั้งระบบ IoT ตู้แช่แข็งอุณหภูมิต่ำกว่าศูนย์ที่เราดูแล ที่ต้องพิสูจน์ลำดับการรักษาอุณหภูมิย้อนหลังได้ตลอดอายุสัญญา:

1. ชั้นร้อน (Hot): ข้อมูล raw ความละเอียดเต็ม เก็บในหน่วยความจำหรือดิสก์ความเร็วสูง 7-30 วัน — รองรับหน้าจอเฝ้าระวังห้องควบคุม การวินิจฉัยปัญหาที่เพิ่งเกิด และการแจ้งเตือน
2. ชั้นอุ่น (Warm): ความละเอียด 1 นาที เก็บ 1-3 ปี บนสื่อเก็บข้อมูลมาตรฐาน — สำหรับวิเคราะห์แนวโน้ม คำนวณ OEE และการสืบสวนปัญหาคุณภาพที่พบหลังผ่านไปหลายเดือน
3. ชั้นเย็น (Cold): ข้อมูลสรุปรายชั่วโมง + ชุด raw ที่ทำเครื่องหมายว่าสำคัญ เก็บ 5-10 ปี บน object storage ต้นทุนต่ำ — สำหรับการตรวจสอบ การเคลมประกัน และการฝึกโมเดล AI ที่ต้องการประวัติยาว

กติกาทอง: ยิ่งข้อมูลเก่า ยิ่งไม่จำเป็นต้องละเอียด — แต่ยิ่งเกี่ยวข้องกับกฎระเบียบ ยิ่งต้องเก็บนาน สองมิตินี้ต้องออกแบบพร้อมกัน ไม่ใช่ทีหลัง

Key Takeaways

• อย่าปล่อยให้ค่า default ตัดสินใจแทนคุณ — retention 30-90 วันที่มากับระบบส่วนใหญ่ไม่เพียงพอสำหรับการสืบสวนปัญหาคุณภาพและข้อกำหนด GMP ที่ต้องย้อนหลังเป็นปี
• Lossless ก่อนเสมอ — เปิดใช้ delta-of-delta และ XOR bit-packing ซึ่งลดขนาดข้อมูล 10-20 เท่าโดยไม่เสียข้อมูล ก่อนพิจารณาเทคนิคที่ทิ้งค่าอย่าง deadband
• Deadband ต้องผูกกับชนิดสัญญาณ — ใช้กับค่าที่ค้างนาน (สถานะ ระดับ) ได้เต็มที่ แต่ห้ามตั้งกว้างกับสัญญาณที่ spike สั้นๆ มีความหมาย เช่น กระแสมอเตอร์หรือการสั่นสะเทือน
• แยกนโยบายตามประเภทข้อมูล — ข้อมูลกระบวนการผลิตอาหาร/ยา ข้อมูลพลังงาน และข้อมูลสถานะเครื่องจักร มีกรอบเวลาและข้อกำหนดต่างกัน อย่าใช้นโยบายเดียวทั้งโรงงาน
• คิดเรื่องความคุ้มค่าเป็นเส้นโค้ง — เป้าหมายไม่ใช่เก็บให้ครบที่สุด แต่คือจุดที่มูลค่าของการสืบย้อนยังสูงกว่าภาระการเก็บรักษา ซึ่งการแบ่ง 3 ชั้นทำให้เส้นโค้งนี้แบนราบลงมาก
• ออกแบบรองรับโมเดล AI — โมเดลพยากรณ์บำรุงรักษาต้องการประวัติความละเอียดสูงหลายปีของเครื่องจักรตัวเดียวกัน การเก็บชุด raw ของอุปกรณ์สำคัญแยกไว้เป็นชุดพิเศษจะทำให้โครงการ AI ปีหน้าไม่ต้องเริ่มจากศูนย์