Google เปิดเผยงานวิจัยเทคนิคระบบกันภาพสั่นของ Pixel 2 และ Pixel 2 XL ได้อย่างยอดเยี่ยม
เทคนิคดังกล่าวเรียกว่า Fused Video Stabilization ซึ่งสร้างขึ้นจากระบบ OIS (Optical Image Stabilization) และ EIS (Electronic Image Stabilization) โดยให้ผลลัพธ์ที่มีคุณภาพสูง ป้องกันการสั่นไหวได้อย่างอิสระทุกทิศทาง จนได้คะแนนการทดสอบจาก DxO ไปสูงมาก
แต่การบันทึกวิดีโอด้วยสมาร์ทโฟนนั้น ขึ้นอยู่ปัจจัยต่างๆมากมาย ไม่ว่าจะเป็น
- การสั่นของกล้อง ซึ่งโดยปกติแล้ว การหยิบสมาร์ทโฟนขึ้นมาบันทึกวิดีโอในทันทีนั้นจะทำให้เกิดการสั่นไหวของภาพ และถ้าเราเคลื่อนไหวตามไปด้วย ภาพที่ได้ก็จะมีความสั่นไหวมากขึ้นด้วยเช่นกัน
- อาการภาพที่เบลอจากการเคลื่อนไหว (Motion Blur) เกิดจากการที่กล้องหรือวัตถุสั่นในระหว่างบันทึกวิดีโอ ถึงแม้จะมีการแก้เฟรมต่างๆในภายหลัง แต่วิดีโอที่ได้จะปรากฏเป็นภาพเบลอและชัดสลับกันไป
- อาการภาพล้ม (Rolling Shutter) เกิดจากการที่เซ็นเซอร์ภาพ CMOS เก็บพิกเซลภาพเป็นแถวจากด้านบนลงล่าง เป็นเวลา 10 มิลลิวินาที ซึ่งถ้าหากมีการเคลื่อนไหวอย่างรวดเร็วระหว่างการบันทึก ก็จะทำให้เกิดอาการภาพล้ม ดังวิดีโอด้านล่างนี้
- โฟกัสไหล (Focus Breathing) เป็นความไม่เสถียรของมุมมองภาพในขณะปรับโฟกัส เนื่องจากมีวัตถุมาอยู่ในระยะใกล้อย่างรวดเร็ว ผลก็คือทำให้ภาพพื้นหลังมีแสงจ้าและกระจายไปทั่ว ดังวิดีโอด้านล่างนี้
อย่างไรก็ดี ระบบป้องกันการสั่นของภาพที่รู้จักกันดีในปัจจุบันก็คือ OIS (Optical Image Stabilization: ระบบป้องกันภาพสั่นไหวแบบออฟติคอล) และ EIS (Electronic Image Stabilization: ระบบป้องกันภาพสั่นไหวแบบอิเลกทรอนิกส์) ซึ่งยังมีข้อผิดพลาดในการประมวลผลภาพบางประเภท
แล้ว Fused Video Stabilization เข้ามาทำงานได้อย่างไร ?
Fused Video Stabilization จะใช้ทั้ง OIS และ EIS ในขณะบันทึกวิดีโอเพื่อระบุถึงปัญหาต่างๆข้างต้น โดยแบ่งออกได้เป็น 3 ขั้นตอน คือ
- วิเคราะห์การเคลื่อนไหวด้วย ไจโรสโคป ความไวสูง
- คัดกรองการเคลื่อนไหว (Motion Filtering) รวมเข้ากับ AI เพื่อคำนวนและคาดคะเนการเคลื่อนไหวของบุคคลในขณะที่ถูกบันทึกภาพ หรือเรียกว่า Lookahead Motion Filtering
- สังเคราะห์เฟรม เพื่อลบอาการภาพล้มและโฟกัสไหล
นั่นทำให้วิดีโอที่ได้จากการเทคนิค Fused Video Stabilization ใน Pixel 2 นั้น มีอาการภาพเบลอจากการเคลื่อนไหวน้อยลง และดูเป็นธรรมชาติมากขึ้น ทั้งวิดีโอในระดับ 60 fps หรือ 4K
กล่าวคือ Fused Video Stabilization ได้นำเอา AI มาช่วยในการประมวผลภาพ โดยฟีเจอร์หนึ่งที่มีความสำคัญ ก็คือ Lookahead Motion Filtering โดยมีการทำงานที่น่าสนใจ ดังนี้
- วิเคราะห์และจดจำรูปแบบการเคลือนไหวของผู้ใช้ และสร้างการเคลื่อนไหวให้นุ่มนวลมากขึ้น
- ทำการเทรนซอฟต์แวร์ให้แยกการเคลื่อนไหวที่ตังใจออกจากการเคลื่อนไหวอื่นๆที่ไม่เกี่ยวข้อง เช่น ถ้าหากระบบคาดการณ์ว่ากล้องจะหมุนไปในแนวราบ ก็จะตัดการเคลื่อนไหวในแนวดิ่งออก ซึ่งทำให้ภาพมีความนิ่งมากขึ้น
- ตัดส่วนขอบที่เกินออกจากภาพ เพื่อให้ภาพมีความสมบูรณ์มากขึ้น
นอกจากนี้ การใช้ ไจโรสโคป ความไวสูง ร่วมกับ OIS ยังช่วยให้ระบุการเบลอของภาพจากการเคลื่อนไหวในแต่ละเฟรมได้อย่างแม่นยำ ทั้งก่อน ในระหว่าง และหลังจากการบันทึก แล้ว AI ก็จะคำนวณเพื่อสร้างแบบจำลองการสั่น และช่วยลดการสั่นของภาพที่เกิดขึ้นได้ ดังวิดีโอด้านล่างนี้
เรามาดูตัวอย่างวิดีโอที่บันทึกโดย Pixel 2 ด้วยเทคนิค Fused Video Stabilization ซึ่งทำให้ภาพมีความนุ่มนวลเป็นอย่างมาก
ข้อมูลอ้างอิง : google