ทำความรู้จักนวัตกรรมปัญญาประดิษฐ์ที่ช่วยย่นระยะเวลาการผลิตภาพยนตร์

ปัญญาประดิษฐ์ (AI) และการเรียนรู้ของเครื่อง (Machine Learning) กำลังเปลี่ยนแปลงวงการ Visual Effects (VFX) อย่างรวดเร็ว โดยเฉพาะในงานที่ต้องใช้แรงงานสูงและใช้เวลานาน เช่น การทำโรโตสโคป การติดตามกล้อง และการสร้างพื้นผิว อย่างไรก็ตาม สิ่งสำคัญที่ศิลปิน VFX ต้องเข้าใจคือ AI ที่ใช้ในงานวิชวลเอฟเฟกต์ส่วนใหญ่เป็น Machine Learning แบบไม่สร้างสรรค์ (Non-generative ML) ซึ่งออกแบบมาเพื่อจดจำและจำลองรูปแบบจากข้อมูลที่ศิลปินป้อนให้ แตกต่างจาก AI แบบสร้างสรรค์ (Generative AI) ที่สร้างเนื้อหาใหม่จากข้อมูลที่มีอยู่

ความแตกต่างนี้มีความสำคัญเพราะ ML แบบไม่สร้างสรรค์สามารถช่วยเพิ่มประสิทธิภาพการทำงานได้อย่างมหาศาล โดยที่ศิลปินยังคงควบคุมการตัดสินใจทางศิลปะได้อย่างเต็มที่ ไม่มีความเสี่ยงเรื่องลิขสิทธิ์หรือข้อมูลต้นฉบับ

Autodesk Flow Studio: แพลตฟอร์ม AI ครบวงจรสำหรับ VFX

Autodesk Flow Studio (เดิมชื่อ Wonder Studio) เป็นหนึ่งในเครื่องมือ AI ที่ได้รับความสนใจมากที่สุดในวงการ VFX เป็นแพลตฟอร์มบนคลาวด์ที่ใช้ AI ในการเปลี่ยนฟุตเทจจริงให้กลายเป็นฉาก CGI ที่สามารถควบคุมได้อย่างเต็มที่

จุดเด่นของ Flow Studio คือความสามารถในการทำงานแบบ end-to-end โดยศิลปินเพียงแค่อัปโหลดฟุตเทจและตัวละคร CG จากนั้น AI จะจัดการงานที่ซับซ้อน เช่น การจับการเคลื่อนไหว (AI Mocap), การติดตามกล้อง (Camera Tracking), และการสร้างอัลฟาแมสก์โดยอัตโนมัติ นอกจากนี้ยังสามารถส่งออกข้อมูลไปยังซอฟต์แวร์ 3D อื่นๆ ได้ผ่าน USD

ความน่าสนใจ: Autodesk ได้เปิดให้ใช้งาน Flow Studio ในรูปแบบ Freemium โดยมีแผนให้ใช้งานฟรีสำหรับผู้ที่ต้องการทดลอง รวมถึงแผนรายเดือนเริ่มต้นที่ $10 เพื่อให้นักสร้างอิสระและสตูดิโอขนาดเล็กเข้าถึงเทคโนโลยีนี้ได้

CopyCat ใน Nuke: มาตรฐาน ML สำหรับงาน Roto และ Cleanup

CopyCat คือชุดเครื่องมือ Machine Learning ใน Nuke ซึ่งเป็นซอฟต์แวร์คอมโพสิตมาตรฐานอุตสาหกรรม จุดแข็งของ CopyCat คือการฝึกโมเดล ML ด้วย ข้อมูลของศิลปินเอง แทนที่จะใช้ข้อมูลจากแหล่งภายนอก ทำให้ผลลัพธ์มีความน่าเชื่อถือและไม่มีปัญหาด้านลิขสิทธิ์

CopyCat ถูกนำไปใช้ในโปรดักชันระดับโลกอย่าง Dune: Part Two ซึ่งทีมงานใช้ CopyCat ในการเปลี่ยนสีตาของตัวละคร Fremen โดยฝึกโมเดลจากข้อมูลของภาคแรกถึง 30,000 ตัวอย่าง ผลลัพธ์คือ 40% ของ 1,000 ช็อตที่ทำเสร็จไม่ต้องมีการปรับแต่งเพิ่มเติม ช่วยประหยัดเวลาการทำงานโรโตสโคปไปหลายพันชั่วโมง

นอกจากนี้ CopyCat ยังถูกใช้ในการลบรอยสักของนักแสดงในฉากที่ถ่ายด้วยกล้องอินฟราเรดของ Giedi Prime โดยไม่ต้องใช้ 3D object tracking ที่ซับซ้อน

AI สำหรับการสร้างฉาก 3D: NeRF และ Gaussian Splatting

นอกเหนือจากงาน 2D แล้ว AI ยังมีบทบาทสำคัญในการสร้างฉาก 3D จากฟุตเทจ โดยเฉพาะอย่างยิ่งกับเทคโนโลยี Neural Radiance Fields (NeRF) และ Gaussian Splatting

เทคโนโลยีเหล่านี้ช่วยให้ศิลปินสามารถสร้างฉาก 3D ที่มีความสมจริงสูงจากภาพถ่ายหรือวิดีโอ โดยไม่ต้องใช้กล้องหรือเซ็นเซอร์ราคาแพง โดย Gaussian Splatting กำลังได้รับความนิยมมากขึ้นเพราะให้การเรนเดอร์แบบเรียลไทม์และผสานกับ Nuke ได้อย่างมีประสิทธิภาพ กระบวนการทำงานทั่วไปคือการใช้แอปพลิเคชันอย่าง PostShot, Scaniverse, RealityCapture หรือ Luma AI เพื่อจับภาพและสร้างฉาก 3D ก่อนนำเข้าไปยัง Nuke ผ่าน OFX plugin เพื่อทำการจัดแสงและคอมโพสิต

Nuke 17.0 ยังเพิ่มความสามารถในการนำเข้าและเรนเดอร์ 3D Gaussian Splats ได้โดยตรง

AI Motion Capture แบบไร้มาร์คเกอร์

เทคโนโลยี AI Motion Capture กำลังเป็นที่นิยมในหมู่นักสร้างอิสระและสตูดิโอขนาดเล็ก โดยไม่ต้องใช้ชุดและเซ็นเซอร์ราคาแพงอีกต่อไป เครื่องมือที่ได้รับความนิยมคือ Move AI, Rokoko Vision และ AnimDif ซึ่งสามารถจับการเคลื่อนไหวจากวิดีโอที่ถ่ายด้วยกล้องธรรมดาได้

AutoVFX: แก้ไขวีดีโอด้วยคำสั่งภาษา

AutoVFX เป็นงานวิจัยที่พัฒนาโดย IEEE ซึ่งเป็นเฟรมเวิร์กที่สามารถสร้างเอฟเฟกต์วีดีโอที่สมจริงและมีพลวัตจากวิดีโอเดียวและคำสั่งภาษา โดยใช้การจำลองทางฟิสิกส์และการสร้างโค้ดอัตโนมัติจาก LLM (Large Language Model)

งานวิจัยนี้มีความสามารถในการปรับเปลี่ยนลักษณะและรูปทรง, สร้างปฏิสัมพันธ์แบบไดนามิก, ใช้เอฟเฟกต์อนุภาค, และใส่ตัวละครแอนิเมชันลงในฟุตเทจได้ โดยใช้คำสั่งภาษาธรรมชาติ ซึ่งช่วยลดภาระการทำงานที่ยุ่งยากและทำให้การสร้าง VFX เข้าถึงได้ง่ายขึ้นสำหรับผู้ที่ไม่ใช่ผู้เชี่ยวชาญ

เครื่องมือและเทคโนโลยีที่น่าจับตามอง

• MLSharp Gaussian Splats: เครื่องมือที่ใช้สร้าง Gaussian Splats ความละเอียดสูงจากภาพที่สร้างด้วยโมเดล AI เพื่อนำไปใช้ในงาน 3D Reconstruction และ Virtual Production
• Wētā FX และ AWS: สตูดิโอ VFX ระดับโลกกำลังร่วมมือกับ AWS เพื่อพัฒนาเครื่องมือ AI ที่ออกแบบมาเฉพาะสำหรับงาน VFX โดยเฉพาะ ซึ่งจะช่วยให้ศิลปินสามารถควบคุมระบบที่ซับซ้อนได้ด้วยอินเทอร์เฟซที่เป็นธรรมชาติมากกว่าเดิม

เครื่องมือ AI กำลังเปลี่ยนแปลงวิธีการทำงานของศิลปิน VFX อย่างรวดเร็ว โดยเฉพาะงานที่ซ้ำซ้อนและใช้เวลานาน อย่างไรก็ตาม ปัจจุบันเทคโนโลยีเหล่านี้ยังไม่สามารถแทนที่ศิลปินได้ แต่ทำหน้าที่เป็นผู้ช่วยที่ทรงพลัง ช่วยให้ศิลปินสามารถโฟกัสกับงานสร้างสรรค์ได้มากขึ้น แทนที่จะเสียเวลากับงานเทคนิคที่ยุ่งยาก

ในปัจจุบันการเริ่มต้นใช้งานเครื่องมือ AI ทำได้ง่ายขึ้นมาก หลายแพลตฟอร์มมีแผนให้ทดลองใช้งานฟรี เช่น Autodesk Flow Studio และมีแหล่งเรียนรู้มากมายทั้งจาก fxphd และสื่อออนไลน์ทั่วไป ทำให้ศิลปินสามารถเริ่มเรียนรู้และทดลองใช้เทคโนโลยีเหล่านี้ได้โดยไม่ต้องลงทุนสูง