เปิดตัวกันไปเรียบร้อยแล้วสำหรับซอฟต์แวร์ใหม่ของ Apple ภายในงาน WWDC 2024 ยังมีสิ่งที่น่าสนใจอีกอย่างคือการพูดถึง AI ใหม่ของแอปเปิ้ลที่ฝั่งแอนดรอยด์ได้มีการนำมาใช้งานก่อนหน้านี้แล้ว เราไปดูกันดีกว่ามีอะไรน่าสนใจบ้าง?
การประมวลผล
- เป็นการประมวลผลแบบ On Device
- ต้องใช้พละกำลังด้าน NPU สูง จึงจะต้องใช้ M Series และ Apple A17 Pro เท่านั้น
- Core ของระบบฝังอยู่ในระบบส่วนลึก ทำให้เลือกอ่านข้อมูลได้ทั้งหมด
- ระบบจะเข้าใจว่าอันไหนคือ Personal Data อันไหนไม่ใช่ แล้วจะเลือกไม่เก็บข้อมูลนั้น ๆ ได้ และระบบจะเลือกเก็บเฉพาะข้อมูลที่เราร้องขอให้ช่วยเท่านั้น
- หากต้องใช้ LLMs ที่ใหญ่กว่าที่ใส่ไว้ในเครื่อง จะร้องขอไปที่เซิฟเวอร์แบบพิเศษ Private Cloud Compute หรือเซิฟเวอร์แบบคลาวด์เฉพาะบุคคล ที่จะไม่มีการเก็บข้อมูลส่วนตัวไปที่อื่น
- Private Cloud Compute สร้างขึ้นเพื่อความโปร่งใสในการประมวลผลโดยเฉพาะ ด้วยระบบนิเวศแบบปิด เซิฟเวอร์ใช้ Apple Silicon เพื่อประมวลผล ใช้ Swift เขียนการเข้ารหัสความปลอดภัย และมีความโปร่งใสในการตรวจสอบ
- โดยระบบจะเลือกดูว่าความต้องการนี้สามารถประมวลผลบนเครื่องได้หรือไม่ หากไม่ได้ จะเลือกเอาแค่เฉพาะข้อมูลที่ต้องใช้ ส่งไปให้ Private Cloud Compute ส่วนตัวของเราประมวลผล ที่เราสามารถตรวจสอบได้
- ตั้งตัวว่าเป็นมาตราฐานสำหรับความปลอดภัยในการใช้ข้อมูลเพื่อ AI f
- ใช้ได้บน iOS 18, iPadOS18 และ macOS Sequoia
ความสามารถที่โฟกัสของ Gen แรก
- Language
- Images
- Action
- Personal Context
Siri ใหม่ เพิ่มพลัง Apple Intelligence
- ตอบคำถามได้เป็นธรรมชาติมากขึ้น เข้าใจคำพูดมากขึ้น
- ต่อเนื่องมากขึ้น คำถามแบบ Follow Up
- ส่วนตัวมากขึ้น
- หน้าตาใหม่ คลีนมากขึ้น เป็น Gradient Light รอบจอ เพื่อให้รู้ว่า Siri กำลังทำงาน
- ฟีเจอร์ใหม่ Type to Siri
- หาฟีเจอร์ในเครื่องให้ได้ เช่นอยากทำอะไรสักอย่าง สามารถลองถามได้ว่าอยากจะทำแบบนี้ สามารถทำยังไงได้บ้าง แล้ว Siri จะไปหาวิธีมาให้พร้อมวิธีแบบ Step by Step
จำแนกข้อมูลส่วนตัวมาใช้ได้ แต่ไม่เก็บข้อมูล
- หาข้อมูลที่ละเอียดอ่อนได้ เช่นอีเวนต์ที่ต้องทำ รูปภาพ หรือข้อมูลในอีเมล ช่วยหาให้ได้หมด
- ฟีเจอร์ Priority ช่วยคัดแยกอีเมล์ สรุปอีเมล์ให้เราได้ Priority แค่อะไรที่สำคัญ รวมไปถึง Notification ด้วย
- Reduce Interruption คล้ายกับ Do Not Disturb แต่จะเลือกการแจ้งเตือนที่สำคัญมาแจ้งเตือนอยู่
On Screen Awareness
- เข้าใจว่าเกิดอะไรขึ้นบนจอบ้าง จะทำงานกับ App Intents API โดยเป็น Framework ที่ให้นักพัฒนาไปเขียนมาใส่แอป แล้วเราสามารถสั่ง Siri ให้ทำงานในแอปนั้นได้อัตโนมัติผ่านเสียง
- เช่นอยากแต่งรูป ก็บอก Siri ว่า รูปนี้มันติดเหลืองไปนะ Siri จะไปขยับหลอด Temp ให้อุณหภูมิภาพกลับมาโทนเย็นมากขึ้นให้เลย โดยเราไม่ต้องแตะเครื่อง
- สรุปก็คือใช้เสียงสั่งการให้ Siri ใช้แอปแทนเราได้
- และยังสามารถทำงานร่วมกับ AI แต่งคำ และสร้างรูปของ Apple Intelligence ได้เลย
- เช่นสั่งให้ Apple สร้างรูปวันเกิดส่งเพื่อน จากหน้าเพื่อนให้หน่อย แล้วส่งให้เลย เพื่อนก็จะได้รูปที่สร้างจาก AI ที่เหมาะสมสำหรับวันเกิดทันที
- ซึ่งในอนาคตหลังจาก API Kit ถูกปล่อย แปลว่าจะมีแอปที่รองรับการทำงานผ่านการสั่งการ Siri ได้มากขึ้นเรื่อย ๆ ในอนาคต จนมีอยู่เต็มไปหมด
- ยืนยันอีกครั้งว่า ระบบจะเข้าใจว่าอันไหนคือ Personal Data และจะไม่เก็บเกี่ยวข้อมูล อันไหนต้องประมวลผลด้วยโมเดลใหญ่ จะใช้ Private Cloud Compute
- ทำได้ยันสมมติว่าแอปต้องการให้เรากรอกข้อมูลบัตรใบขับขี่ Siri จะไปหารูปที่เราเคยถ่ายไว้ว่ามีรูปใบขับขี่ไหม ถ้ามีก็จะไปลอกเอาข้อมูลมาเติมให้เลย
Writing Tool
- คล้าย ๆ Magic Compose ของ Google คือสามารถเสกข้อความให้เราได้ สามารถปรับโทนของข้อความให้เหมาะสมกับปลายทางที่จะส่งไป เช่นทางการ เพื่อนฝูง หรือกึ่งทางการ
- Proofread สามารถพิสูจน์อักษร แก้ Grammar ได้ แก้คำผิดได้
- สรุปข้อความยาว ๆ ให้เราได้
- รองรับกับแอปที่มี Textfield ทั้งหมด
- Smart Reply อ่านข้อความต้นทางแล้วเลือกสร้างคำตอบได้เลย
Image Generating
- Genmoji
- ใน Note และแอป Phone สามารถบันทึกเสียง และถอดความให้ได้เป็น text เลย และแน่นอนว่าใน Phone แอปจะแจ้งเตือนคู่สนทนาด้วย
- สร้างอิโมจิจาก text prompt ได้่ ส่งผ่าน Message ของ iPhone สร้างอิโมจิได้ตรงบรีฟที่ต้องการ
- Image Playground
- Tool สำหรับสร้างภาพแบบ prompt to image พิมพ์ prompt แล้ว generate ภาพออกมาให้ได้เลย แล้วนำไปใช้งานต่อได้ ฝังอยู่ในแอป Message ต่าง ๆ พร้อม API รวมไปถึงมีแอปแยกด้วย
- Magic Wand
- ฟีเจอร์ใหม่ในแอป Note สามารถวงรูป sketch แล้วใช้ Image Playground สร้างภาพต่อจากภาพ sketch และเติม prompt เพื่อให้สร้างเป็นภาพที่สมบูรณ์ได้
- Photo
- เครื่องมือ Clean Up ใหม่ ลบคน และสิ่งที่ไม่ต้องการจากรูปได้
- หารูปภาพด้วยคำค้นหาทั่วไปที่ใส่รายละเอียดได้ เช่นรูปของคุณแม่ใส่เสื่อสีแดง กำลังทำกับข้าว (ENG นะ ณ ตอนนี้)
- Memory Movie
- พิมพ์ prompt ที่ต้องการให้ไปหารูปรวมมาสร้างวิดีโอสั่น เช่น สร้างวิดีโอของคุณแม่ที่กำลังทำกับข้าวให้หน่อย AI ก็จะไปรวมมาให้ประกอบกันเป็นวิดีโอ
- Transcribe
- ใน Note และแอป Phone สามารถบันทึกเสียง และถอดความให้ได้เป็น text เลย และแน่นอนว่าใน Phone แอปจะแจ้งเตือนคู่สนทนาด้วย
ทำงานร่วมกับ ChatGPT ได้
- สามารถไปถาม ChatGPT ให้มาช่วยตอบในเรื่องที่มันคิดว่าตอบเองไม่ดีพอได้ด้วย (ซึ่งต้องขออนุญาตผู้ใช้ก่อน เพราะเป็นการส่งข้อมูลไปประมวลผลที่เซิร์ฟเวอร์ของ OpenAI) และใช้ ChatGPT ช่วยเขียนงานได้ผ่าน iOS เลย