วิธีใช้ TOM ควบคุม Mac ด้วยมือผ่านกล้อง (พร้อมภาพประกอบทีละขั้น)

TOM (Touch On Mac) เปลี่ยนกล้องของ Mac ให้เป็นเมาส์ ขยับมือเพื่อเลื่อนเคอร์เซอร์ จีบนิ้วเพื่อคลิก ชูสองนิ้วเพื่อเลื่อนหน้า และแบมือแล้วปัดเพื่อสลับงานได้เหมือนใช้ trackpad ภาพจากกล้องประมวลผลภายในเครื่องทั้งหมด ไม่มีการส่งออกไปที่ใด

บทความนี้พาติดตั้งและใช้งานทีละขั้น พร้อมภาพประกอบจากหน้าจอจริงของแอป

ดาวน์โหลด: TOM 0.1.0 สำหรับ macOS (.dmg, 1.7 MB)
ต้องใช้ macOS 14 ขึ้นไป รองรับทั้ง Apple Silicon และ Intel และต้องมีกล้อง (กล้องในเครื่อง กล้อง USB หรือ iPhone ผ่าน Continuity Camera)

1. ติดตั้งแอป

ดับเบิลคลิกไฟล์ TOM-0.1.0.dmg แล้วลากไอคอน TOM ไปวางในโฟลเดอร์ Applications

เปิด TOM จากโฟลเดอร์ Applications ไอคอนรูปมือจะขึ้นที่แถบเมนูด้านขวาบน (TOM ไม่มีไอคอนใน Dock)

ถ้าขึ้นว่า "ไม่สามารถเปิด TOM ได้" แสดงว่าแอปยังไม่ได้ผ่านการรับรอง (notarize) ของ Apple ให้ไปที่ System Settings → Privacy & Security เลื่อนลงไปกด Open Anyway แล้วเปิดแอปอีกครั้ง

2. ให้สิทธิ์กล้องและ Accessibility

TOM ต้องใช้สิทธิ์ 2 อย่าง:

• กล้อง เพื่อมองเห็นมือ
• Accessibility เพื่อขยับและคลิกเมาส์แทนคุณ

กดปุ่ม อนุญาต ของแต่ละรายการ สำหรับ Accessibility ให้เปิดสวิตช์ TOM ใน System Settings → Privacy & Security → Accessibility

3. เปิดการควบคุมจากแถบเมนู

คลิกไอคอนมือบนแถบเมนู แล้วเปิดสวิตช์ ควบคุมเมาส์ด้วยมือ ในแผงนี้จะเห็นท่าที่ระบบกำลังตรวจจับ ความเร็วในการประมวลผล และสรุปท่าทางทั้งหมด

เปิดหรือปิดการควบคุมได้ทุกเมื่อด้วยคีย์ลัด ⌃⌥⌘T (Control + Option + Command + T)

4. ทำความรู้จักหน้าต่างกล้อง

กด กล้องและการตั้งค่า… เพื่อเปิดหน้าต่างหลัก ด้านซ้ายคือภาพจากกล้องพร้อมโครงมือที่ระบบมองเห็น และ กรอบเส้นประ คือพื้นที่ควบคุม เมื่อมือขยับจากขอบหนึ่งไปอีกขอบของกรอบนี้ เคอร์เซอร์จะเคลื่อนจากขอบหนึ่งไปอีกขอบของจอ การ์ดด้านล่างจะไฮไลต์ท่าที่ระบบตรวจจับได้ในขณะนั้น ส่วนด้านขวาเป็นการตั้งค่าทั้งหมด

ถ้าเปิดหน้าต่างนี้แต่ยังไม่เปิดสวิตช์ ควบคุมเมาส์ จะเป็น โหมดทดสอบ เห็นการตรวจจับได้ แต่เมาส์ยังไม่ขยับ เหมาะสำหรับฝึกท่าก่อนใช้งานจริง

5. จัดกรอบให้อยู่ตรงมือ

ถ้าเคอร์เซอร์ติดขอบจอหรือไปไม่ถึงบางมุม ให้กดปุ่ม จัดกรอบตรงมือ ที่มุมขวาล่างของภาพกล้อง แล้วยกมือค้างไว้ในตำแหน่งที่ใช้สบายที่สุดจนนับถอยหลังครบ 3 วินาที ระบบจะย้ายกรอบควบคุมมาไว้ตรงมือคุณ

6. ท่าทางทั้งหมด

เคล็ดลับ: มือต้องกางนิ้วให้กล้องเห็นก่อน การจีบถึงจะนับเป็นคลิก มือที่วางพักหรือเข้ามาในกล้องในท่าจีบอยู่แล้วจึงไม่คลิกเอง

7. อ่านวงแหวนรอบเคอร์เซอร์

ระหว่างควบคุม จะมีวงแหวนเล็ก ๆ อยู่รอบเคอร์เซอร์ บอกว่าระบบกำลังเห็นท่าอะไร วงจะค่อย ๆ เต็มเมื่อนิ้วเข้าใกล้กัน และเต็มวงสีเขียวเมื่อคลิก ตอนเลื่อนหน้า แบมือ หรือปัดสำเร็จ จะมีไอคอนเล็ก ๆ ขึ้นที่มุมซ้ายบนของวง

8. ถ้าเมาส์ไม่ขยับ

ถ้าวงแหวนเป็น สีแดงมีรูปกุญแจ แปลว่า TOM เห็นมือแล้ว แต่ macOS ยังไม่ยอมให้ส่งคำสั่งเมาส์ มักเกิดหลังติดตั้งเวอร์ชันใหม่ แม้สวิตช์ใน Settings จะยังเปิดอยู่ ให้กดปุ่ม รีเซ็ตสิทธิ์ ในแอป แล้วเปิดสวิตช์ TOM ใน Accessibility อีกครั้ง

9. ปรับแต่งให้เข้ามือ

ในหน้าตั้งค่าปรับได้ตั้งแต่ความไว ตำแหน่งกรอบ ความนิ่งของเคอร์เซอร์ ระยะจีบที่นับเป็นคลิก ความเร็วในการเลื่อนหน้า ไปจนถึงเปิดหรือปิดท่าสลับงานและการใช้สองมือ

ประหยัดพลังงาน

โหมดเริ่มต้น สมดุล จะประมวลผลเต็มความเร็วเมื่อเห็นมือ และลดความถี่ลงเองเมื่อไม่มีมืออยู่หน้ากล้อง แอปจะปิดกล้องเองเมื่อจอดับหรือล็อกเครื่อง

ถ้าหน้าตั้งค่าแจ้งว่า Video Effects ของระบบเปิดอยู่ (เช่น Reactions หรือ Portrait) ให้กดปุ่มเปิดเมนู Video Effects แล้วปิดเอฟเฟกต์เหล่านั้นสำหรับ TOM เพราะ macOS จะประมวลผลเอฟเฟกต์ทุกเฟรมเพิ่มจากตัวแอป

คำถามที่พบบ่อย

ภาพจากกล้องถูกส่งออกไปที่ไหนหรือไม่
ไม่ TOM ประมวลผลภาพภายในเครื่องด้วย Apple Vision และไม่บันทึกหรือส่งภาพออกไปที่ใด

ท่าสลับ Desktop ไม่ทำงาน
TOM ใช้คีย์ลัดมาตรฐานของ macOS (Control + ลูกศร) ตรวจว่ายังเปิดอยู่ใน System Settings → Keyboard → Keyboard Shortcuts → Mission Control

ปิดการควบคุมเร็ว ๆ ได้อย่างไร
กด ⌃⌥⌘T หรือเอามือออกจากกล้อง ถ้ากำลังจีบค้างอยู่ ระบบจะปล่อยปุ่มเมาส์ให้อัตโนมัติ

ดาวน์โหลด TOM: TOM 0.1.0 สำหรับ macOS · ดูรายละเอียดโปรเจกต์ได้ที่ Works · TOM