Bubbaloop: อินเทอร์เฟซควบคุมสำหรับตัวแทน AI และการให้บริการ VLM แบบหลายโหมด
Bubbaloop ซึ่งพัฒนาโดย Kornia ทำหน้าที่เป็นเซิร์ฟเวอร์ MCP (Model Context Protocol) และแพลตฟอร์มการให้บริการ VLM (Vision Language Model) สำหรับ AI หลายรูปแบบ สร้างขึ้นด้วย Rust ตัวเดมอนหลักและเซิร์ฟเวอร์ MCP ถูกแจกจ่ายเป็นไบนารีเดียว มันทำหน้าที่เป็นส่วนติดต่อควบคุมเพียงอย่างเดียวสำหรับตัวแทน AI ฮาร์ดแวร์ต่างๆ รวมถึงกล้อง เซ็นเซอร์ หุ่นยนต์ และฝูง IoT Bubbaloop ช่วยให้ผู้ใช้สามารถโต้ตอบกับระบบทางกายภาพและทำให้ระบบอัตโนมัติด้วยภาษาธรรมชาติ ทำให้ความสามารถ AI ขั้นสูงเข้าถึงได้สำหรับการใช้งานในโลกจริง.
ทางเลือกที่แนะนำมากที่สุด
Bubbaloop เชื่อมต่อกับอะไร?
Bubbaloop เชื่อมต่อและจัดการกับฮาร์ดแวร์ AI ตัวแทนที่หลากหลาย ซึ่งรวมถึงอุปกรณ์เช่นกล้อง เซ็นเซอร์ หุ่นยนต์ และฟลีต IoT ทั้งหมด บทบาทหลักคือเซิร์ฟเวอร์ MCP (Model Context Protocol) ทำหน้าที่เป็นอินเทอร์เฟซควบคุมเพียงอย่างเดียวสำหรับตัวแทน AI เหล่านี้ นอกจากนี้ Bubbaloop ยังทำงานเป็นแพลตฟอร์ม VLM (Vision Language Model) สำหรับ AI หลายรูปแบบ Daemon จะรวมการทำงานของตัวแทน ซึ่งทำหน้าที่เป็นเกตเวย์ Zenoh หลายตัว พร้อมกับเซิร์ฟเวอร์ MCP โดยใช้ Zenoh สำหรับการส่งข้อความ pub/sub อย่างมีประสิทธิภาพ.
คุณสมบัติหลักและเครื่องมือ
Bubbaloop เปิดเผยเครื่องมือ MCP จำนวน 47 ชิ้นสำหรับการโต้ตอบ พร้อมด้วยเครื่องมือภายในตัวแทนหลายตัวที่ไม่เปิดเผยผ่าน MCP เครื่องมือภายในตัวแทนด้าน daemon ซึ่งไม่เปิดเผยผ่าน MCP รวมถึง grab_frame, memory_search, memory_forget, schedule_task, create_proposal, read_file, write_file, run_command, และ publish_to_topic. เซิร์ฟเวอร์ MCP จะเริ่มทำงานโดยอัตโนมัติที่พอร์ต 8088 ระบบรองรับ AI clients ที่เข้ากันได้เช่น Gemini (แนะนำ), Claude, และ Ollama สำหรับการใช้งานในท้องถิ่น ทำให้สามารถโต้ตอบและมีความสามารถ AI ที่หลากหลาย.
ใครคือผู้ใช้งาน?
Bubbaloop ถูกออกแบบมาสำหรับผู้ใช้ที่ต้องการโต้ตอบและทำให้ระบบทางกายภาพเป็นอัตโนมัติด้วยภาษาธรรมชาติ ซึ่งรวมถึงบุคคลที่จัดการกล้อง เซ็นเซอร์ หุ่นยนต์ และฟลีต IoT มันช่วยให้การควบคุมและการทำงานอัตโนมัติขั้นสูงสำหรับอุปกรณ์ฮาร์ดแวร์ผ่าน AI การใช้งานเฉพาะรวมถึงการสอบถามเซ็นเซอร์ที่เชื่อมต่อหรือการจัดการฟลีต IoT และหุ่นยนต์ที่รวมกัน ข้ามไปถ้ากระบวนการทำงานของคุณไม่เกี่ยวข้องกับการควบคุมตัวแทน AI ฮาร์ดแวร์ทางกายภาพด้วยภาษาธรรมชาติ.
วิธีเริ่มต้น
เซิร์ฟเวอร์จะทำการตรวจสอบสิทธิ์โดยใช้ API key ที่ส่งผ่านเป็นตัวแปรสภาพแวดล้อมหรือผ่านคำสั่งเข้าสู่ระบบ อินเทอร์เฟซแชทของแดชบอร์ดจะสื่อสารผ่าน HTTP+SSE และ CLI จะใช้ REST API.
กรณีการใช้งาน
- การโต้ตอบด้วยภาษาธรรมชาติกับฮาร์ดแวร์ เช่น การสอบถามเซ็นเซอร์ที่เชื่อมต่อด้วย "bubbaloop agent chat 'ฉันมีเซ็นเซอร์อะไรบ้าง?'".
- การทำให้ระบบทางกายภาพเป็นอัตโนมัติและการจัดการฟลีต IoT/หุ่นยนต์ที่รวมกัน.
- การทำคำอธิบายฉากโมเดลภาษาในภาพจากกล้อง โดยใช้เครื่องมือ "grab_frame" เพื่อดึง JPEG สำหรับการวิเคราะห์ AI.
Bubbaloop เสนอแพลตฟอร์มที่มีประสิทธิภาพสำหรับการควบคุมตัวแทน AI ฮาร์ดแวร์ที่หลากหลายและให้บริการ AI หลายรูปแบบ มันทำให้การโต้ตอบกับระบบทางกายภาพง่ายขึ้นผ่านภาษาธรรมชาติและสนับสนุนลูกค้า AI ชั้นนำ Kornia's Bubbaloop ให้เครื่องมือสำหรับการทำงานอัตโนมัติ การสอบถามเซ็นเซอร์ และคำอธิบายฉาก VLM ระบบที่สร้างด้วย Rust นี้รวมความสามารถ AI ที่หลากหลายเพื่อการจัดการฮาร์ดแวร์ที่ใช้งานได้จริง ลองโต้ตอบกับเซ็นเซอร์ที่เชื่อมต่อของคุณโดยใช้ "bubbaloop agent chat 'What sensors do I have?'".
