Uptime Industries muốn thúc đẩy việc sử dụng AI địa phương hóa với sản phẩm ‘AI-trong-một-hộp’ mang tên Lemony AI

Uptime Industries đã phát triển Lemony AI, một thiết bị “AI-trong-hộp” nhỏ gọn được thiết kế để chạy các mô hình ngôn ngữ lớn (LLMs), các tác nhân AI và quy trình làm việc ngay tại chỗ. Có kích thước tương đương một chiếc bánh sandwich và tiêu thụ chỉ 65 watt điện năng, mỗi nút Lemony có thể hỗ trợ các LLM với lên đến 75 tỷ tham số, lưu trữ cả các mô hình mã nguồn mở và các mô hình đóng được điều chỉnh. Nhiều thiết bị có thể được xếp chồng để tạo thành các cụm, cho phép các mô hình khác nhau chạy đồng thời. Công ty đã hợp tác với IBM và JetBrains để tạo điều kiện cho khách hàng truy cập vào nhiều mô hình AI khác nhau, bao gồm cả các mô hình độc quyền của IBM. Ý tưởng này xuất phát từ một dự án phụ của các nhà đồng sáng lập Uptime, những người đã khám phá việc phân phối các mô hình ngôn ngữ trên các thiết bị nhỏ như Raspberry Pi. Nhận thấy tiềm năng của AI cục bộ trong việc thúc đẩy sự chấp nhận—đặc biệt là trong các doanh nghiệp e ngại các giải pháp dựa trên đám mây—họ tập trung tạo ra một thiết bị nhỏ gọn, chú trọng đến quyền riêng tư mà các nhóm có thể triển khai mà không cần sự phê duyệt rộng rãi từ tổ chức. Cách tiếp cận này đặc biệt thu hút các ngành được quản lý nghiêm ngặt như tài chính, chăm sóc sức khỏe và pháp luật, nơi quyền riêng tư dữ liệu rất quan trọng vì tất cả dữ liệu và mô hình đều được giữ nguyên trong thiết bị. Uptime đã huy động được 2 triệu đô la vốn đầu tư ban đầu để thúc đẩy phát triển, dự định mở rộng phần mềm Lemony OS sang các nền tảng phần cứng khác và hướng tới phát triển từ chức năng dành cho người dùng đơn lẻ sang phần mềm dành cho nhóm. Lemony AI được cung cấp với giá 499 đô la mỗi tháng cho tối đa năm người dùng.