Tiiny AI tarafından üretilen cihaz, “AI Pocket Lab” olarak adlandırılıyor ve kompakt boyutuna rağmen doktora düzeyinde zeka gerektiren modelleri çalıştırabiliyor.

Cihaz, ceplerinize sığabilecek kadar küçük olmasına rağmen 120 milyar parametreli büyük dil modellerini (LLM) internete veya buluta ihtiyaç duymadan çalıştırabiliyor.

Cihaz, 12 çekirdekli ARM işlemci üzerine kurulu ve akıllı telefonlar, dizüstü bilgisayarlar ve tabletlerde kullanılan işlemcilere benzer özellikler taşıyor.

Sadece 14,2 × 8 × 2,53 cm boyutlarındaki Pocket Lab, 80 GB LPDDR5X RAM’e sahip. Bu RAM’in 48 GB’lık bölümü, yapay zeka işlemleri için optimize edilmiş NPU (nöral işlem birimi) tarafından kullanılıyor.

AI Pocket Lab, geleneksel veri merkezi altyapısına ihtiyaç duyan 100 milyar parametre üzerindeki dil modellerini yerel olarak çalıştırabiliyor.

Cihaz, GPT-OSS 120B, büyük Phi modelleri ve Llama ailesi gibi yüksek parametreli modellerle uyumlu. Bu yönüyle bir süper bilgisayar olarak kabul ediliyor ve veri merkezi sınıfı sistemlerle aynı iş yüklerini yönetebiliyor.

Cihazın geliştirilmesinde TurboSparse ve PowerInfer gibi teknolojiler kritik rol oynuyor. TurboSparse, büyük LLM’lerin sınırlı donanımda daha hızlı çalışmasını sağlarken, PowerInfer işlemci birimlerinin her birine en uygun iş yükünü atayarak sistemin verimliliğini artırıyor ve enerji tüketimini düşürüyor. Bu özellikler, cihazın küçük boyutuna rağmen yüksek performans sunmasını mümkün kılıyor.

AI Pocket Lab’in taşınabilir olması, kullanıcıların internet veya bulut bağlantısı gerektirmeden sofistike LLM’leri kullanabilmesini sağlıyor.

Bu durum, veri gizliliği açısından avantaj sağlarken, uzak araştırma istasyonları, gemiler veya bağlantının zor olduğu uçak gibi ortamlarda da yapay zekanın kullanılmasına imkan tanıyor.

Cihaz, 190 TOPS (trilyon işlem/saniye) işlem gücüyle mini süper bilgisayarlar arasında öne çıkıyor. Bu güç, NPU ve CPU arasındaki iş paylaşımı sayesinde elde ediliyor ve kullanıcıların alanında uzman kodlama, belge değerlendirme ve çok adımlı mantıksal çıkarım işlemlerini yapmasına imkan tanıyor.