Repository ini berisi sekumpulan tools performa tinggi yang dibangun dengan Rust, dirancang khusus untuk efisiensi maksimal pada hardware terbatas (Low-End Hardware).
Terdapat dua aplikasi utama dalam project ini:
SFCore-AI adalah mesin inferensi untuk model AI (LLM) berbasis format GGUF. Aplikasi ini dibangun di atas binding llama.cpp dengan optimasi khusus di level Rust.
Dibuat untuk membuktikan bahwa AI tidak harus mahal. Kami menargetkan performa inferensi yang usable (bisa dipakai chat real-time) bahkan pada komputer "kentang" yang sering dianggap usang.
Semua benchmark dan tuning dilakukan pada mesin dengan spesifikasi berikut:
- CPU: Intel Core i3-6100 (Gen 6 Skylake, 2 Core / 4 Thread).
- RAM: 16 GB DDR4.
- OS: Linux.
- Extreme Optimization: Menggunakan flag CPU instructions (
-march=native) untuk memeras setiapFLOPSdari CPU tua. - Native Threading: Manajemen thread yang presisi untuk menghindari Core Oversubscription (Context Switching berlebih).
- Fast Startup: Waktu loading model yang sangat cepat (~400ms untuk FTL) berkat memory mapping yang efisien.
- IPC Server: Berjalan sebagai daemon dengan Unix Domain Socket, siap diintegrasikan dengan aplikasi lain (NodeJS/Go/Python).
- Walkthrough & Benchmark - Detail perjalanan tuning performa mencapai >8 tok/s di i3 Gen 6.
SFCore-Cache (binary: localcached-server) adalah sistem in-memory key-value store lokal, mirip seperti Redis, namun didesain khusus untuk komunikasi antar proses (IPC) dalam satu mesin.
Redis sangat powerful, tapi menggunakan TCP/IP (bahkan via localhost) memiliki overhead latency dan syscall. Untuk arsitektur Microservices atau Modular Monolith yang berjalan dalam satu server fisik/VPS, Unix Domain Socket (UDS) jauh lebih cepat (sekitar 30-50% lebih kencang dibanding TCP Loopback).
- Ultra Low Latency: Menggunakan UDS dan protokol binary minimalis.
- High Stability: Menggunakan allocator mimalloc (Microsoft) untuk mencegah fragmentasi memori di load tinggi.
- Backpressure Control: Built-in mechanism (Semaphore) untuk menahan request saat beban puncak, mencegah server crash (OOM).
- Smart Eviction: Algoritma Sampled LRU yang cerdas membuang data dingin tanpa overhead sorting yang berat.
Saat ini HANYA support Linux (dan MacOS/BSD) karena ketergantungan pada standar Unix Domain Socket (AF_UNIX). Tidak support Windows.
Panduan lengkap mulai dari penggunaan dasar, CLI, hingga integrasi framework:
- User Manual (General) - Cara kerja, protokol, dan konsep dasar.
- User Manual (CLI) - Panduan manajemen server (Start/Stop/Monitor) via Terminal.
- Framework Integration (DI) - Recommended! Panduan best-practice Dependency Injection untuk .NET, Laravel, NestJS, Spring Boot, dll.
Project ini didistribusikan di bawah lisensi MIT.
Kami mengucapkan terima kasih kepada library Open Source luar biasa yang menjadi fondasi alat ini:
- Ratatui: Untuk engine TUI (Terminal User Interface) yang modern, performant, dan kaya fitur yang digunakan pada
localcached-cli. - llama.cpp: Core engine untuk inferensi GGUF yang efisien.
- mimalloc: Allocator super cepat dari Microsoft.
Copyright © 2026 SFCore AI Team. Built with ❤️ and 🦀 Rust.