Tag / The engineering notebook
Edge AI
5 articles and notes on this topic.
Plan Once, Then Act: When the ReAct Loop Is the Wrong Harness for Small Local Models
On small local models, the standard ReAct loop has a failure mode nobody warns you about: the model calls one tool, declares victory, and stops. What we measured across 12 GGUF models in EdgeVox, why we added a plan-once dispatcher, and how to decide which loop your task actually needs.
Building EdgeVox: Chaining STT → Local LLM → TTS Without Touching the Cloud
A first-hand build narrative of EdgeVox, a fully offline voice agent that chains speech-to-text, a local LLM, and text-to-speech on one device. The architecture in plain language, ROS2 integration, the latency budget, and the failure modes nobody warns you about.
Câu chuyện chủ quyền AI của Việt Nam đang mắc kẹt ở một tầng quá cao 🇻🇳
Việt Nam đã có chip, có ba nỗ lực làm mô hình nền tảng tiếng Việt đang chạy, và bộ luật AI ràng buộc nhất Đông Nam Á. Vậy mà câu chuyện chủ quyền AI cứ xoay quanh một mô hình 70B. Khoảng trống thật nằm thấp hơn một tầng: đánh giá mở, dữ liệu sạch về giấy phép, mô hình chuyên biệt gắn với tuân thủ, và runtime chạy thẳng trên thiết bị. Từ 15/8/2026, Quyết định 33/2026/QĐ-TTg với 46 hệ thống AI rủi ro cao đã biến tầng đó thành nghĩa vụ pháp lý.
Vietnam's Sovereign AI Conversation Is Stuck One Layer Too High 🇻🇳
Vietnam already has the chips, three meaningful Vietnamese model attempts in flight, and the most binding AI law in Southeast Asia. The conversation about sovereign AI keeps demanding a 70B foundation model. The actual gap is one layer down: open evaluation, license-clean data, compliance-aware specialized models, and on-device runtimes that operationalize Law 134/2025 from March 2026.
Ghost Module and Ghost Bottleneck: Cheap Features for Mobile CNNs
GhostNet generates a small set of intrinsic feature maps with a normal convolution, then expands them using cheap depthwise operations. Here is how its module and bottleneck work.