Tech Radar 17/07: Edge AI & WasmEdge cho Small Language Models
Sự trỗi dậy của các Small Language Models (SLMs) như Llama-3 (8B) hay Phi-3 đang đẩy xu hướng xử lý AI ra vùng biên (Edge). Tuy nhiên, kế thừa từ các kiến trúc phân tán trong Agentic System Architecture, bài toán hóc búa nhất của Platform Engineering không nằm ở bản thân Model, mà nằm ở Runtime. Chạy AI bằng Docker container tại Edge đang bộc lộ quá nhiều yếu điểm về bộ nhớ và tốc độ. ...