SELF-HOSTED AGENT RUNTIME
Shihao Qi
AI Agent 开发重庆
我在维护 Autarkia,一套单机自托管的 Agent 运行时。对话只是入口,真正干活的是工具调用、长期记忆和任务调度;它要回答的问题很具体:一台机器连续跑几个月之后,怎么还不乱。
- 个子服务,跑在一个进程里
- 31
- 个客户端接同一套后端
- 6
- 条单元测试
- 6,500+
- 条改动记录,覆盖 182 天
- 1,281
01文章
首访四秒2026-10-29我自己打开一直很快,因为浏览器有缓存。从北京发一次没有缓存的请求:首字节 1.3 秒,整页 4 秒,最差一次 24 秒。换到香港一台小机器后,整页 0.3 秒。#网络#部署主动消息为什么像查户口2026-10-29提示词写着别问「吃了没」,代码每天在补「吃饭」这一格。改成先打个招呼、要聊的事放进后续对话里慢慢带,再让调度学会什么时候闭嘴。#Agent#产品#调度合成集选了 C,44 道真题选了 B2026-10-27记忆该存成什么粒度,合成评测集给了一个很干净的答案。换成真实聊天出的题,答案变了,过程中还查出了三个测量上的问题。#记忆#评测#实验方法#LLM回复节奏:中位 8 秒是怎么算错的2026-10-27拿真实聊天记录校准角色多久回消息,第一版把一年多的数据混在一起算,结论正好反了。修好口径之后,又发现系统缺了中间一整档。#Agent#产品#实验方法
02笔记
03项目
Autarkia持续开发中
单机自托管的 Agent 运行时
对话只是入口,能力在工具层、记忆层和调度层。94 个工具按角色隔离,长期记忆会遗忘也会蒸馏,六个客户端接同一套后端。
Python / FastAPI / C++ / llama.cpp / React / Kotlin / Swift / Docker
EdgeSched研究原型 · 论文进行中
单 GPU 上的 LLM 常驻、图像突发与 CPU 回填调度
研究原型:一块显卡上 LLM 常驻、图像生成突发、CPU 任务在空隙回填,研究准入控制、迁移代价与崩溃恢复。实验结论要写进论文。
Python / C++ / CUDA / PyTorch / FastAPI / WebSocket / llama.cpp
04最近
- 01拆 Android 端的发送流水线和导航,把单文件压回 400 行以内。
- 02让工具按角色分层:常驻的每轮进 schema,按需的走检索,写操作先过权限校验。
- 03主动消息继续往「少发」那边调:静默时段、最小间隔、每日上限,默认不发。
05站点统计
- 文章
- 17
- 笔记
- 11
- 项目
- 2
- 浏览量
- —