脱敏要解决的核心矛盾是什么？
- 目标一: Agent 能利用用户信息提供个性化服务;
- 目标二: 敏感数据不暴露在 LLM 上下文和系统日志中;
- 难点: 两者天然冲突，需要在“用得上”和“不泄露”之间划出工程边界;
- 定位: 属于记忆写入门禁中的隐私检查，见 记忆与知识库总览;
为什么脱敏要用本地模型？
- 关键理由: 日志本身可能包含敏感信息，把它发送到云端脱敏就违背了隐私保护的初衷;
- 部署:
log-sanitization 项目通过 Ollama 调用本地 Qwen3 0.6B 小模型;
- 运行环境: 可在 CPU 与消费级设备上运行，也可按需切换到 qwen3:1.7b、qwen3:4b 等更大规格;
- 收益: 敏感文本不出本机，脱敏能力又能随模型规模弹性调整;
系统需要识别哪些类型的敏感信息？
- 结构化信息: 身份证号、银行卡号;
- 半结构化信息: 地址;
- 自然语言表达的敏感内容: 如“我的密码是 abc123”;
- 输出格式: 识别结果通过 JSON Schema 结构化输出，包含敏感信息类型、位置和置信度;
- 效果: 相比传统正则表达式，基于 LLM 的脱敏召回率达 95% 以上，同时显著降低假阳性;
超高吞吐场景怎么办？
- 混合策略: 用正则快速过滤明显模式，再用 LLM 深度分析剩余文本;
- 理由: 正则处理成本低但覆盖有限，LLM 覆盖广但吞吐成本高，两者按“先粗后细”组合;