返回探索

详细介绍
claw-compactor 仓库中文介绍文档
claw-compactor 是一个基于14级融合管道的LLM令牌压缩工具,支持可逆压缩、AST感知代码分析和智能内容路由,实现零LLM推理成本,由OpenClaw提供,汇聚了多种先进的压缩技术。
要点:
- 这是一个用于降低LLM推理成本的开源令牌压缩工具
- 由OpenClaw开发维护
- 包含14个阶段的融合管道,支持多种压缩技术
一、核心信息速览
| 维度 | 详情 |
|---|---|
| :--- | :--- |
| 仓库地址 | [claw-compactor](https://github.com/open-compress/claw-compactor) |
| 许可证 | MIT License |
| 核心定位 | 降低LLM推理成本的令牌压缩工具 |
| 主要语言 | Python |
| 适用人群 | AI开发者、LLM优化工程师、代码分析专家 |
| 关键亮点 | 可逆压缩;AST感知代码分析;智能内容路由;零LLM推理成本 |
二、核心功能
| 功能模块 | 描述 | 典型场景 |
|---|---|---|
| :--- | :--- | :--- |
| Cortex | 用于基础数据预处理 | 文件扫描与初步分析 |
| Photon | 用于特定格式的压缩 | JSON数据压缩 |
| RLE | 用于重复数据压缩 | 文本中重复内容压缩 |
| SemanticDedup | 用于语义去重 | 去除相似内容以减少冗余 |
| Ionizer | 用于高效压缩 | 高效压缩特定类型数据 |
| Neurosyntax | 用于语法感知压缩 | 结合语法结构进行压缩 |
| TokenOpt | 用于优化令牌 | 提高令牌使用效率 |
| Abbrev | 用于缩写处理 | 缩写长词或短语以节省空间 |
三、快速上手
1. 环境准备
需要Python 3.7及以上版本
2. 安装方式
pip install claw-compactor
3. 基础配置
无需额外配置,直接调用即可
4. 核心示例
from claw_compactor import compress
result = compress("./my-workspace")
print(result)
四、核心亮点
- 可逆压缩:压缩后可以完全还原原始数据
- AST感知代码分析:支持代码结构分析,提升压缩效率
- 智能内容路由:根据内容类型选择最佳压缩策略
- 零LLM推理成本:不依赖LLM进行压缩,节省计算资源
五、适用场景
- LLM优化:用于降低LLM推理成本
- 代码分析:结合AST进行代码压缩与分析
- 数据压缩:适用于大量文本数据的压缩需求
- 上下文优化:帮助优化LLM的上下文窗口
六、优缺点
优势
- 支持多种压缩技术,适应性强
- 零LLM推理成本,节省资源
- 可逆压缩,确保数据完整性
不足
- 对非文本数据支持有限
- 需要一定的配置和集成工作
七、与同类工具对比(可选)
| 工具 | 类型 | 核心差异 |
|---|---|---|
| :--- | :--- | :--- |
| 本工具 | 开源工具 | 免费开源、支持多种压缩技术、零LLM成本 |
| 类似工具A | 商业工具 | 付费、功能集中但灵活性较低 |



