---
topic: 批量日志接入方案对比
sources:
  - raw/接入指南/数据导入.md
  - raw/接入指南/数据导入/logbus2-使用指南.md
  - raw/接入指南/数据导入/logbus-使用指南.md
  - raw/接入指南/数据导入/ta-datax-writer-插件使用指南.md
  - raw/接入指南/数据导入/filebeat-logstash-使用指南.md
  - raw/接入前准备工作/数据规则.md
generated: 2026-04-15
---

# 批量日志接入方案对比

AE 提供多种批量/日志类数据导入工具，适用于服务端日志同步、历史数据迁移、多数据源对接等场景。所有工具上传的数据必须遵循 AE 数据格式 [[raw/接入前准备工作/数据规则.md]]。

## 方案总览

[[raw/接入指南/数据导入.md]]

| 工具 | 数据来源 | 吞吐 | 历史数据 | 维护状态 | 主要限制 |
|---|---|---|---|---|---|
| **LogBus2** | 日志文件 / Kafka / SLS / CLS | 高 | 最优 | 活跃（推荐） | 需要 Linux/Mac/Win 部署 |
| LogBus v1 | 日志文件 / Kafka | 中 | 支持 | 维护中（建议迁移） | 内存占用高，速度慢 |
| DataX Writer | MySQL/HDFS 等多数据源 | 批量 | 适合 | 稳定 | 需要 Java 环境 |
| Filebeat + Logstash | 日志文件 | 低 | 不推荐 | 稳定 | 吞吐量低 |

## LogBus2（推荐）

[[raw/接入指南/数据导入/logbus2-使用指南.md]]

**版本**：v2.1.2.2（2025-11-07），相比 LogBus v1 内存减少 80%、速度提升 5 倍。

**支持数据源**：
- 本地日志文件（监听目录变更）
- Kafka（需开启 Consumer Group，默认从 earliest 消费）
- SLS（需联系阿里云开启 Kafka 协议消费）
- CLS（需关闭自动分裂，申请 AK/SK）

**安装包**：Linux amd64/arm64、Windows、macOS Apple Silicon/Intel、Docker Image

**注意事项**：
- 不要对监听目录下已上传的日志直接重命名（重命名 = 新建文件，会重复上传）
- 不要手动修改 `runtime/` 目录下的进度快照文件
- 从 LogBus v1 迁移需联系数数技术支持

## LogBus v1（维护中）

[[raw/接入指南/数据导入/logbus-使用指南.md]]

**版本**：v1.5.17（2022-11-08）

**升级方式**（v1.5.0+）：
```bash
./logbus stop
./logbus update
```

**每个 APP_ID 至少预留 10G 磁盘空间**（因内部数据缓冲区）。

**建议**：新项目直接使用 LogBus2；现有 v1 用户联系技术支持迁移。

## DataX Writer（ta-datax-writer）

[[raw/接入指南/数据导入/ta-datax-writer-插件使用指南.md]]

**适用场景**：从 MySQL、PostgreSQL、HDFS、HBase 等 DataX 支持的数据源迁移数据至 TE。

**安装步骤**：
```bash
# 1. 下载并解压 DataX
wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
tar -zxvf datax.tar.gz

# 2. 安装 ta-datax-writer 插件
wget https://download.thinkingdata.cn/tools/release/ta-datax-writer.tar.gz
cp ta-datax-writer.tar.gz datax/plugin/writer/
cd datax/plugin/writer && tar -zxvf ta-datax-writer.tar.gz
```

**特性**：支持 gzip/lzo/lz4/snappy 压缩；支持多线程传输；仅支持写入 AE 集群。

## Filebeat + Logstash

[[raw/接入指南/数据导入/filebeat-logstash-使用指南.md]]

**适用场景**：团队已有 ELK 日志采集栈，希望复用已有管道将数据同步至 TE。

**安装 Logstash 插件**：
```bash
bin/logstash-plugin install logstash-output-thinkingdata
# 验证安装
bin/logstash-plugin list
```

**插件版本**：v1.2.0（2023-04-25），需 Logstash 6.x+（依赖 JDK）

**限制**：**吞吐量低**，不适合大批量历史数据导入，如需大量历史数据请改用 DataX 或 LogBus2。

## 数据格式要求

所有批量导入工具上传的数据必须是符合 AE 数据格式的 JSON，每行一条 [[raw/接入前准备工作/数据规则.md]]：

```json
{
  "#account_id": "USER_ID",
  "#distinct_id": "VISITOR_ID",
  "#type": "track",
  "#time": "2026-01-01 10:00:00.000",
  "#event_name": "event_name",
  "properties": {
    "key": "value"
  }
}
```

`#type` 可选值：`track`、`user_set`、`user_setOnce`、`user_add`、`user_unset`、`user_append`、`user_del`。
