1. shell脚本方式，scp到多个服务器，ssh启动 daemon运行
2. 提供curl的方式，只要有外网的机器就可以一键部署
3. 与zabbix、puppet等现有部署方式结合

将java web工程产生的日志按行保存到es中，大部分日志记录是重复的。经过测试，效果如下：
1.同时保存2行日志记录，logkit将最后一条日志记录保存到es中2次。
2.同理，tomcat产生的日志记录，在同时刻产生的n条日志记录，logkit都会将最后一条记录保存n次。

mysql reader 各个字段均被base64encode
这个可以配置么，收集上来的日志每个字段都是base64encode过的

Hi，最近准备使用 logkit 作当前业务的日志收集器，主要是将日志文件中的数据直接读取到 Elasticsearch 中，直接使用 logkit 无法满足当前业务日志插入速率，所以考虑从以下 3 个方面进行优化：
1）日志源读取（Reader）
2）日志解析（JSON Parser）
3）日志插入（Sender）
针对 2），使用 https://github.com/json-iterator/go 替换了 encoding/json，参见 #277 。针对 3），同样对 github.com/olivere/elastic 中的 encoding/json 做了替换，参见 olivere/elastic#667。最后发现，日志插入速率瓶颈应该在日志文件读取这一部分。
通过阅读源码，发现 Reader 从文件中读取的数据是先缓存到一个临时文件，之后 Sender 从临时文件读取数据，请问为什么不使用内存作缓存而采用当前机制？我想，如果使用内存作缓存，日志读取速率应该会有一个比较大的提升，目前也在尝试相关实现，请问有没有相关建议？

请指导一下，谢谢

目前我把mysql数据同步到Pandora 然后再从Pandora把数据发送到存储 目前这个过程都是手动配置，能不能实现自动化。就是配置一次后数据从Pandora自动发送数据到存储

Feature Request

功能描述:

增加一个script transformer,用户通过填写简单的js脚本,达到灵活transform字段的目的

背景及目标:

robertkrimen/otto可以实现在go中执行js代码字符串

有些日志 用 i,e,d 等表示日志level,希望通过一个transformer来将字段值转换为 info, error, debug
{
"newKey": "level",
"oldKey": "level",
"script": "
switch(level){
case "i":
level="info";
case "e":
level="error";
case "d":
level="debug";
}
",
"type": "script"
},

用户场景: [这个功能重要度、优先级等等]

Feature Request

功能描述:

能不能在一个Docker集群中加一些启动，就收集这个集群的所有日志。

用户场景: [这个功能重要度、优先级等等]

直接在 docker-compose.yml 里加一个服务搞定的话就太方便了。

请教大牛，如何调试logkit源码

Bug report

logkit 相关配置:

无配置， 直接拉下源码

go get -u github.com/qiniu/logkit

运行环境:

$ go version
go version go1.10 windows/amd64

logkit 版本：

86a9c43

操作系统版本：

win10 64bit

复现过程操作步骤:

在windows 下测试

go generate; CGO_ENABLED=1 go test -race ./...

预期表现:

测试pass

实际情况:

测试Fail

相关日志等其他信息:

测试log

启动http sever，读取发送过来的http数据
发送到http服务器

Bug report

logkit 相关配置:

运行环境: Windows

logkit 版本：1.4.7

操作系统版本：Window 7

复现过程操作步骤:

1. 新建一个Runner,从dir读取文件，但是这个dir不存在
2. 后端会sleep几秒后不断重试
3. 这时候在前端新建一个新的runner,在最后一步提交的时候，点击确认并提交没有响应

预期表现:

提交成功

实际情况:

点击确认提交没有响应，无法提交一个新的runner

相关日志等其他信息:

Bug report

配置数据源从脚本执行结果收集。如果同时配置了定时任务，那么创建ScriptReader的时候后台会报错,空指针异常

Feature Request

功能描述:

可配置 runner 停止超时

func (r *LogExportRunner) Stop() {
	...
	timer := time.NewTimer(time.Second * 10)
	select {
	case <-r.exitChan:
		log.Warnf("runner " + r.Name() + " has been stopped ")
	case <-timer.C:
		log.Warnf("runner " + r.Name() + " exited timeout ")
		atomic.AddInt32(&r.stopped, 1)
	}
	...
}

背景及目标:

在某些场景下，默认10秒超时不适用，容易出现异常情况。

用户场景: [这个功能重要度、优先级等等]

logkit可以考虑支持爬虫功能

Bug report

logkit 相关配置:

运行环境:

logkit 版本：v1.4.4

操作系统版本：CentOS Linux release 7.0.1406 (Core)

预期表现:

数据同步到 TsDB 中，仓库名称为 cloud_buy 序列名称为 pet_order

实际情况:

数据同步到 TsDB 中，仓库名称为 cloud_buy 序列名称为 cloud_buy

Feature Request

功能描述:

增强replace transformer 使其支持正则替换

背景及目标:

现阶段replace transformer 只支持字符串匹配替换,但是很多情况下需要用到正则去匹配替换,包括通过正则捕获,对字段值进行重组.

用户场景: [这个功能重要度、优先级等等]

在本地es 5.x已经启动,且可以通过localhost:9200访问,但是使用logkit创建runner,将日志采集到es中时报错,生成的配置文件为:
{
"name": "logkit.runner.20170919100403",
"reader": {
"mode": "dir",
"log_path": "C:\iNodeLog",
"read_from": "oldest",
"encoding": "UTF-8",
"ignore_hidden": "true",
"ignore_file_suffix": ".pid,.swap,.go,.conf,.tar.gz,.tar,.zip,.a,.o,.so"
},
"parser": {
"type": "raw",
"name": "pandora.parser.20170919100204"
},
"senders": [
{
"sender_type": "elasticsearch",
"elastic_host": "localhost:9200",
"elastic_index": "logkit",
"elastic_type": "iNode",
"fault_tolerant": "true",
"ft_save_log_path": "E:\logkit_windows\ft_save",
"ft_sync_every": "10",
"ft_strategy": "backup_only",
"ft_memory_channel": "false"
}
]
}

reader/kafka.go:245:22: kr.Consumer.HighWaterMarks undefined (type *consumergroup.ConsumerGroup has no field or method HighWaterMarks)

包括 Nt5 下的 evt 格式
以及 Nt6 下的 evtx 格式

如题，是不是需要自己手动添加的

能否提供一个linux /etc/init.d/下面的service脚本？

请问
1.confs和 .logkitconfs 这两个文件夹中的runner conf有什么区别?
2.cache中runner中cache.dat文件的作用

Feature Request

功能描述:

将 vendor 的 pkg 入库，使得项目开箱即用，方便开发者贡献。

背景及目标:

获取 vendor pkg、熟悉 vendor 工具等与开发项目的关系不大，同时操作也比较耗时，开发者也没有必要熟悉项目所使用的管理 vendor 的工具。故可考虑将 vendor 入库，使得开发者的注意力更集中在项目功能或 bugfix 上。

Bug report

elasticsearch sender 字段重命名导致其它字段丢失

logkit 版本：

v1.3.5

复现过程操作步骤:

1.选择elasticsearch sender发送数据
2假设此时每条数据中有两个字段:raw , timestamp
3.使用elastic_keys 对字段重命名 如: "elastic_keys":"timestamp @timestamp"

预期表现:

发送至es中数据应该包含 raw, @timestamp两个字段

实际情况:

只有@timestamp 一个字段

提示出错信息：
./logkit.go:152:26: cannot use e (type *"github.com/labstack/echo".Echo) as type *"github.com/qiniu/logkit/vendor/github.com/labstack/echo".Echo in argument to mgr.NewRestService

示例：

{
        "file_send_path":"./data-%Y-%m-%d.txt"
}

https://github.com/json-iterator/go 号称数倍于 enconding/json

benchmark先行。

用惯了ELK去实现日志系统，logstash采集日志是很方便高效的，希望logkit的reader也可以实现类似。
具体形式可以是：

• Lists类型数据，可做json解析或者对应回logkit的raw采集。
• Pub/Sub类型，同上。

同时cleaner也配套清除。

从文件读取dir模式下，想获取日志具体来源路径datasource，改造seqfile.go文件在Source()接口中调用sf.currFile得到当前处理文件，但是每条日志入到es中datasource字段都是最后日志文件的路径；调试了好久没找到问题的所在

docker 启动命令
docker run -d -p 3000:3000 -v /Users/hong/Desktop/confs:/logs/path -v /Users/hong/Desktop/logs:/logs/path wonderflow/logkit

启动后，通过docker logs [CONTAINER ID] 显示如下：
2017/09/30 06:16:34 [INFO][github.com/qiniu/logkit/conf] load_conf.go:71: Use the config file of logkit.conf
2017/09/30 06:16:34 [INFO][github.com/qiniu/logkit] logkit.go:114: Welcome to use Logkit, Version: v1.2.3

Config: main.Config{MaxProcs:8, DebugLevel:1, ProfileHost:"", ConfsPath:[]string{"confs*"}, CleanSelfLog:true, CleanSelfDir:"", CleanSelfPattern:"", TimeLayouts:[]string(nil), CleanSelfLogCnt:0, StaticRootPath:"./public", ManagerConfig:mgr.ManagerConfig{BindHost:"localhost:3000", Idc:"", Zone:"", RestDir:""}}
2017/09/30 06:16:34 [WARN][github.com/qiniu/logkit/mgr] mgr.go:375: start to add watcher of conf path /app/confs
2017/09/30 06:16:34 [INFO][github.com/qiniu/logkit/mgr] mgr.go:425: successfully restored 0 runners in /app/.logkitconfs web rest dir
2017/09/30 06:16:34 [INFO][github.com/qiniu/logkit/mgr] rest.go:87: successfully start RestService and bind address on localhost:3000

但是浏览器无法访问 localhost:3000

ping @2yz

Bug report

logkit 相关配置:

运行环境:

logkit 版本：1.4.7

操作系统版本：centos 7.2

复现过程操作步骤:

1. 创建系统信息收集器时，选择多个模块，比如，cpu，磁盘，内存
2. 最后选择以josn格式发送http post

预期表现: http服务端能收到正确的数据

实际情况: 提示 json格式不正确，“Invalid request payload JSON format”

相关日志等其他信息:

{"statusCode":400,"error":"Bad Request","message":"Invalid request payload JSON format"}

单个模块的数据格式是正确的，多个模块时，缺少了数组括号，和逗号分隔。

方便使用grok Parser的用户

不携带机器标识（如ip或者机器名称），采集上来怎么区分？

Bug report

logkit 相关配置:

{
"max_procs": 8,
"debug_level": 1,
"clean_self_log":true,
"bind_host":"xxxxxxxxxx:3000",
"static_root_path":"/home/work/logkit/public",
"confs_path": ["confs*"],
"cluster": {
"master_url": ["http://xxxxxxxxx:3000"],
"is_master": false,
"enable": true,
"tag": "log_sys"
}
}

运行环境:

centos 7

logkit 版本：

1.4.3

操作系统版本：

复现过程操作步骤:

1. 配置读取文件tailx模式
2. 日志里不停地显示
   Read meta File err open /home/work/logkit/meta/runner.20180208171553_4008696495/file.meta: no such file or directory, can't get stats

预期表现:

 file.meta文件在runner.20180208171553_4008696495/_日志文件名/file.meta下