log4net.NoSql +ElasticSearch 实现日志记录

前言：

前两天在查找如何扩展log4net的日志格式时找到一个开源项目Log4net.NoSql,它通过扩展Appender实现了把日志输出到ElasticSearch里面。顺藤摸瓜，发现涉及的项目还挺多，于是打算学习一下，记录在此。

项目一句话简介，详情点击链接去项目主页查看，最后提供打包下载：

1. log4net.nosql 

A collection of log4net Appenders to NoSQL data stores. Currently only ElasticSearch is supported.

Uses RESTSharp to communicate with the ElasticSearch REST Api and contains a custom Layout, which makes use of the RESTSharp JSON Serializer to convert the LoggingEvent into JSON.

2.RestSharp

Simple REST and HTTP API Client for .NET

3.Curl

curl是利用URL语法在命令行方式下工作的开源文件传输工具。

4.elasticsearch

Elasticsearch is a distributed RESTful search engine built for the cloud. 

5.elasticsearch-head 

A web front end for an Elasticsearch cluster

 部署说明：

我这里是把es和log4net分开部署到两台机器的，因为es需要jdk，我不想在开发机上安装，所以把es装到xp的虚拟机上了。log4net.nosql是扩展了log4net的Layout实现了json格式的日志输出，然后扩展了Appender通过调用RestSharp把数据发送给es。Log4net的配置文件如下:

  <appender name="Elastic1" type="log4net.NoSql.Appender.ElasticSearchAppender, log4net.NoSql">
    <Host value="192.168.66.90" />
    <Port value="9200" />
    <Index value="logs" />
    <DocumentType value="apps" />
    <layout type="log4net.NoSql.Layout.JsonLayout,log4net.NoSql" />
  </appender>

在插入日志之前，需要先在es里建立索引，nosql提供了一个脚步log4net.NoSql-masterscriptscreate_indices.bat：

curl -XDELETE localhost:9200/logs
echo ""


curl -XPOST localhost:9200/logs -d '{
	"_all" : {"enabled" : true},
	"settings" : {
    	"number_of_shards" : 1
	},
	"mappings" : {
	    "apps":{
	        "_timestamp" : {
	            "enabled" : true,
	            "store" : true
	        },
	        "_ttl" : {
	        	"enabled" : true,
	        	"store" : true,
	        	"default" : "5000"
	        }
	    }
	  }
}'

可惜存在几个问题:

1.window下默认没有curl运行环境

解决方法：下载一个curl-7.17.0-win32-nossl文件，把curl.exe放到script目录下

2.命令行下切换目录到script目录，运行create_indices.bat报错。

解决方法：通过错误信息可以看到把每一行的开头字符当做命令了，所以改成curl -XPOST localhost:9200/logs -d '{后面的换行去掉}'

3.再次运行还是报错，大致意思就是 ''' 不能解析。

解决方法：把-d后面和最后的单引号改成双引号。

下面是整理后的部署步骤：

1.xp，安装jdk配置JAVA_HOME环境变量  

2.xp，运行两个es实例，然后运行es-head，如下图：

es路径：..elasticsearch-1.1.1inelasticsearch.bat

head路径:..elasticsearch-head-masterindex.html

3.win7，把下载的curl.exe放到NoSql下的Script目录下，修改bat文件把localhost 改成es服务器的ip地址192.168.66.90，然后运行。这样就在ES里建立了一个logs索引，如下图：

4.使用vs打开Log4net.NoSql解决方案。修改log4net.NoSql.TestHarness.log4net.config文件里的host地址为192.168.66.90.运行写入日志到es，如下图:

在这里遇到两个问题：

a.我两台机器都设置了代理，默认情况下我是访问不到192.168.66.90机器，所以去ES里查询不到日志记录。如何调试查看写入是否成功呢？

修改log4net.NoSql-masterlog4net.NoSqlUtilElasticSearchClient.cs 38行，把返回值输出：

   //dont care about response as if it fails should not throw any exceptions
                _restClient.ExecuteAsync(request, response =>
                    {
                        Debug.WriteLine(response.ToString());
                    });

b.写入日志成功后ES里还是查询不到数据。

在新建logs索引时指定了超时时间为5秒，所以电脑一卡5秒过去了，去es里就查询不到数据了。

结束语：

前几天在园子里看了 黑客马拉松，里面的一句话“软件开发听上去高大上，但实际很简单，全部活动可以分为两类：造轮子，搭积木。”感觉很精辟，所以才开始了这次的搭积木过程。每个项目都是了解皮毛，以后会抽时间仔细研究研究源码。这么简单的组合一下就可以解决项目中分布式日志记录和查询的需求，事半功倍。ES是基于luceuce的搜索引擎，加上分词插件，还有更多的应用场景可以去使用。

参考链接：

1.curl 命令使用http://www.cnblogs.com/wangkangluo1/archive/2012/04/17/2453975.html

2.ElasticSearch 初次使用小结，一起学习进步哈~http://ruby-china.org/topics/15337

3.ElasticSearch入门笔记http://www.qwolf.com/?p=1387

4. 分布式搜索elasticsearch集群管理工具headhttp://blog.csdn.net/laigood/article/details/8193758

5.使用RestSharp 库消费Restful Servicehttp://www.cnblogs.com/shanyou/archive/2012/01/27/RestSharp.html