1. 为什么要使用Sphinx
假设你现在运营着一个论坛，论坛数据已经超过100+W，很多用户都反映论坛搜索的速度非常慢，那么这时你就可以考虑使用Sphinx了（当然其他的全文检索程序或方法也行）。
2. Sphinx是什么
Sphinx由俄罗斯人Andrew Aksyonoff 开发的高性能全文搜索软件包，在GPL与商业协议双许可协议下发行。
全文检索是指以文档的全部文本信息作为检索对象的一种信息检索技术。检索的对象有可能是文章的标题，也有可能是文章的作者，也有可能是文章摘要或内容。
3. Sphinx的特性
l 高速索引 (在新款CPU上,接近10 MB/秒);
l 高速搜索 (2-4G的文本量中平均查询速度小于0.1秒);
l 高可用性 (单CPU上最大可支持100 GB的文本,100M文档);
l 提供良好的相关性排名
l 支持分布式搜索;
l 提供文档摘要生成;
l 提供从MySQL内部的插件式存储引擎上搜索
l 支持布尔,短语, 和近义词查询;
l 支持每个文档多个全文检索域(默认最大32个);
l 支持每个文档多属性;
l 支持断词;
l 支持单字节编码与UTF-8编码;
4. 下载并安装Sphinx
打开网址http://www.coreseek.cn/news/7/52/ 找到适合自己的操作系统的版本，比如我是Windows那么我就可以下载Coreseek Win32通用版本，Linux下可以下载源码包，自己编译安装。这里解释下为什么我们下载的程序叫Coreseek，Coreseek是基于Sphinx开发的一款软件，对Sphinx做了一些改动，在中文方面支持得比Sphinx好，所以我们使用之。
下载完成后，将程序解压到你想解压的地方，比如我就想解压到E盘根目录，之后修改目录名为Coreseek，大功告成Coreseek安装完成了，安装的目录是在E:coreseek。
5. 使用Sphinx
我要使用Sphinx需要做以下几件事
1) 首先得有数据
2) 建立Sphinx配置文件
3) 生成索引
4) 启动Sphinx
5) 使用之（调用api或search.exe程序进行查询）
第1件：（导入数据）
我们建立测试所需要用到得数据库、表以及数据，篇幅有限，这些在附件中都有，下载后导入MySQL即可。
第2件：（建立配置文件）
接下来我们需要建立一个Sphinx的配置文件 E:coreseeketcmysql.conf，将其内容改为下面这些：
source mysql {
type = mysql
sql_host = localhost
sql_user = root
sql_pass =
sql_db = test
sql_port = 3306
sql_query_pre = SET NAMES utf8
sql_query = SELECT id,addtime,title,content FROM post
sql_attr_timestamp = addtime
}
index mysql {
source = mysql
path = E:/coreseek/var/data/mysql
charset_dictpath = E:/coreseek/etc/
charset_type = zh_cn.utf-8
}
searchd {
listen = 9312
max_matches = 1000
pid_file = E:/coreseek/var/log/searchd_mysql.pid
log = E:/coreseek/var/log/searchd_mysql.log
query_log = E:/coreseek/var/log/query_mysql.log
}
先讲下这个配置文件中每项的含义。
source mysql{} 定义源名称为mysql，也可以叫其他的，比如：source xxx{}
type 数据源类型
sql_* 数据相关的配置，比如sql_host,sql_pass什么的，这些不解释。（数据源的配置信息）
sql_query 建立索引时的查询命令，在这里尽可能不使用where或group by，将where与groupby的内容交给sphinx，由sphinx进行条件过滤与groupby效率会更高，注意：select 的字段必须包括一个唯一主键以及要全文检索的字段，where中要用到的字段也要select出来
sql_query_pre 在执行sql_query前执行的sql命令, 可以有多条 。
sql_attr 以这个开头的配置项，表示属性字段，在where,orderby,groupby中出现的字段要分别定义一个属性，定义不同类型的字段要用不同的属性名,比如上面的sql_attr_timestamp就是时间戳类型。
index mysql{} 定义索引名称为mysql，也可以叫其他的，比如：index xxx{}
source 关联源，就是source xxx定义的。
path 索引文件存放路径，比如：E:/coreseek/var/data/mysql 实际存放在E:/coreseek/var/data/目录，然后创建多个名称为mysql后缀却不同的索引文件
charset_dictpath 指明分词法读取词典文件的位置，当启用分词法时，为必填项。在使用LibMMSeg作为分词 库时，需要确保词典文件uni.lib在指定的目录下
charset_type 字符集，比如charset_type = zh_cn.gbk
searchd{} sphinx守护进程配置
listen 监听端口
max_matches最大匹配数，也就是查找的数据再多也只返回这里设置的1000条
pid_file pid文件路径
log全文检索日志
query_log查询日志
好了，配置文件就这样，配置的参数还有很多，大家可以自己查文档。
第3件：（生成索引）
开始 -> 运行 -> 输入cmd回车，打开命令行工具
e:coreseekinindexer --config e:coreseeketcmysql.conf --all
这一串东西其实就是调用indexer程序来生成所有索引
如果只想对某个数据源进行索引，则可以这样：e:coreseekinindexer --config e:coreseeketcmysql.conf 索引名称（索引名称指配置文件中所定义的）
--config,--all这些都是indexer程序的参数，想了解更多参数的朋友可以查看文档
运行命令后如果你没看到FATAL,ERROR这些东西，那么索引文件就算生成成功了，比如我看到得就是
………省略………
using config file 'e:coreseeketcmysql.conf'...
indexing index 'mysql'...
collected 4 docs, 0.0 MB
………省略………
第4件：（启动Sphinx）
同样命令行下
e:coreseekinsearchd --config e:coreseeketcmysql.conf
运行后提示了一大堆东西
using config file 'e:coreseeketcmysql.conf'...
listening on all interfaces, port=9312
accepting connections
这样Sphinx是启动好了。
现在有一串鸟文的这个命令行是不能关的，因为关了Sphinx也就关了，如果觉得这样不爽，可以将Sphinx安装成系统服务，在后台运行。
安装系统服务只需在命令行中输入以下命令
e:coreseekinsearchd --config e:coreseeketcmysql.conf --install
安装之后记得启动这个服务，不会启动那我没法，自己google、360 so。
第5步：（使用Sphinx）
在web根目录下建立一个search目录（当然不在根目录也行，同样目录名也可以随取），复制E:coreseekapi sphinxapi.php文件到search目录（sphinxapi.php这个是sphinx官方提供的api），开始php程序的编写。
在search目录建立一个文件，名字叫啥都行，我管它叫index.php，其内容如下 <?php
include 'sphinxapi.php'; // 加载Sphinx API
$sc = new SphinxClient(); // 实例化Api
$sc->setServer('localhost', 9312); // 设置服务端，第一个参数sphinx服务器地址，第二个sphinx监听端口
$res = $sc->query('sphinx', 'mysql'); // 执行查询，第一个参数查询的关键字，第二个查询的索引名称，mysql索引名称（这个也是在配置文件中定义的），多个索引名称以,分开，也可以用*表示所有索引。
print_r($res);
打印结果： Array
(
………省略………
[matches] => Array (
[2] => Array (
[weight] => 2
[attrs] => Array
(
[addtime] => 1282622004
)
)
[4] => Array
(
[weight] => 2
[attrs] => Array
(
[addtime] => 1282622079
)
)
)
………省略………
)
Matches中就是查询的结果了，但是仿佛不是我们想要的数据，比如titile，content字段的内容就没有查询出来，根据官方的说明是Sphinx并没有连接到MySQL去取数据，只是根据它自己的索引内容进行计算，因此如果想用Sphinx提供的API去取得我们想要的数据，还必须以查询的结果为依据，再次查询MySQL从而得到我们想要的数据。
查询结果中键值分别表示
2唯一主键
weight权重
attrs sql_attr_*中配置
至此，搜索引擎算是完成一大半了，剩下的大家可以自行完成。
比如： <?php
$ids = array_keys($res['matches']); // 获取主键
$ids = join(',', $ids);
$query = mysql_query("SELECT * FROM post WHERE id IN ({$ids})");
while($row = mysql_fetch_assoc($query)) {
..... }
Sphinx在windows下安装使用
前一阵子尝试使用了一下Sphinx，一个能够被各种语言(PHP/Python/Ruby/etc)方便调用的全文检索系统。网上的资料大多是在 linux环境下的安装使用，当然，作为生产环境很有必要部署在*nix环境下，作为学习测试，还是windows环境比较方便些。
本文旨在提供一种便捷的方式让Sphinx在windows下安装配置以支持中文全文检索，配置部分在linux下通用。
一、关于Sphinx
Sphinx 是一个在GPLv2 下发布的一个全文检索引擎，商业授权（例如, 嵌入到其他程序中）需要联系作者（Sphinxsearch.com）以获得商业授权。
一般而言，Sphinx是一个独立的搜索引擎，意图为其他应用提供高速、低空间占用、高结果相关度的全文搜索功能。Sphinx可以非常容易的与 SQL数据库和脚本语言集成。
当前系统内置MySQL和PostgreSQL 数据库数据源的支持，也支持从标准输入读取特定格式的XML数据。通过修改源代码，用户可以自行增加新的数据源（例如：其他类型的DBMS的原生支持）。
搜索API支持PHP、Python、Perl、Rudy和Java，并且也可以用作MySQL存储引擎。搜索API非常简单，可以在若干个小时之 内移植到新的语言上。 Sphinx特性：
高速的建立索引(在当代CPU上，峰值性能可达到10MB/秒);
高性能的搜索(在2–4GB的文本数据上，平均每次检索响应时间小于0.1秒); 可处理海量数据(目前已知可以处理超过100GB的文本数据,在单一CPU的系统上可处理100M文档);
提供了优秀的相关度算法，基于短语相似度和统计（BM25）的复合Ranking方法; 支持分布式搜索;
提供文件的摘录生成;
可作为MySQL的存储引擎提供搜索服务;
支持布尔、短语、词语相似度等多种检索模式; 文档支持多个全文检索字段(最大不超过32个);
文档支持多个额外的属性信息(例如：分组信息，时间戳等); 停止词查询;
支持单一字节编码和UTF-8编码;
原生的MySQL支持(同时支持MyISAM和InnoDB);
原生的PostgreSQL支持.
中文手册可以在这里获得（酷勤 网备用下载地址：sphinx_doc_zhcn_0.9.pdf ）。
二、Sphinx在windows上的安装
1.直接在http://www.sphinxsearch.com/downloads.html找 到最新的windows版本，我这里下的是Win32 release binaries with MySQL support，下载后解压在D:sphinx目录下；
2.在D:sphinx下新建一个data目录用来存放索引文件， 一个log目录方日志文件，复制D:sphinxsphinx.conf.in到D:sphinxinsphinx.conf（注意修改文件 名）；
3.修改D:sphinxinsphinx.conf，我这里 列出需要修改的几个：
type = mysql # 数据源，我这里是mysql sql_host = localhost # 数据库服务器 sql_user = root # 数据库用户名 sql_pass = '' # 数据库密码 sql_db = test # 数据库
sql_port = 3306 # 数据库端口
sql_query_pre = SET NAMES utf8 # 去掉此行前面的注释，如果你的数据库是uft8编码的 index test1 {
# 放索引的目录
path = D:/sphinx/data/ # 编码
charset_type = utf-8 # 指定utf-8的编码表
charset_table = 0..9, A..Z->a..z, _, a..z, U+410..U+42F->U+430..U+44F, U+430..U+44F
# 简单分词，只支持0和1，如果要搜索中文，请指定为1 ngram_len = 1
# 需要分词的字符，如果要搜索中文，去掉前面的注释 ngram_chars = U+3000..U+2FA1F }
# index test1stemmed : test1 # {
# path = @CONFDIR@/data/test1stemmed # morphology = stem_en #
}
如果没有分布式索引，注释掉下面的内容
# index dist1 # {
# 'distributed' index type MUST be specified # type = distributed # local index to be searched
# there can be many local indexes configured # local = test1
# local = test1stemmed # remote agent
# multiple remote agents may be specified
# syntax is 'hostname:port:index1,[index2[,...]] # agent = localhost:3313:remote1
# agent = localhost:3314:remote2,remote3
# remote agent connection timeout, milliseconds # optional, default is 1000 ms, ie. 1 sec # agent_connect_timeout = 1000
# remote agent query timeout, milliseconds # optional, default is 3000 ms, ie. 3 sec # agent_query_timeout = 3000 # }
# 搜索服务需要修改的部分 searchd {
# 日志
log = D:/sphinx/log/searchd.log # PID file, searchd process ID file name pid_file = D:/sphinx/log/searchd.pid # windows下启动searchd服务一定要注释掉这个 # seamless_rotate = 1 }
4.导入测试数据
sql 文件在D:/sphinx/example.sql C:Program FilesMySQLMySQL Server
5.0in>mysql
-uroot
test<d:/sphinx/example.sql
5.建立索引
D:sphinxin>indexer.exe test1 (备注:test1为 sphinx.conf 的 index test1() )
Sphinx 0.9.8-release (r1533)
Copyright (c) 2001-2008, Andrew Aksyonoff
using config file ‘./sphinx.conf’… indexing index ‘test1′… collected 4 docs, 0.0 MB
sorted 0.0 Mhits, 100.0% done total 4 docs, 193 bytes
total 0.101 sec, 1916.30 bytes/sec, 39.72 docs/sec D:sphinxin>
6.搜索’test’试试
D:sphinxin>search.exe test1 Sphinx 0.9.8-release (r1533)
Copyright (c) 2001-2008, Andrew Aksyonoff
using config file ‘./sphinx.conf’…
index ‘test1′: query ‘test ‘: returned 3 matches of 3 total in 0.000 sec
displaying matches:
1. document=1, weight=2, group_id=1, date_added=Wed Nov 26 14:58:59 2008 id=1
group_id=1 group_id2=5
date_added=2008-11-26 14:58:59 title=test one
content=this is my test document number one. also checking search within phrases.
2. document=2, weight=2, group_id=1, date_added=Wed Nov 26 14:58:59 2008 id=2
group_id=1 group_id2=6
date_added=2008-11-26 14:58:59 title=test two
content=this is my test document number two
3. document=4, weight=1, group_id=2, date_added=Wed Nov 26 14:58:59 2008 id=4
group_id=2 group_id2=8
date_added=2008-11-26 14:58:59 title=doc number four
content=this is to test groups
words:
1. ‘test’: 3 documents, 5 hits D:sphinxin> 都所出来了吧。 6.测试中文搜索
修改test数据库中documents数据表，
UPDATE `test`.`documents` SET `title` = ‘测试中文’, `content` = ‘this is my test document number two，应该搜的到吧’ WHERE `documents`.`id` = 2;
重建索引：
D:sphinxin>indexer.exe test1 搜索’中文’试试：
D:sphinxin>search.exe 中文 Sphinx 0.9.8-release (r1533)
Copyright (c) 2001-2008, Andrew Aksyonoff
using config file ‘./sphinx.conf’…
index ‘test1′: query ‘中文 ‘: returned 0 matches of 0 total in 0.000 sec
words:
D:sphinxin>
貌似没有搜到，这是因为windows命令行中的编码是gbk，当然搜不出来。我们可以用程序试试，在D:sphinxapi下新建一个 foo.php的文件，注意utf-8编码
<?php
require ’sphinxapi.php’; $s = new SphinxClient();
$s->SetServer(’localhost’,9312); $result = $s->Query(’中文’); var_dump($result); ?>
启动Sphinx searchd服务
D:sphinxin>searchd.exe Sphinx 0.9.8-release (r1533)
Copyright (c) 2001-2008, Andrew Aksyonoff WARNING: forcing –console mode on Windows using config file ‘./sphinx.conf’… creating server socket on 0.0.0.0:9312 accepting connections
已经表示服务器已经开启 不要关闭 命令行 (目前本人无法将此服务安装成系统服务器 所以每次PHP测试前注意开启 searchd 服务) 执行PHP查询：
访问 http://www.test.com/sphinx/api/foo.php (自己配置的虚拟主机)
结果是不是出来？剩下的工作就是去看手册，慢慢摸索高阶的配置。
Windows下的Sphinx+MySQL简单配置及调试 2010年01月15日 星期五 02:44 P.M.
首先我们要从 Sphinx 官网上 http://www.sphinxsearch.com/downloads.html 下载 mysql-5.0.45-sphinxse-0.9.8-win32.zip 和
sphinx-0.9.8.1-win32.zip，假设你已经安装好了 MySQL
先将 mysql 服务停掉 解压 mysql-5.0.45-sphinxse-0.9.8-win32.zip 将 bin 和 share 覆盖掉 mysql 目录中的 bin 和 share 解压
sphinx-0.9.8.1-win32.zip 到独立的目录，如:d:/www/sphinx/中 接着开启 mysql 服务，建立 "test" 数据库，并导入 sql 语句,如下：
-----------------------------------------------------------
CREATE TABLE `documents` (
`id` int(11) NOT NULL auto_increment, `group_id` int(11) NOT NULL, `group_id2` int(11) NOT NULL, `date_added` datetime NOT NULL, `title` varchar(255) NOT NULL, `content` text NOT NULL, PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=5;
INSERT INTO `documents` VALUES ('1', '1', '5', '2008-09-13 21:37:47', 'test one', 'this is my test document number one. also checking search within phrases.');
INSERT INTO `documents` VALUES ('2', '1', '6', '2008-09-13 21:37:47', 'test two', 'this is my test document number two');
INSERT INTO `documents` VALUES ('3', '2', '7', '2008-09-13 21:37:47', 'another doc', 'this is another group');
INSERT INTO `documents` VALUES ('4', '2', '8', '2008-09-13 21:37:47', 'doc number four', 'this is to test groups');
-------------------------------------------实际上，这个新建立的表就是 Sphinx 中的 example.sql
我们的测试表已经建立完成，接下来我们要配置 sphinx-doc.conf 文件（重要） 先将 sphinx 下的 sphinx-min.conf 复制一份改名为 sphinx-doc.conf，接着 修改它:
--------------------------------------------------------------------
#
# Minimal Sphinx configuration sample (clean, simple, functional) #
# type----------------------------------------数据库类型，目前支持 mysql 与 pgsql
# strip_html--------------------------------是否去掉html 标签
# sql_host----------------------------------数据库主机地址
# sql_user----------------------------------数据库用户名
# sql_pass----------------------------------数据库密码
# sql_db-------------------------------------数据库名称
# sql_port-----------------------------------数据库采用的端口
# sql_query_pre--------------------------执行sql前要设置的字符集，用utf8必须SET NAMES utf8
# sql_query---------------------------------全文检索要显示的内容，在这里尽可能不使用where或 group by，将 where 与 groupby 的内容交给 sphinx，由 sphinx 进行条件过滤与 groupby 效率会更高
# 注意: select 出来的字段必须至少包括一个唯一主键 (ARTICLESID) 以及要全文检索的字段，你计划原本在 where 中要用到的字段也要 select 出来 # 这里不用使用orderby
# sql_attr_ 开头的表示一些属性字段，你原计划要用在 where, orderby, groupby 中的字段要在这里定义(# 为自己添加的注释内容)
#source 数据源名:
source documents {
type = mysql sql_host = localhost sql_user = root
sql_pass = yourpassword sql_db = test
sql_port = 3306 # optional, default is 3306
sql_query_pre = SET NAMES utf8 sql_query =
SELECT id, group_id, UNIX_TIMESTAMP(date_added) AS date_added, title, content FROM documents
sql_attr_uint = group_id
sql_attr_timestamp = date_added
sql_query_info = SELECT * FROM documents WHERE id=$id }
index documents {
source = documents
#path 索引记录存放目录，如 d:/sphinx/data/cgfinal ,实际存放时会存放在 d:/sphinx/data 目录，然后创建多个 cgfinal 名称，不同扩展名的索引文件。
path = d:/www/sphinx/data/doc docinfo = extern enable_star = 1
min_word_len = 3 min_prefix_len = 0 min_infix_len = 3 charset_type = sbcs
# 其他的配置如 min_word_len, charset_type, charset_table, ngrams_chars, ngram_len 这些则是支持中文检索需要设置的内容。
# 如果检索的不是中文，则 charset_table, ngrams_chars, min_word_len 就要设置不同的内容，具体官方网站的论坛中有很多，大家可以去搜索看看。
}
# mem_limit 索引使用内存最大限制，根据机器情况而定，默认是32M，太小的会影响索引的性能。 indexer {
mem_limit = 32M }
# 搜索的守护进程配置
# 在进行全文检索过程中，searchd要先开启，mysql在全文检索时才能连接到sphinx，由sphinx进行全文检索，再将结果返回给mysql # address 侦听请求的地址，不设置则侦听所有地址 # port 侦听端口 searchd {
port = 3312
log =d:/www/sphinx/logs/searched_doc.log
query_log = d:/www/sphinx/logs/query_doc.log
read_timeout = 5
max_children = 30
pid_file = d:/www/sphinx/logs/searched-doc.pid
max_matches = 1000
seamless_rotate = 0
preopen_indexes = 0
unlink_old = 1
}
--------------------------------------------------------------------
为了测试，我们的 Sphinx 配置文件已经写好，确保我们的 Mysql 数据库已经启动，如果没有启动则在 cmd 中键入" net start mysql " 接下来，我们的测试正式开始： 1，生成数据索引或重建索引：
（最好再复制一个 sphinx-doc.conf 配置文件，并把它放入 bin 文件夹中，下面的举例 假设我们已经这样做）： 在 cmd 模式下：输入：
d:/www/sphinx/bin/indexer.exe --config
d:/www/sphinx/bin/sphinx-doc.conf documents 2，运行检索守护进程 searchd.exe： d:/www/sphinx/bin/searchd.exe --config d:/www/sphinx/bin/sphinx-doc.conf
如过这两步没有报错的话，说明我们的 Sphinx 已经正常运行了！可以通过 netstat -an 查看是否 3312 端口是否处如监听状态。 3，现在来用 sphinx 自带的工具 search.exe 来测试一下：
测试：
索引关键字： this is m
D:wwwsphinxin>search.exe -c d:/www/sphinx/bin/sphinx-doc.conf this is m 结果：
Sphinx 0.9.8-release (r1371)
Copyright (c) 2001-2008, Andrew Aksyonoff
using config file 'd:/www/sphinx/bin/sphinx-doc.conf'...
WARNING: index 'documents': invalid morphology option 'extern' - IGNORED index 'documents': query 'this is m ': returned 4 matches of 4 total in 0.000 s c
displaying matches:
1. document=1, weight=1, group_id=1, date_added=Sat Sep 13 21:37:47 2008 id=1
group_id=1 group_id2=5
date_added=2008-09-13 21:37:47 title=test one content=this is my test document number one. also checking search withi phrases.
2. document=2, weight=1, group_id=1, date_added=Sat Sep 13 21:37:47 2008 id=2
group_id=1 group_id2=6
date_added=2008-09-13 21:37:47 title=test two
content=this is my test document number two
3. document=3, weight=1, group_id=2, date_added=Sat Sep 13 21:37:47 2008 id=3
group_id=2 group_id2=7
date_added=2008-09-13 21:37:47 title=another doc
content=this is another group
4. document=4, weight=1, group_id=2, date_added=Sat Sep 13 21:37:47 2008 id=4
group_id=2 group_id2=8
date_added=2008-09-13 21:37:47 title=doc number four
content=this is to test groups words:
1. 'this': 4 documents, 4 hits
索引关键字： this is another group
D:wwwsphinxin>search.exe -c d:/www/sphinx/bin/sphinx-doc.conf this is another group 结果：
Sphinx 0.9.8-release (r1371)
Copyright (c) 2001-2008, Andrew Aksyonoff -------------------
到此sphinx在win上算正常运行了，sphinx-doc.conf文件配置比较灵活，根据你需要索引的数据库进行灵活配置来达到你需要的效果
如果配置过程中出现运行参数配置问题可以查看 doc/sphinx.html文件，里面对各种参数都要详细的说明
using config file 'd:/www/sphinx/bin/sphinx-doc.conf'...
WARNING: index 'documents': invalid morphology option 'extern' - IGNORED index 'documents': query 'this is another group ': returned 1 matches of 1 total in 0.000 sec
displaying matches:
1. document=3, weight=4, group_id=2, date_added=Sat Sep 13 21:37:47 2008 id=3
group_id=2 group_id2=7
date_added=2008-09-13 21:37:47 title=another doc
content=this is another group words:
1. 'this': 4 documents, 4 hits 2. 'another': 1 documents, 2 hits 3. 'group': 1 documents, 1 hits
