SQL Server 2008 FullText Search Overview（SQL Server 2008全文检索概览）

SQL Server 2008 Full-Text Search Overview（SQL Server 2008全文检索概览）

以前都对Full-Text Search（全文检索）不是很在意，因为操作上挺简单Enable一下就可以了。昨天遇到了一个相关的newsgroup case，发现这feature也不是那么简单的，至少有不少乱七八糟的函数，比如ISABOUT，weight，CONTAINS等。之前遇到另外一个也关于全文检索的email case，说2000升级到05后发现对TEXT的全文检索不能用，我测了一下没问题，只好等客户repro之后的结果了（虽然MSDN上写的似乎是只对char系列，也就是nvarchar，varchar，char，nchar之类的可用，但另外一个link上也包含了TEXT数据类型，真矛盾。。。）

1. 概述
先来了解个大概：
Q：为什么要Full-text search（全文检索）？
A：因为对文字的查询速度慢（不建议在文字上建索引也就是这个道理）
Q：和2005有区别么？
A；当然有区别，名字前都加了个integrated了。以前05里有单独的索引文件和引擎，08中集成到filegroup里去了。
Q：什么原理？
A：基于关键字（keyword）
Q：和普通索引的关系？
A：目的都是提高查询速度。全文索引不少特性和Index（索引）一样
   （捏它一句，突然想到了魔法禁书目录。。。loli索引。。。）
   全文检索使用了语义检索（这技术听上去就很高深么），还能用于二进制文件。
Q：有啥用？
A：举个最简单的例子，搜论文，模糊匹配，快速大量还能排rank。

2. 架构
05的架构参见http://i.technet.microsoft.com/Cc721269.SQL2008FTSFig01(en-us,SQL.100).jpg
基本分为三块：MSFTEFD.EXE, MSFTESQL.EXE, SQL SQLSERVER.EXE
08的结构参见http://i.technet.microsoft.com/Cc721269.SQL2008FTSFig02(en-us,SQL.100).jpg
基本分为两块：sqlservr.exe和fdhost.exe，另外加上一个Filter Daemon Launcher Service(MSSQLFDLauncher)服务。fdhost处理第三方组件。

3. 从早期版本升级到08
一般我不太关注这块，但这次客户的问题就出自这个，只能好好看了。。。
因为向后兼容，一般升级到08不会有问题，除了升级Full-Text Catalogs（全文目录）
不管你是in-place upgrade，detach再attach，backup再restore，Copy Database Wizard都逃不了。
升级方法：
a. Use full population (rebuild)
说白了就是砍掉重练，当然耗时耗资源是免不了的。
b. Import the indexed data (default option)
导入相对省时间
c. Reset the full-text catalogs
重新设定，介于上两者之间。
因为05与08语义上有变化，看whitepaper的意思还是推荐repopulate。

4. Filter Daemon 进程
至于为什么要分离出fdhost，是为了保护SQL Server进程。但这也导致了这个case中客户的fdhost进程重启了上千次。。。
为了安全考虑建议使用较为低权限的帐号来run。
用exec sp_fulltext_service ‘restart_all_fdhosts’取消任何正在运行的活动，重新启动fdhost.exe。

5. 语法上的改进
全文检索语法
1.contains:精确的匹配
where contains(*,' "my name is" ') --对短语的精确匹配,注意要有双引号
where contains(*,' "my" or "name is" ') --或者的关系
还有'and not'  'and'  
还有临近词和权重

2.freetext:模糊匹配(你输入swim可以匹配出swam)与contains语法相同

3.containstable
此函数返回一个表
此表包含两个列
一个是key(就是主健啦)  一个是rank(返回的行与搜索结果的匹配程度,越大越精确)
select  title from mytable p
join containstable(mytable, title , 'xland') ct
on p.id  = ct.[key]

4.freetexttable与containstable类似

5. 增加了stoplist，也就是噪音词列表，但和这次的case没关系，略过。

6. Troubleshooting
错误信息：
全文检索相关的错误号一般为76xx，99xx，300xx
除了会生成error log外，还会生成一个Full-text crawl log，命名方式为sql<database id>+<catalog id>.log，也在日志同样的位置（我的机器上的日志文件名为SQLFT0000700006.LOG，代表database_id为7，catalog_id为6）。
event log纪录严重的错误。
也会有crash dump，文件名格式为sqldmprxxx.mdmp。

在改变了架构后可能发生的一种情况就是全文索引stuck住无法前进，可能的原因为missing event，background task处理错误。纠错的话需要通过使用sys.sysprocesses, sys.dm_os_wait_tasks等检查background task（FT GATHERER tasks）。
问题的种类可为以下几种：
a. word breaker（分词器）语言设置错误
b. word breaker对于某个查询故障了
c. 返回数据过多，缓冲不够用
d. 工作负载过高（一般很少发生）

新的工具：
以前索引因为是自动生成关键字，生成什么关键字都是黑箱操作，这次增加了sys.dm_fts_index_keywords和sys.dm_fts_index_keywords_by_document用来查看。
如果是因为返回的结果不当的话，用sys.dm_fts_parser() 来查看。高级方法是用lrtest.exe，不过一般只用来debugging。

暂且先看到这里，如果以后在某方面有具体研究再另外开篇。

参考：
SQL Server 2008 Full-Text Search: Internals and Enhancements
http://technet.microsoft.com/en-us/library/cc721269.aspx
全文索引
http://www.cnblogs.com/liulun/articles/1368655.html