rss· 投稿· 设为首页· 加入收藏· 繁體版
当前位置: 火魔网 » 程序开发 » PHP

中文分词 SCWS 的安装

SCWS 是 Simple Chinese Words Segmentation 的缩写,即简易中文分词系统。

  这是一套基于词频词典的机械中文分词引擎,它能将一整段 的汉字基本正确的切分成词。词是汉语的基本语素单位,而书写的时候不像英语会在词之间用空格分开,所以如何准确而又快速的分词一直是中文分词的攻关难点。

       由于使用PHPCMS,网站配置中发现有这样一个自动的中文分词,好东西岂能 不用。现将安装过程来详细记录,绝大部分文字资料都是来源于SCWS的官网,本 人只是加入了一些实际操作过程中的不同,方便表述更加准确详细。

1. 取得 scws-1.0.4 的代码
wget http://www.ftphp.com/scws/down/scws-1.0.4.tar.bz2 2. 解开压缩包
[hightman@d1 ~]$ tar xvjf scws-1.0.4.tar.bz2 3. 进入目录执行配置脚本和编译
[hightman@d1 ~]$ cd scws-1.0.4
[hightman@d1 ~/scws-1.0.4]$ ./configure --prefix=/usr/local/scws ; make ; make install这个地方,从configure开始就会出现众多的Warning,提示你什么什么东西没有,没有问题,不会对安装有任何影
响,继续下一步就行了。 注:这里和通用的 GNU 软件安装方式一样,具体选项参数执行 ./configure --help 查看。 --prefix=<scws的安装目录>
--disable-mmap <这表示禁用 MMAP 来读取 xdb,在 debian, ubuntu 的部分 Linux 中建议关闭 mmap>
--enable-developer <这表示以开发者模式编译,主要是用于调试编译时加入了 -g 选项及部分标准输出的信息> 4. 顺利的话已经编译并安装成功到 /usr/local/scws 中了,执行下面命令看看文件是否存在
[hightman@d1 ~/scws-1.0.4]$ ls -al /usr/local/scws/lib/libscws.la 5. 试试执行 scws-cli 文件
[hightman@d1 ~/scws-1.0.4]$ /usr/local/scws/bin/scws -h
scws (scws-cli/1.0.4)
Simple Chinese Word Segmentation - Command line usage.
Copyright (C)2007 by hightman.
... 6 用 wget 下载并解压词典,或从主页下载然后自行解压再将 *.xdb 放入 /usr/local/scws/etc 目录中
[hightman@d1 ~/scws-1.0.4]$ cd /usr/local/scws/etc
[hightman@d1 /usr/local/scws/etc]$ wget http://www.ftphp.com/scws/down/scws-dict-chs-gbk.tar.bz2
[hightman@d1 /usr/local/scws/etc]$ wget http://www.ftphp.com/scws/down/scws-dict-chs-utf8.tar.bz2
[hightman@d1 /usr/local/scws/etc]$ tar xvjf scws-dict-chs-gbk.tar.bz2
[hightman@d1 /usr/local/scws/etc]$ tar xvjf scws-dict-chs-utf8.tar.bz2 7. 写个小程序测试一下
[hightman@d1 ~]$ cat > test.c
#include <scws.h>
#include <stdio.h>
main() scws_t s;
s = scws_new();
scws_free(s);
printf("test ok!\n");
}这个地方其实用VIM来编写这个test.c也是一样的,关键是测试SCWS安装成功了没有。 8. 编译测试程序
gcc -o test -I/usr/local/scws/include -L/usr/local/scws/lib test.c -lscws -Wl,--rpath -Wl,/usr/local/scws/lib
./test 9. 这样就好顺利安装完毕可以使用 libscws 这套 C-API 了 10. 如果您需要在 php 中调用分词,建议继续阅读本文安装 php 扩展,否则可跳过不看。 假设您已经将 scws 按上述步骤安装到 /usr/local/scws 中。
安装此扩展要求您的 php 和系统环境安装了相应的 autoconf automake 工具及 phpize 。 1) 进入源码目录的 phpext/ 目录 ( cd ~/scws-1.0.4 )      这个地方的目录其实应该是/tmp/scws-1.0.4/phpext/,如果你是按照上面的步骤来的话,要是不是就定位到刚
开始,scws的源代码包解压的地方就行 2) 执行 phpize (在PHP安装目录的bin/目录下)    还是在刚刚提到的那个目录下执行phpize,不要跳出去 3) 执行 ./configure --with-scws=/usr/local/scws
若 php 安装在特殊目录 $php_prefix, 则请在 configure 后加上 --with-php-config=$php_prefix/bin/php-config
4) 执行 make 然后用 root 身份执行 make install
5) 在 php.ini 中加入以下几行 [scws] ; 注意请检查 php.ini 中的 extension_dir 的设定值是否正确, 否则请将 extension_dir 设为空,
; 再把 extension = scws.so 指定绝对路径。 extension = scws.so
scws.default.charset = gbk
scws.default.fpath = /usr/local/scws/etc 6) 命令行下执行 php -m 就能看到 scws 了或者在 phpinfo() 中看看关于 scws 的部分,记得要重启 web 服务器
才能使新的 php.ini 生效。
7) 这样就算安装完成了,余下的工作只是PHP代码编写问题了。
关于 PHP 扩展的使用说明请参看代码中 phpext/php_scws_manual.txt 文件或其它文档章节。
顶一下
(0)
踩一下
(0)