您好,欢迎来到菜鸟吧源码网(www.cniao8.com)本站只做精品网站源码!
  • 首 页
  • 菜鸟云
  • 公告:本站资源均来源于互联网及会员投稿发布,所有资源仅供学习参考研究使用,请勿商用或其它非法用途,商用请购买正版,否则产生一切后果由用户自行承担!谢谢!

     

    当前位置:主页 > 站长学堂 > dede教程 >
    DedeCMS V5.7全文检索使用说明
    时间:2020-02-20 12:20 作者:菜鸟吧 浏览:收藏 挑错 打印

    首先了解一下sphinx全文索引的相关知识,考虑到Sphinx全文索引使用的实际需要,主要介绍Sphinx全文索引中文方面的支持。这里需要感谢李沫南同学对Sphinx全文索引中文支持的贡献!

    dedecms使用的是mysql,所以我们需要来配置一个mysql的sphinx模板配置,可以复制csft_mysql.conf改名为:csft_dedecmsv57.conf,例如我们这里仅做文章的全文检索,我们需要做如下配置:
    先在DedeCMS中创建一个统计表,方法可以在DedeCMS后台[系统]->[SQL命令行工具]中执行下列代码:
    CREATE TABLE `dede_sphinx` (
       `countid` int(11) unsigned NOT NULL,
       `maxaid` int(11) unsigned NOT NULL,
       PRIMARY KEY (`countid`)
    ) ENGINE=MyISAM DEFAULT CHARSET=gbk
    这是一个sphinx内容统计表,为了适合数据量较大的情况下分批生成索引而使用的.
    创建完数据表后,我们对sphinx的配置文件,即csft_dedecmsv57.conf修改,内容如下,其中包含注释:
    --------------------------------------------------------------------------------------------

    #源定义
    source mysql
    {
       type                    = mysql

       # 数据库服务器基本配置信息
       sql_host                = 192.168.0.103
       sql_user                = dedev57
       sql_pass                = dedecms
       sql_db                  = dedecmsv57gbk
       sql_port                = 3306

       # 设定编码,这里我们是gbk编码,如果是utf-8,可以设置:
       # sql_query_pre            = SET NAMES utf8
       sql_query_pre            = SET NAMES gbk

       # 数据检索增量
       sql_range_step = 1000

       #当前最新文档id数
       sql_query_pre = REPLACE INTO dede_sphinx SELECT 1, MAX(id) FROM dede_archives

       #检索条件
       sql_query               = SELECT ARC.id,ARC.typeid,ARC.typeid2,ARC.sortrank,ARC.flag,ARC.channel,ARC.ismake,ARC.arcrank,ARC.click,ARC.title,ARC.shorttitle,ARC.color,ARC.writer,ARC.source,ARC.litpic,ARC.pubdate,ARC.senddate,ARC.mtype,ARC.description,ARC.badpost,ARC.goodpost,ARC.scores,ARC.lastpost,ARC.keywords,ARC.mid,ART.body FROM dede_archives AS ARC LEFT JOIN dede_addonarticle AS ART ON ARC.id = ART.aid WHERE ARC.id>=$start AND ARC.id<=$end #sql_query第一列id需为整数
       #title、body作为字符串/文本字段,被全文索引

       # 获取当前最大检索id
       sql_query_range  = SELECT 1,maxaid FROM dede_sphinx WHERE countid=1


       sql_attr_uint             = typeid            #从SQL读取到的值必须为整数
       sql_attr_uint            = typeid2
       sql_attr_uint            = channel
       sql_attr_uint            = click
       sql_attr_uint            = badpost
       sql_attr_uint            = goodpost
       sql_attr_uint            = scores
       sql_attr_uint            = mid
       sql_attr_timestamp  = pubdate    #从SQL读取到的值必须为整数,作为时间属性
       sql_attr_timestamp  = senddate
       sql_attr_timestamp  = lastpost

       #命令行查询时,从数据库读取原始数据信息
       sql_query_info            = SELECT ARC.*,ART.body FROM dede_archives AS ARC LEFT JOIN dede_addonarticle AS ART ON ARC.id = ART.aid WHERE ARC.id=$id  
    }

    source delta
    {
       type                    = mysql

       # 数据库服务器基本配置信息
       sql_host                = 192.168.0.103
       sql_user                = dedev57
       sql_pass                = dedecms
       sql_db                  = dedecmsv57gbk
       sql_port                = 3306
       sql_query_pre            = SET NAMES gbk

       # 增量索引,从最大id开始
       sql_query = SELECT ARC.id,ARC.typeid,ARC.typeid2,ARC.sortrank,ARC.flag,ARC.channel,ARC.ismake,ARC.arcrank,ARC.click,ARC.title,ARC.shorttitle,ARC.color,ARC.writer,ARC.source,ARC.litpic,ARC.pubdate,ARC.senddate,ARC.mtype,ARC.description,ARC.badpost,ARC.goodpost,ARC.scores,ARC.lastpost,ARC.keywords,ARC.mid,ART.body FROM dede_archives AS ARC LEFT JOIN dede_addonarticle AS ART ON ARC.id = ART.aid WHERE ARC.id > ( SELECT maxaid FROM dede_sphinx WHERE countid=1 )
       #从SQL读取到的值必须为整数

       sql_query_post = REPLACE INTO dede_sphinx SELECT 1, MAX(id) FROM dede_archives

       sql_attr_uint             = typeid            
       sql_attr_uint            = typeid2
       sql_attr_uint            = channel
       sql_attr_uint            = click
       sql_attr_uint            = badpost
       sql_attr_uint            = goodpost
       sql_attr_uint            = scores
       sql_attr_uint            = mid
       sql_attr_timestamp  = pubdate    #从SQL读取到的值必须为整数,作为时间属性
       sql_attr_timestamp  = senddate
       sql_attr_timestamp  = lastpost

       #命令行查询时,从数据库读取原始数据信息
       sql_query_info            = SELECT ARC.*,ART.body FROM dede_archives AS ARC LEFT JOIN dede_addonarticle AS ART ON ARC.id = ART.aid WHERE ARC.id=$id  
    }


    #index定义
    index mysql
    {
       source            = mysql             #对应的source名称
       path            = D:/coreseek-3.2.13-win32/var/data/mysql
       docinfo            = extern
       mlock            = 0
       morphology        = none
       min_word_len        = 1
       html_strip                = 0
       #charset_dictpath = /usr/local/mmseg3/etc/    #BSD、Linux环境下设置,/符号结尾
       charset_dictpath = D:/coreseek-3.2.13-win32/etc/                        #Windows环境下设置,/符号结尾
       charset_type        = zh_cn.gbk
    }

    index delta : mysql
    {
       min_word_len        = 1
       source = delta
       path            = D:/coreseek-3.2.13-win32/var/data/delta.new
    }


    #全局index定义
    indexer
    {
       mem_limit            = 128M
    }

    #searchd服务定义
    searchd
    {
       listen                  =   9312
       read_timeout        = 5
       max_children        = 30
       max_matches            = 1000
       seamless_rotate        = 0
       preopen_indexes        = 0
       unlink_old            = 1
       pid_file = D:/coreseek-3.2.13-win32/var/log/searchd_mysql.pid
       log = D:/coreseek-3.2.13-win32/var/log/searchd_mysql.log
       query_log = D:/coreseek-3.2.13-win32/var/log/query_mysql.log
    }


    -------------------------------------------------------------------------------------------------------

    1.3.建立索引
    配置完成后,我们要先建立索引,在开始菜单中打开[运行],输入"cmd",确认后打开命令行.输入下列代码:

    d:&cd D:\coreseek-3.2.13-win32\bin

    先切换到sphinx的bin目录,然后再执行:

    indexer.exe -c D:\coreseek-3.2.13-win32\etc\csft_dedecmsv57.conf mysql --rotate

    这个时候sphinx开始构建索引,如果数据量比较大,这个时间可能比较长,需要耐心等待(如图1).

    DedeCMS V5.7全文检索使用说明

    然后再创建下增量索引,使用下列命令:
    indexer.exe -c D:\coreseek-3.2.13-win32\etc\csft_dedecmsv57.conf delta --rotate


    1.4.测试检索是否正常
    建立完索引之后我们来检测下是否能够正常搜索到匹配内容,可以继续在cmd中输入下列命令:

    search.exe -c D:\coreseek-3.2.13-win32\etc\csft_dedecmsv57.conf dedecms

    如果能够正常返回数据(如图2),则说明已经成功建立索引.

    DedeCMS V5.7全文检索使用说明

    2.结合DedeCMS程序使用sphinx
    2.1.开启sphinx服务
    在上面的步骤中我们已经成功生成了索引,接下来为了能够使用客户端调用则需要开启sphinx服务.
    可以直接在cmd中执行:
    searchd.exe -c D:\coreseek-3.2.13-win32\etc\csft_dedecmsv57.conf
    这样我们就开启了sphinx服务(如图3),我们可以写一个简单的例子进行测试:

    DedeCMS V5.7全文检索使用说明

    sphinx_test.php
    --------------------------------------------------------------------------------------------------------
    <?php
    set_time_limit(0);
    require_once (dirname(__FILE__) . "/include/common.inc.php");
    $sphinx = new SphinxClient;

    $mode = SPH_MATCH_ANY;            //匹配模式
    $host = "localhost";            //服务ip
    $port = 9312;    //服务端口

    $sphinx->SetServer($host, $port);
    $sphinx->SetArrayResult(true);
    $sphinx->SetMatchMode($mode);

    $res = $sphinx->Query('织梦内容管理系统');

    //var_dump($sphinx);
    //var_dump($res);
    $total = count($res['matches']);
    for($i=0; $i < $total; $i++)
    {
       var_dump($res['matches'][$i]);
    }

    -----------------------------------------------------------------------------------------------------
    执行sphinx_test.php,可以看到已经能够正常通信,并且返回了内容.

    DedeCMS V5.7全文检索使用说明

    2.2.创建一个DedeSphinx服务
    上面我们通过searchd.exe开启了服务,但不好的是,我们关闭了cmd窗口就不能继续访问了,解决办法如下:
    同样切换到bin目录下,执行:

    searchd.exe --install -c D:\coreseek-3.2.13-win32\etc\csft_dedecmsv57.conf --servicename DedeSphinx
    这样就在系统中成功创建了一个DedeSphinx服务,无需再打开窗口(如图5).

    DedeCMS V5.7全文检索使用说明

    3.更新与维护
    对于全文检索的索引,我们是需要不定期生成的,如果是数据量比较小,直接使用上述生成索引的命令重建就可以,如果数据量比较大,我们则需要定义的更新全文索引.

    如果内容更新比较频繁,下列的命令需要每分钟被执行次(可以创建一个脚本,使用windows计划任务定期执行)

    生成增量索引:

    indexer.exe -c D:\coreseek-3.2.13-win32\etc\csft_dedecmsv57.conf delta --rotate

    当然每一天都需要将增量索引合并到主索引mysql中去,需要执行:

    indexer.exe -c D:\coreseek-3.2.13-win32\etc\csft_dedecmsv57.conf --merge mysql delta --rotate

    郑重声明:
    本站所有内容均由互联网收集整理、网友上传,并且以计算机技术研究交流为目的,仅供大家参考、学习,不存在任何商业目的与商业用途。 若您需要商业运营或用于其他商业活动,请您购买正版授权并合法使用。
    我们不承担任何技术及版权问题,且不对任何资源负法律责任。
    如无法下载,联系站长索要。
    如有侵犯您的版权,请给我们来信:admin@cniao8.com,我们尽快处理。

    织梦中{dede:channel}无法调用隐藏栏目解决方法织梦中{dede:channel}无法调用隐藏栏目
    DEDECMS批量导入excel数据到后台文章系统的开发教程DEDECMS批量导入excel数据到后台文章系
    织梦58织梦模板加固版教程详解织梦58织梦模板加固版教程详解