|
|
在此分享出来给大家，是会员花钱分享的开源版，希望对大家有用，切记好好珍惜，不要随意转载。
1 W: _4 n. ~3 M' q; M搜猫搜索引擎_V9.0 正式版修复介绍：: b4 @% @& j9 p" A
1、整合Sphinx、倒排索引、PHPCWS分词系统，后台轻松一键创建索引和分词2、程序实现10亿数据的承载量，搜索永久小于1秒3、新增：充值卡系统、可以生成各种面额的充值卡、轻松充值积分进行竞价排名4、整合支付宝API接口，可以用支付宝免费积分积分进行竞价排名5、推广平台、搜索结果页右侧推广和开放平台实现智能规则排名，竞价同一关键词时以积分多少显示前三名推广的链接; n5 }2 \& j6 @
w8 X% Z( O4 d9 ~搜猫V8 Beta5.0修复介绍：
4 @# N' ]. U; J$ d+ N0 S¤ 实现了PHP+MYSQL+Sphinx的整合工作1 r9 Y9 |" X) w" p! x6 [
¤ 优化蜘蛛程序，整合Crawler爬虫代码、自动下载采集数据到本地调用，实现本地索引功能。
) C7 d1 R' P3 B3 P% Y( {3 h: y9 U2 O¤ 优化蜘蛛功能，实现蜘蛛智能去除死链接，实现多线程采集，默认蜘蛛开启数为20个，也就是说可以同时开启20个蜘蛛同时工作，这个根据你的服务器的配置来定，服务器越好开启的越多，采集的数据越多。理论值：日采集数据不低于1000000条信息。2 D4 q) o( M* L$ T- L& ~6 K9 t% X
【PHP+Mysql+Sphinx 说明】
$ o5 h# ^: y! N' X: D: N 出自俄罗斯的开源全文搜索引擎软件 Sphinx ，单一索引最大可包含1亿条记录，在1千万条记录情况下的查询速度为0.x秒（毫秒级）。Sphinx创建索引的速度为：创建100万条记录的索引只需3～4分钟，创建1000万条记录的索引可以在50分钟内完成，而只包含最新10万条记录的增量索引，重建一次只需几十秒。, \% q. ~; o- ? S# G; p9 {1 r, {& N
基于以上几点，我设计出了这套搜索引擎架构。在生产环境运行了一周，效果非常不错。有时间我会专为配合Sphinx搜索引擎，开发一个逻辑简单、速度快、占用内存低、非表锁的MySQL存储引擎插件，用来代替MyISAM引擎，以解决MyISAM存储引擎在频繁更新操作时的锁表延迟问题。另外，分布式搜索技术上已无任何问题。
* X! A' V) o/ k4 l+ D. \ g' k) K8 |一、搜索引擎架构设计：
6 k" C+ P' s; }; ^* X1、搜索引擎架构图：0 _# f( k4 | y2 r# S4 l
- Q0 O; f8 c% G/ T4 C+ `+ Q
" j3 B% y4 b5 K
2、搜索引擎架构设计思路：% `8 ?0 Z1 i- J1 b6 d: W7 ]1 ~4 W8 U
(1)、调用方式最简化：+ x' `& C$ ?8 T: A7 g, I, ]6 e
尽量方便前端Web工程师，只需要一条简单的SQL语句“SELECT ... FROM myisam_table JOIN sphinx_table ON (sphinx_table.sphinx_id=myisam_table.id) WHERE query='...';”即可实现高效搜索。# ~$ |# [; z' l# i
(2)、创建索引、查询速度快：
- T+ b) o) j7 }9 l6 }0 q' h①、Sphinx Search 是由俄罗斯人Andrew Aksyonoff 开发的高性能全文搜索软件包，在GPL与商业协议双许可协议下发行。- W0 W1 m5 M; j7 S5 U
Sphinx的特征：
' @9 {' g/ Q7 x7 ^" \1 r5 mSphinx支持高速建立索引（可达10MB/秒，而Lucene建立索引的速度是1.8MB/秒）高性能搜索（在2-4 GB的文本上搜索，平均0.1秒内获得结果）高扩展性（实测最高可对100GB的文本建立索引，单一索引可包含1亿条记录）支持分布式检索支持基于短语和基于统计的复合结果排序机制支持任意数量的文件字段（数值属性或全文检索属性）支持不同的搜索模式（“完全匹配”，“短语匹配”和“任一匹配”）支持作为Mysql的存储引擎②、通过国外《High Performance MySQL》专家组的测试可以看出，根据主键进行查询的类似“SELECT ... FROM ... WHERE id = ...”的SQL语句（其中id为PRIMARY KEY），每秒钟能够处理10000次以上的查询，而普通的SELECT查询每秒只能处理几十次到几百次：: n' S% j5 \4 b( z! [! T
6 _: J% V: S4 t) P3 f! V* Q& R# c! y7 O+ E
③、Sphinx不负责文本字段的存储。假设将数据库的id、date、title、body字段，用sphinx建立搜索索引。根据关键字、时间、类别、范围等信息查询一下sphinx，sphinx只会将查询结果的ID号等非文本信息告诉我们。要显示title、body等信息，还需要根据此ID号去查询MySQL数据库，或者从Memcachedb等其他的存储中取得。安装SphinxSE作为MySQL的存储引擎，将MySQL与Sphinx结合起来，是一种便捷的方法。4 r4 I P+ Y5 R% |- E7 z
创建一张Sphinx类型表，将MyISAM表的主键ID和Sphinx表的ID作一个JOIN联合查询。这样，对于MyISAM表来所，只相当于一个WHERE id=...的主键查询，WHERE后的条件都交给Sphinx去处理，可以充分发挥两者的优势，实现高速搜索查询。
, C' U7 Y/ u5 p' d' w& f: a(3)、按服务类型进行分离：. d* u, y x& L- x0 x
为了保证数据的一致性，我在配置Sphinx读取索引源的MySQL数据库时，进行了锁表。Sphinx读取索引源的过程会耗费一定时间，由于MyISAM存储引擎的读锁和写锁是互斥的，为了避免写操作被长时间阻塞，导致数据库同步落后跟不上，我将提供“搜索查询服务”的和提供“索引源服务”的MySQL数据库进行了分开。监听3306端口的MySQL提供“搜索查询服务”，监听3406端口的MySQL提供“索引源服务”。
5 V) Q9 N) Q0 f* W8 ]; c$ @(4)、“主索引＋增量索引”更新方式：
) u2 w9 w" {8 I! R; S" G: J1 C' M; C一般网站的特征：信息发布较为频繁；刚发布完的信息被编辑、修改的可能性大；两天以前的老帖变动性较小。* N* |, W# V2 t
基于这个特征，我设计了Sphinx主索引和增量索引。对于前天17:00之前的记录建立主索引，每天凌晨自动重建一次主索引；对于前天17:00之后到当前最新的记录，间隔3分钟自动重建一次增量索引。
w- b W( S$ m(5)、“Ext3文件系统＋tmpfs内存文件系统”相结合：
, S) ~9 y0 n z9 ~为了避免每3分钟重建增量索引导致磁盘IO较重，从而引起系统负载上升，我将主索引文件创建在磁盘，增量索引文件创建在tmpfs内存文件系统“/dev/shm/”内。“/dev/shm/”内的文件全部驻留在内存中，读写速度非常快。但是，重启服务器会导致“/dev/shm/”内的文件丢失，针对这个问题，我会在服务器开机时自动创建“/dev/shm/”内目录结构和Sphinx增量索引。
. k5 a% h: d. `* ^# R' a! @ [(6)、中文分词词库：
. b, `, C/ S( p6 c9 \% b7 d ~+ G我根据“百度早期中文分词库”＋“搜狗拼音输入法细胞词库”＋“LibMMSeg高频字库”＋... 综合整理成一份中文分词词库，出于某些考虑暂不提供。你可以使用LibMMSeg自带的中文分词词库。! c& D: [) W0 q. m b! K; z
- _6 i8 ]7 _9 L- k; u$ S- d" {, e5 B1 ?4 d. B2 i/ D
q; n& A$ q+ T( Z
1. 实现MP3搜索功能。( o1 T* F: d5 P& h$ Q. I
2. 实现了图片搜索功能# j/ g4 I" ~' r9 ?0 o
3. 实现网盘搜索引擎，! G" J( f. n3 E: |6 b! c
4. 增加搜猫蜘蛛客户端程序，可以自定义时间收录，自定义刷新收录，增加掉线自动连接蜘蛛功能，自定义截图功能，真正实现了无人坚守自动完成收录和每天实现收录过万的问题，使客户只要不关闭电脑，打开蜘蛛程序链接蜘蛛，设置自定义 之后 可以做其他，客户端程序可以智能做到一切。
b8 E/ n5 M5 W ]* b! W5.增加仿百度贴吧和知道程序，真正实现了仿百度的特征。
& o7 b, O$ v* \+ k$ w" A; {6.完善开放平台，使开放平台基本和百度一模一样。$ P/ a: {: d% W7 W* B* [( \
7.数据库和蜘蛛里增加索引功能，是搜索速度大大提高了10倍
6 @; M; @( d; A' {8.加上了自动链功能，完美结合到搜索结果上。自动链即别人做上你的网站链接，系统自动收录别人的网址，来的IP越多，排名越前，网站宣传的好功能。4 h5 f7 H: q7 W& C3 x
0 \4 b" T& q; [安装说明：/ q' g6 X# G5 g3 T' q
# s+ b0 E- M. ^& i0 p( D/ _本帖隐藏的内容
5 H" a8 u+ D3 L6 \: p; I1.把压缩包解压到网站的根目录。
& ~3 H# b+ D3 d7 p 2.恢复备份 http://域名/dg 用户名 admin 密码 123456 步骤：参数设置（填上你的数据库帐号与密码）---恢复数据--选择目录--caogen81230530com-选中你的数据库--开始恢复。
- ^( K4 c- @5 g* {" K8 ^ 3.修改数据库链接文件
- F2 o* B& @5 p, e% l& W 搜猫 ：include/db_config.php 8 s, G3 T( Q) y: `# X
贴吧：ieba/database/config_mysql.php; x. v6 A$ J3 A! K. O
5 }$ V' D8 R2 `& s
; A3 A+ m: j' C; D8 Y
OK，进前台 http://域名/admin admin 123456789xxx
8 c, M. g9 {+ P# K
% l/ \2 a, V, @
" L: O4 R1 e# {2 r
, i( }3 I6 V2 s# X$ r. C+ i8 ~
0 H) I; k X! G8 a
7 _9 P& ?4 H" l8 J, J" |# ~4 P2 j. T0 y) _* P5 O0 g3 {
* E& G! H! v% i$ I( d
& A( E* V2 m7 Y) F
7 \; T7 S$ s( a. `5 \' S: z
# ?' U- |4 G) [
+ C3 o; i/ T6 s, j6 |7 m
8 X5 K9 k1 ^- ~) j3 M j1 o" t" ~; x& U2 S4 {
3 X) I ~* r) J2 \" f
|
评分
-
查看全部评分
|
[复制链接]
发表于 2012-10-31 18:04:47
