一个纯粹的个人博客小搜索引擎
发布于 2 天前 作者 funeyu 531 次浏览 来自 分享

小蛇搜搜

是一个专搜个人博客的小应用,迄今为止 建千万级别索引,爬取十万级别个人独立博客;一说索引可能有人觉得就是用的es, 其实这里,自己实现索引的时候没有用索引,直接自己动手实现简单的倒排 + skiplist,不光是内存贮存数据,也能支持落盘和从磁盘加载形成倒排等操作;

项目demo地址:http://49.233.52.50/,如果要使用github登录, 需要用本地charles代理下域名:www.xiaoshesoso.comhttp://49.233.52.50; 主要爬取独立博客,并按照博主的热度进行简单排序,也可以时间排序!


简单的页面样子:
  1. 主页: snake1.png
  2. 搜索页面 snake2.png

欢迎大家拍砖,试玩,多多提建议:https://github.com/funeyu/snake-web-server/issues/1


  • 先放出小蛇搜搜的nodejs做的前台server代码: https://github.com/funeyu/snake-web-server; 该nodejs代码基于koa2 二次封装,项目逻辑比较清晰,欢迎大家加星等操作!!!

  • 后续会依次会将所有的ui层(react)代码,索引层代码和爬虫(golang)一并慢慢放出;

3 回复

好冷清呵,自己手动消灭0回复~~🙄

@darrenliuwei 👀,嗯,现在的爬取收录还不完全,先记上,后面一并建立上~~~

回到顶部