现在还有什么可用的社工库吗？ - V2EX
现在还有什么可用的社工库吗？
14:53:25 +08:00 &klausgao
google 和百度找了几个，都用不了了，求
3281 次点击所在节点 &
第 1 页 ／ 共 1 页&
这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到
上打开本讨论主题的完整版本。
是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。
is a community of developers, designers and creative people.有什么好推荐的社工库吗？（现在好多都没用了 求最新的）_百度知道
有什么好推荐的社工库吗？（现在好多都没用了 求最新的）
答题抽奖
首次认真答题后
即可获得3次抽奖机会，100%中奖。
宇宙少女5588
宇宙少女5588
采纳数：49
获赞数：48
擅长：暂未定制
这么高的工资还是社工吗？跟普通雇工有什么区别？
社工是什么jb垃圾东西
Leakedsource.com
还有吗？ 我查不到
为你推荐：
其他类似问题
个人、企业类
违法有害信息,请在下方选择后提交
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。秒后自动跳转至回答所在的问题页使用Whoosh实现的社工库应用 - FreeBuf互联网安全新媒体平台 | 关注黑客与极客
使用Whoosh实现的社工库应用
共406098人围观
，发现 14 个不明物体
整理电脑的时候翻出了之前用Python写的一个社工库，使用Whoosh对社工库文件按行分词建立索引，直接利用索引来查密码，返回json格式结果。
?以前收集了很多泄露的数据库，包含txt、sql、csv、html、xlsx、xls等文件类型，文件内容也是多种多样。想把这些数据处理一下做个社工库，方便以后自用。网上大多都是利用PHP+Mysql来搭建社工库，把数据分类处理一下格式，然后将格式化之后的存入数据库再进行搜索。
本打算搭建一个试试，后来仔细想想放弃了。首先对这些数据进行整理是一个非常耗时的事情，还需要对不同格式的数据做相应的处理；其次数据整理后存储入数据库，数据多了，查询效率可能也不是很高，所以就放弃了。
后来看到关于Whoosh的介绍，一个完全由python实现的全文搜索引擎，基础架构和 Lucene 比较像，使用KinoSearch的索引算法，部分评分算法来自Terrier。虽然性能上跟xapian等的差距还是挺大的，但是纯python实现，集成和扩展起来比较容易。
Whoosh还提供了很多预定义域类型，方便创建索引：?
v&&ID:仅能为一个单元值，即不能分割为若干个词，如文件路径，URL，日期，分类。v&&STORED:该字段随文件保存，但是不能被索引，也不能被查询。v&&KEYWORD:用空格或者逗号分割的关键词，可被索引和搜索。不支持词汇搜索。v&&TEXT:文本内容。建立文本的索引并存储，支持词汇搜索。v&&NUMERIC:数字类型v&&BOOLEAN:布尔类值v&&DATETIME:时间对象类型
?下图是一个例子，用Whoosh创建要给索引schema，然后建立索引，非常简单。?
?然后打算使用Whoosh为核心来搭建一个社工库应用，毕竟是自用，查询效率上稍微慢一点也能接受。简单的规划了几个自己比较在意的功能：?
1、实现断点索引；2、自动识别txt、html、sql、csv等社工库文件的编码；3、自动去除重复的文件；4、创建一个web接口作为查询接口使用；5、创建一个文件夹用来存储社工库，对这个文件夹中的新增文件自动创建索引；
大致思路如下：
1、创建一个MongoDB集合，用来存储文件的路径和MD5值；2、创建一个配置文件，配置存储泄露数据库的文件夹和索引存储文件夹和断点位置；3、创建二个文件夹，一个用来存储收集的泄露数据库文件，另一个专门用来存储索引文件。4、程序每隔几秒遍历一次存储数据库的文件夹，将文件的路径按顺序写到MongoDB中。然后索引程序按顺序从MongoDB中读取文件，计算文件MD5值，比较一下该MD5值在MongoDB中是否存在，存在就跳过这个文件。
5、存储文件的MD5值，检测文件编码，根据文件格式调用不同的索引模块建立索引，分词功能用结巴分词来实现；
6、如果索引过程中出现异常中断或者人为中断索引，记录索引文件在Mongodb中的objectID值和行号；
7、创建利用Bottle来创建一个web接口，对外提供搜索服务，搜索时为了优化查询效率，可将@ . – _等分隔符全部替换为空格来做模糊查询；
* 作者：银河实验室（企业账号），转载请注明来自FreeBuf黑客与极客（FreeBuf.COM）
大兄弟以简洁、朴素的语言，直接、粗暴地表达了自己对**实验室不屑一顾、嗤之以鼻的态度。作为一个看热闹不嫌事大的闲人，在此刻，写下这些文字的0点0分，我是多希望大兄弟你多写了哪怕是只言片语的那么一点细节，来帮助我排遣这午夜的寂寞。
必须您当前尚未登录。
必须（保密）
平安集团信息安全部银河安全实验室
关注我们 分享每日精选文章
可以给我们打个分吗？}