51cto 51cto技术论坛 51cto下载中心 51cto oracle 51cto 视频 51cto.com 51ct..
扫扫二维码，随身浏览文档
手机或平板扫扫即可继续访问
51CTO下载-自己动手编写一个浏览器_分享C#项目开发案例
举报该文档为侵权文档。
举报该文档含有违规或不良信息。
反馈该文档无法正常浏览。
举报该文档为重复文档。
推荐理由：
将文档分享至：
分享完整地址
文档地址：
粘贴到BBS或博客
flash地址：
支持嵌入FLASH地址的网站使用
html代码：
&embed src='/DocinViewer-4.swf' width='100%' height='600' type=application/x-shockwave-flash ALLOWFULLSCREEN='true' ALLOWSCRIPTACCESS='always'&&/embed&
450px*300px480px*400px650px*490px
支持嵌入HTML代码的网站使用
您的内容已经提交成功
您所提交的内容需要审核后才能发布，请您等待！
3秒自动关闭窗口我想用java爬取数据，请问大神有没有开源框架的书籍呀，求推荐_百度知道
我想用java爬取数据，请问大神有没有开源框架的书籍呀，求推荐
java爬虫方面的
提问者采纳
书籍的话推荐《自己动手写网络爬虫》熟悉下HttpClient和HtmlParser，或者正则表达式，就可以自己开发啦
提问者评价
其他类似问题
为您推荐：
开源的相关知识
其他1条回答
..solr....
等待您来回答
下载知道APP
随时随地咨询
出门在外也不愁自己动手写一个Struts2 - superleo - ITeye技术网站
博客分类：
使用Struts2或webwork2有一段时间了，想把Struts2框架的思路简单的与大家分享一下，之前我是看过Struts2源代码的，所以本文算是它的一个功能非常有限的压缩版本。我也不打算重复发明轮子，只想让Struts2或Webwork2的新手更多的了解框架本身，而不仅仅是应用。废话少说，开始吧。
本文采用基本Xml来配置Action，如果有时间会继续写Annotation的实现。Xml文件结构与Struts2的配置文件struts.xml几乎一样，这样大家都比较熟悉，不过我简写了某些地方：
Struts.xml
&?xml version="1.0" encoding="UTF-8" ?&
&!-- 为简化框架,package的属性都没有实现;而且所有的元素都是简化版的 --&
&action name="hello" method="hello"
class="com.leo.action.HelloAction"&
&result name="success"&/index.jsp&/result&
&/package&
是不是很熟悉啊，不过为了简单我都给简化了，否则这是一个没有尽头的工作。核心部分仍然是Filter，Struts2所有工作都是通过一个Filter来完成的(struts1.*是通过一个Action实现的)。我们先来看代码：
public class StrutsFilter implements Filter {
public void doFilter(ServletRequest req, ServletResponse res,
FilterChain chain) throws IOException, ServletException {
// TODO Auto-generated method stub
HttpServletRequest request = (HttpServletRequest)
HttpServletResponse response = (HttpServletResponse)
ServletContext servletContext = filterConfig.getServletContext();
// 解析Request的URL和传过来的参数
String actionName = StringUtil.parseServletPath(request
.getServletPath());
// 如果后缀不为.action,那么直接放过，不进行拦截
if (StringUtil.isEmpty(actionName)) {
chain.doFilter(request, response);
// 解析得到ActionClass,里面包括Action的类全名,返回页面值,Action执行的方法
ActionClass clas = this.getActionClass(actionName);
// 得到页面的所有parameters参数(没考虑上传情况)
Map&String, String[]& params = request.getParameterMap();
// 为要调用的Action的set**方法设值,并返回要调用的Action对象本身
setBeforeActionValue(clas, params);
// 调用的Action执行方法,并返回值设置在request域中
setResultValue(clas, request);
// 返回相应的JSP页面
servletContext.getRequestDispatcher(clas.getResult()).forward(
request, response);
没错一些因果都因doFilter方法而起。我的作法是：
解析URL路径，从而得到相应action在struts.xml配置文件中所配置的方法。如果不为合法的action后缀，直接chain.doFilter(request, response)放行。
将URL上的参数通过request.getParameterMap()取出，在调用action执行方法之前，将具有set**属性的字段赋值。这里利用了反射。
继续利用反射，执行Action的方法。结束前将具有get**属性的字段存于request域中，供页面使用。大家记得在每次执行Action的方法时都会返回一个String字符串，比如SUCCESS，INPUT，ERROR等，我们可以将这个值与struts.xml的&result name="success" ....&/index.jsp&/result&　结点进行匹配，取出返回页面/index.jsp
一切准备就绪后，调用servletContext.getRequestDispatcher().forward()方法到相应的页面上去。
这就是大概的流程。因为是一个入门的框架所以很不完善，拦截器，result type的各种类型都没有去实现，因为我压根没想过要重复发明轮子。好，我们开始一步一步的看。
我们先来看这一句：ActionClass clas = this.getActionClass(actionName);其中ActionClass的结构如下：
public class ActionClass {
private String classN
* 要调用的方法名
* 返回结果页面
* 临时存储Action下的所有result结点
private List&Element& elements = new ArrayList&Element&();
* 要调用的Action本身
//省略所有的set,get方法
ActionClass主要是用来存放解析struts.xml文件一些有用的值，以及反射时所调用的Action本身对象，其实就是一个简单的JavaBean，存储临信息。
getActionClass(actionName)方法就是将URL上的actionName取出与struts.xml中的&action&结点匹配，可以得到Action的类全名，Action所调用的具体哪个方法名，Action的所有result结点(因为方法还没有执行，还不知道是具体哪一个result结点，所以先存起来，后面来解析)分别存在ActionClass对象中相应的属性中去。具体的解析代码我就不打出来了，否则文章太长。
再来看看setBeforeActionValue(clas, params)这一句。其实就是将得到的ActionClass对象与提交的参数全部传进去，给Action的那些set属性赋值：
* 调用Action,并执行Action的无参方法
* @param actionClass
* @param request.getParameterMap()
public Object setActionValues(ActionClass actionClass,
Map&String, String[]& params) {
// 得到Action的Class,并根据无参构造函数生成一个Action对象
Class clas = Class.forName(actionClass.getClassName());
Object obj = clas.newInstance();
if (params != null && params.size() & 0) {
Iterator&String& it = params.keySet().iterator();
while (it.hasNext()) {
String key = it.next();
String[] value = params.get(key);
String upperFirstLetter = key.substring(0, 1).toUpperCase();
// 获得和属性对应的setXXX()方法的名字
String setMethodName = "set" + upperFirstLetter
+ key.substring(1);
Method method =
// 看看该页面提交的参数名中,是否在Action有set方法
method = clas.getMethod(setMethodName,
new Class[] { String.class });
} catch (NoSuchMethodException e) {
System.out.println("警告 " + actionClass.getClassName()
+ "." + setMethodName + "("
+ String.class.getName() + ") 不存在");
if (method != null) {
// 如果有set方法,就调用set方法,进行赋值操作
String result = StringUtil.StringArrayToString(value);
method.invoke(obj, new String[] { result });
这样就顺利的将页面的值赋给了Action的相应属性，接下来就是Action调用工作了。通过setActionValues方法，我们已经可以得到Action对象本身了，可以存在ActionClass对象clas中去，我们直接调用setResultValue(clas, request)在Action执行后，同时也把有get方法的属性一并存于request域中：
* 调用Action,并执行Action的无参方法
* @param actionClass
* @param obj
要处理的对象
public Object invokeAction(ActionClass actionClass) {
Object obj = actionClass.getAction();
Class clas = obj.getClass();
Method method = clas.getMethod(actionClass.getMethod(), null);
String result = (String) method.invoke(obj, null);
this.setInvokeResult(result, actionClass);
actionClass.setAction(obj);
很简单的代码——调用Action那个无参执行方法，得到返回String类型的返回结果，然后我们可以再次利用ActionClass将最终的返回结果也给解析出来，看this.setInvokeResult(result, actionClass)方法
* 匹配&result name="success"&/index.jsp&/result& Xml中的result
* name属性，如果匹配成功,设置返回结果"/index.jsp"
* @param result
* @param actionClass
private void setInvokeResult(String result, ActionClass actionClass) {
List&Element& elements = actionClass.getElements();
for (Element elem : elements) {
Attribute name = XmlUtil.getAttributeByName(elem, "name");
if (StringUtil.equals(result, name.getText())) {
actionClass.setResult(elem.getText());
throw new RuntimeException("请确定在xml配置文件中是否有名叫 [" + result
+ "]　的返回类型结点 ");
一切大功告成，将刚刚得到的返回结果用servletContext.getRequestDispatcher(clas.getResult()).forward(request, response)转发出去，编码部分完毕。
别忘记了在web.xml中配置这个Filter：
&filter-name&struts&/filter-name&
&filter-class&com.framework.core.StrutsFilter&/filter-class&
&filter-mapping&
&filter-name&struts&/filter-name&
&url-pattern&/*&/url-pattern&
&/filter-mapping&
最后写个测试Action吧，就按照本文最开始的那个struts.xml配置编写HelloAction.java
public class HelloAction {
public String hello() {
message = "superleo " + this.
return "success";
public String getMessage() {
public void setMessage(String message) {
this.message =
如果下载了源代码，可分别输入下列几个链接看看测试效果：(test文件夹下是单元测试)
?message=superleo
(413.6 KB)
描述: 本文的源代码。
下载次数: 1124
62 顶13 踩
浏览 12374
& 上一页 1
浏览: 500675 次
来自: 北京
java hibernate demo使用实例教程源代码下载: ...
hantsy 写道这种lazy的解释只对了一半，按java p ...
看了下时间，不是楼主是否还在开发
&最后但并不是最不重要的一点就是& BZ, ...
十分感谢，正在学习中，受益匪浅商品编号：
京 东 价：
[定价：￥]
支　　持：
合约套餐：
请选择套餐内容
　您选择的地区暂不支持合约机销售！
在线客服：
服务支持：
自己动手写网络爬虫（附光盘）
加载中，请稍候...
商品介绍加载中...
扫一扫，精彩好书免费看
京东商城向您保证所售商品均为正品行货，京东自营商品开具机打发票或电子发票。
凭质保证书及京东商城发票，可享受全国联保服务（奢侈品、钟表除外；奢侈品、钟表由京东联系保修，享受法定三包售后服务），与您亲临商场选购的商品享受相同的质量保证。京东商城还为您提供具有竞争力的商品价格和，请您放心购买！
注：因厂家会在没有任何提前通知的情况下更改产品包装、产地或者一些附件，本司不能确保客户收到的货物与商城图片、产地、附件说明完全一致。只能确保为原厂正货！并且保证与当时市场上同样主流新品一致。若本商城没有及时更新，请大家谅解！
权利声明：京东上的所有商品信息、客户评价、商品咨询、网友讨论等内容，是京东重要的经营资源，未经许可，禁止非法转载使用。
注：本站商品信息均来自于合作方，其真实性、准确性和合法性由信息拥有者（合作方）负责。本站不提供任何保证，并不承担任何法律责任。
印刷版次不同，印刷时间和版次以实物为准。
加载中，请稍候...
萧遛(陕西)
苗赛miaosai(江苏)
TheH17ksv(湖北)
jdDec_十二(广东)
啊阿帕奇(江苏)
yxvickie999()
sunwk(北京)
jd_131251wzr(湖北)
加载中，请稍候...
加载中，请稍候...
加载中，请稍候...
加载中，请稍候...
加载中，请稍候...
加载中，请稍候...
浏览了该商品的用户还浏览了
加载中，请稍候...
七日畅销榜
新书热卖榜
iframe(src='///ns.html?id=GTM-T947SH', height='0', width='0', style='display: visibility:')}