javafx记住用户名和密码密码怎么实现

Kotlin+JavaFx实战之密码管理器
这次实现的是一个简易的密码管理器,使用SQLite来保存相应的信息,使用表格控件来对信息进行展示。在今天的文章中实现了密码的插入和查询。(想要项目的同学,请移至文章末尾)
这次使用的第三方库有,Fx的Material风格控件库 JFoenix,以及SqLite的JDBC驱动。
主要有一个表格控件,以及若干按钮、输入框控件等。最终呈现的效果如下图所示。
在PwdContract中定义了pwd的一些约束(表的名称、字段名称)
PwdContract
对pwd表进行增删改查的具体实现,目前只实现了插入和查询的功能。
PwdDbHelper
一个工具类,用来获取的连接。还对ResultSet进行了扩展,增加了forEach的功能。
主要是对表格中数据的展示进行的操作。
MainController 上传我的文档
 下载
 收藏
粉丝量:10
该文档贡献者很忙,什么也没留下。
 下载此文档
正在努力加载中...
Java Swing 中嵌入 JavaFX 入门 --- Netbeans
下载积分:400
内容提示:Java Swing 中嵌入 JavaFX 入门 --- Netbeans
文档格式:PDF|
浏览次数:298|
上传日期: 00:57:28|
文档星级:
全文阅读已结束,如果下载本文需要使用
 400 积分
下载此文档
该用户还上传了这些文档
Java Swing 中嵌入 JavaFX 入门 --- Netbeans
关注微信公众号要学习如何使用Shiro必须先从它的架构谈起,作为一款安全框架Shiro的设计相当精妙。Shiro的应用不依赖任何容器,它也可以在JavaSE下使用。但是最常用的环境还是JavaEE。下面以用户登录为例:
(1)使用用户的登录信息创建令牌
UsernamePasswordToken token =newUsernamePasswordToken(username, password);
token可以理解为用户令牌,登录的过程被抽象为Shiro验证令牌是否具有合法身份以及相关权限。
(2)执行登陆动作
SecurityUtils.setSecurityManager(securityManager);&//&注入SecurityManager
Subject subject=SecurityUtils.getSubject();&//&获取Subject单例对象
subject.login(token);&//&登陆
Shiro的核心部分是SecurityManager,它负责安全认证与授权。Shiro本身已经实现了所有的细节,用户可以完全把它当做一个黑盒来使用。SecurityUtils对象,本质上就是一个工厂类似中的ApplicationContext。Subject是初学者比较难于理解的对象,很多人以为它可以等同于User,其实不然。Subject中文翻译:项目,而正确的理解也恰恰如此。它是你目前所设计的需要通过Shiro保护的项目的一个抽象概念。通过令牌(token)与项目(subject)的登陆(login)关系,Shiro保证了项目整体的安全。
(3)判断用户
Shiro本身无法知道所持有令牌的用户是否合法,因为除了项目的设计人员恐怕谁都无法得知。因此Realm是整个框架中为数不多的必须由设计者自行实现的模块,当然Shiro提供了多种实现的途径,本文只介绍最常见也最重要的一种实现方式——查询。
(4)两条重要的英文
我在学习Shiro的过程中遇到的第一个障碍就是这两个对象的英文名称:AuthorizationInfo,AuthenticationInfo。不用怀疑自己的眼睛,它们确实长的很像,不但长的像,就连意思都十分近似。
在解释它们前首先必须要描述一下Shiro对于安全用户的界定:和大多数一样。用户具有角色和权限两种最基本的属性。例如,我的Windows登陆名称是learnhow,它的角色是administrator,而administrator具有所有系统权限。这样learnhow自然就拥有了所有系统权限。那么其他人需要登录我的电脑怎么办,我可以开放一个guest角色,任何无法提供正确用户名与密码的未知用户都可以通过guest来登录,而系统对于guest角色开放的权限极其有限。
同理,Shiro对用户的约束也采用了这样的方式。AuthenticationInfo代表了用户的角色信息集合,AuthorizationInfo代表了角色的权限信息集合。如此一来,当设计人员对项目中的某一个url路径设置了只允许某个角色或具有某种权限才可以访问的控制约束的时候,Shiro就可以通过以上两个对象来判断。说到这里,大家可能还比较困惑。先不要着急,继续往后看就自然会明白了。
二、实现Realm
如何实现Realm是本文的重头戏,也是比较费事的部分。这里大家会接触到几个新鲜的概念:缓存机制、散列、加密算法。由于本文不会专门介绍这些概念,所以这里仅仅抛砖引玉的谈几点,能帮助大家更好的理解Shiro即可。
(1)缓存机制
Ehcache是很多项目中使用的缓存框架,就是其中之一。它的本质就是将原本只能存储在内存中的数据通过算法保存到硬盘上,再根据需求依次取出。你可以把Ehcache理解为一个Map对象,通过put保存对象,再通过get取回对象。
以上是ehcache.xml文件的基础配置,timeToLiveSeconds为缓存的最大生存时间,timeToIdleSeconds为缓存的最大空闲时间,当eternal为false时ttl和tti才可以生效。更多配置的含义大家可以去网上查询。
(2)散列算法与加密算法
md5是本文会使用的散列算法,加密算法本文不会涉及。散列和加密本质上都是将一个Object变成一串无意义的字符串,不同点是经过散列的对象无法复原,是一个单向的过程。例如,对密码的加密通常就是使用散列算法,因此用户如果忘记密码只能通过修改而无法获取原始密码。但是对于信息的加密则是正规的加密算法,经过加密的信息是可以通过秘钥解密和还原。
(3)用户注册
请注意,虽然我们一直在谈论用户登录的安全性问题,但是说到用户登录首先就是用户注册。如何保证用户注册的信息不丢失,不泄密也是项目设计的重点。
publicclassPasswordHelper {privateRandomNumberGenerator randomNumberGenerator =newSecureRandomNumberGenerator();privateString algorithmName =&&md5&;privatefinalinthashIterations&= 2;publicvoidencryptPassword(User user)&{//User对象包含最基本的字段Username和Passworduser.setSalt(randomNumberGenerator.nextBytes().toHex());//将用户的注册密码经过散列算法替换成一个不可逆的新密码保存进数据,散列过程使用了盐String newPassword =newSimpleHash(algorithmName, user.getPassword(),
ByteSource.Util.bytes(user.getCredentialsSalt()), hashIterations).toHex();
user.setPassword(newPassword);
如果你不清楚什么叫加盐可以忽略散列的过程,只要明白存储在数据库中的密码是根据户注册时填写的密码所产生的一个新字符串就可以了。经过散列后的密码替换用户注册时的密码,然后将User保存进数据库。剩下的工作就丢给UserService来处理。
那么这样就带来了一个新问题,既然散列算法是无法复原的,当用户登录的时候使用当初注册时的密码,我们又应该如何判断?答案就是需要对用户密码再次以相同的算法散列运算一次,再同数据库中保存的字符串比较。
CredentialsMatcher是一个接口,功能就是用来匹配用户登录使用的令牌和数据库中保存的用户信息是否匹配。当然它的功能不仅如此。本文要介绍的是这个接口的一个实现类:HashedCredentialsMatcher
publicclassRetryLimitHashedCredentialsMatcherextendsHashedCredentialsMatcher {//声明一个缓存接口,这个接口是Shiro缓存管理的一部分,它的具体实现可以通过外部容器注入privateCachepasswordRetryCpublicRetryLimitHashedCredentialsMatcher(CacheManager cacheManager)&{
passwordRetryCache= cacheManager.getCache(&passwordRetryCache&);
@OverridepublicbooleandoCredentialsMatch(AuthenticationToken token, AuthenticationInfo info)&{
String username=(String) token.getPrincipal();
AtomicInteger retryCount=passwordRetryCache.get(username);if(retryCount ==null)&{
retryCount=newAtomicInteger(0);
passwordRetryCache.put(username, retryCount);
}//自定义一个验证过程:当用户连续输入密码错误5次以上禁止用户登录一段时间if(retryCount.incrementAndGet()&& 5)&{thrownewExcessiveAttemptsException();
}booleanmatch =super.doCredentialsMatch(token, info);if(match)&{
passwordRetryCache.remove(username);
可以看到,这个实现里设计人员仅仅是增加了一个不允许连续错误登录的判断。真正匹配的过程还是交给它的直接父类去完成。连续登录错误的判断依靠Ehcache缓存来实现。显然match返回true为匹配成功。
(5)获取用户的角色和权限信息
说了这么多才到我们的重点Realm,如果你已经理解了Shiro对于用户匹配和注册加密的全过程,真正理解Realm的实现反而比较简单。我们还得回到上文提及的两个非常类似的对象AuthorizationInfo和AuthenticationInfo。因为Realm就是提供这两个对象的地方。
publicclassUserRealmextendsAuthorizingRealm {//用户对应的角色信息与权限信息都保存在数据库中,通过UserService获取数据privateUserService userService =newUserServiceImpl();/***&提供用户信息返回权限信息*/@OverrideprotectedAuthorizationInfo doGetAuthorizationInfo(PrincipalCollection principals)&{
String username=(String) principals.getPrimaryPrincipal();
SimpleAuthorizationInfo authorizationInfo=newSimpleAuthorizationInfo();//根据用户名查询当前用户拥有的角色Set roles =userService.findRoles(username);
Set roleNames =newHashSet();for(Role role : roles)&{
roleNames.add(role.getRole());
}//将角色名称提供给infoauthorizationInfo.setRoles(roleNames);//根据用户名查询当前用户权限Set permissions =userService.findPermissions(username);
Set permissionNames =newHashSet();for(Permission permission : permissions)&{
permissionNames.add(permission.getPermission());
}//将权限名称提供给infoauthorizationInfo.setStringPermissions(permissionNames);returnauthorizationI
}/***&提供账户信息返回认证信息*/@OverrideprotectedAuthenticationInfo doGetAuthenticationInfo(AuthenticationToken token)throwsAuthenticationException {
String username=(String) token.getPrincipal();
User user=userService.findByUsername(username);if(user ==null)&{//用户名不存在抛出异常thrownewUnknownAccountException();
}if(user.getLocked()&== 0)&{//用户被管理员锁定抛出异常thrownewLockedAccountException();
SimpleAuthenticationInfo authenticationInfo=newSimpleAuthenticationInfo(user.getUsername(),
user.getPassword(), ByteSource.Util.bytes(user.getCredentialsSalt()), getName());returnauthenticationI
根据Shiro的设计思路,用户与角色之前的关系为多对多,角色与权限之间的关系也是多对多。在数据库中需要因此建立5张表,分别是用户表(存储用户名,密码,盐等)、角色表(角色名称,相关描述等)、权限表(权限名称,相关描述等)、用户-角色对应中间表(以用户ID和角色ID作为联合主键)、角色-权限对应中间表(以角色ID和权限ID作为联合主键)。具体dao与service的实现本文不提供。总之结论就是,Shiro需要根据用户名和密码首先判断登录的用户是否合法,然后再对合法用户授权。而这个过程就是Realm的实现过程。
用户的一次登录即为一次会话,Shiro也可以代替Tomcat等容器管理会话。目的是当用户停留在某个页面长时间无动作的时候,再次对任何链接的访问都会被重定向到登录页面要求重新输入用户名和密码而不需要程序员在Servlet中不停的判断Session中是否包含User对象。启用Shiro会话管理的另一个用途是可以针对不同的模块采取不同的会话处理。以淘宝为例,用户注册淘宝以后可以选择记住用户名和密码。之后再次访问就无需登陆。但是如果你要访问支付宝或购物车等链接依然需要用户确认身份。当然,Shiro也可以创建使用容器提供的Session最为实现。
三、与SpringMVC集成
有了注册模块和Realm模块的支持,下面就是如何与SpringMVC集成开发。有过框架集成经验的同学一定知道,所谓的集成基本都是一堆xml文件的配置,Shiro也不例外。
(1)配置前端过滤器
先说一个题外话,Filter是过滤器,interceptor是拦截器。前者基于回调函数实现,必须依靠容器支持。因为需要容器装配好整条FilterChain并逐个调用。后者基于代理实现,属于AOP的范畴。
如果希望在WEB环境中使用Shiro必须首先在web.xml文件中配置
Shiro_Project
SpringMVCorg.springframework.web.servlet.DispatcherServletcontextConfigLocationclasspath:springmvc.xml1true
SpringMVC/
org.springframework.web.context.ContextLoaderListener
org.springframework.web.util.Log4jConfigListener
contextConfigLocationclasspath:spring.xml,classpath:spring-shiro-web.xml
log4jConfigLoactionclasspath:log4j.properties
shiroFilterorg.springframework.web.filter.DelegatingFilterProxytruetargetFilterLifecycletrue
shiroFilter/*
熟悉Spring配置的同学可以重点看有绿字注释的部分,这里是使Shiro生效的关键。由于项目通过Spring管理,因此所有的配置原则上都是交给Spring。DelegatingFilterProxy的功能是通知Spring将所有的Filter交给ShiroFilter管理。
接着在classpath路径下配置spring-shiro-web.xml文件
http://www.springframework.org/schema/beans/spring-beans-3.1.xsd
http://www.springframework.org/schema/context
http://www.springframework.org/schema/context/spring-context-3.1.xsd
http://www.springframework.org/schema/mvc
http://www.springframework.org/schema/mvc/spring-mvc-4.0.xsd&&/authc/admin = roles[admin]
/authc/**&= authc
/**&= anon
需要注意filterChainDefinitions过滤器中对于路径的配置是有顺序的,当找到匹配的条目之后容器不会再继续寻找。因此带有通配符的路径要放在后面。三条配置的含义是:&/authc/admin需要用户有用admin权限、/authc/**用户必须登录才能访问、/**其他所有路径任何人都可以访问。
说了这么多,大家一定关心在Spring中引入Shiro之后到底如何编写登录代码呢。
@ControllerpublicclassLoginController {
@AutowiredprivateUserService userS
@RequestMapping(&login&)publicModelAndView login(@RequestParam(&username&) String username,&@RequestParam(&password&) String password)&{
UsernamePasswordToken token=newUsernamePasswordToken(username, password);
Subject subject=SecurityUtils.getSubject();try{
subject.login(token);
}catch(IncorrectCredentialsException ice)&{//捕获密码错误异常ModelAndView mv =newModelAndView(&error&);
mv.addObject(&message&,&&password error!&);
}catch(UnknownAccountException uae)&{//捕获未知用户名异常ModelAndView mv =newModelAndView(&error&);
mv.addObject(&message&,&&username error!&);
}catch(ExcessiveAttemptsException eae)&{//捕获错误登录过多的异常ModelAndView mv =newModelAndView(&error&);
mv.addObject(&message&,&&times error&);
User user=userService.findByUsername(username);
subject.getSession().setAttribute(&user&, user);returnnewModelAndView(&success&);
登录完成以后,当前用户信息被保存进Session。这个Session是通过Shiro管理的会话对象,要获取依然必须通过Shiro。传统的Session中不存在User对象。
@Controller
@RequestMapping(&authc&)publicclassAuthcController {///authc/**&= authc 任何通过表单登录的用户都可以访问@RequestMapping(&anyuser&)publicModelAndView anyuser()&{
Subject subject=SecurityUtils.getSubject();
User user=&(User) subject.getSession().getAttribute(&user&);
System.out.println(user);returnnewModelAndView(&inner&);
}///authc/admin = user[admin]&只有具备admin角色的用户才可以访问,否则请求将被重定向至登录界面@RequestMapping(&admin&)publicModelAndView admin()&{
Subject subject=SecurityUtils.getSubject();
User user=&(User) subject.getSession().getAttribute(&user&);
System.out.println(user);returnnewModelAndView(&inner&);
Shiro是一个功能很齐全的框架,使用起来也很容易,但是要想用好却有相当难度。完整项目的源码来源
欢迎大家一起学习研究相关技术,源码获取请加求求(企鹅):
,需要交流的同学可以给我留言。如果大家感觉我写的还可以,也希望能给我一些反馈意见。
一、基本概念
Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能,但具有自己独特的设计。
这个独特的设计是什么样的呢?
首先让我们看几个基本的消息系统术语:
Kafka将消息以topic为单位进行归纳。
将向Kafka topic发布消息的程序成为producers.
将预订topics并消费消息的程序成为consumer.
Kafka以集群的方式运行,可以由一个或多个服务组成,每个服务叫做一个broker.
producers通过网络将消息发送到Kafka集群,集群向消费者提供消息,如下图所示:
客户端和服务端通过TCP协议通信。Kafka提供了Java客户端,并且对多种语言都提供了支持。
Topics 和Logs
先来看一下Kafka提供的一个抽象概念:topic.
一个topic是对一组消息的归纳。对每个topic,Kafka&对它的日志进行了分区,如下图所示:
每个分区都由一系列有序的、不可变的消息组成,这些消息被连续的追加到分区中。分区中的每个消息都有一个连续的序列号叫做offset,用来在分区中唯一的标识这个消息。
在一个可配置的时间段内,Kafka集群保留所有发布的消息,不管这些消息有没有被消费。比如,如果消息的保存策略被设置为2天,那么在一个消息被发布的两天时间内,它都是可以被消费的。之后它将被丢弃以释放空间。Kafka的性能是和数据量无关的常量级的,所以保留太多的数据并不是问题。
实际上每个consumer唯一需要维护的数据是消息在日志中的位置,也就是offset.这个offset有consumer来维护:一般情况下随着consumer不断的读取消息,这offset的值不断增加,但其实consumer可以以任意的顺序读取消息,比如它可以将offset设置成为一个旧的值来重读之前的消息。
以上特点的结合,使Kafka consumers非常的轻量级:它们可以在不对集群和其他consumer造成影响的情况下读取消息。你可以使用命令行来&tail&消息而不会对其他正在消费消息的consumer造成影响。
将日志分区可以达到以下目的:首先这使得每个日志的数量不会太大,可以在单个服务上保存。另外每个分区可以单独发布和消费,为并发操作topic提供了一种可能。
每个分区在Kafka集群的若干服务中都有副本,这样这些持有副本的服务可以共同处理数据和请求,副本数量是可以配置的。副本使Kafka具备了容错能力。
每个分区都由一个服务器作为“leader”,零或若干服务器作为“followers”,leader负责处理消息的读和写,followers则去复制leader.如果leader down了,followers中的一台则会自动成为leader。集群中的每个服务都会同时扮演两个角色:作为它所持有的一部分分区的leader,同时作为其他分区的followers,这样集群就会据有较好的负载均衡。
Producer将消息发布到它指定的topic中,并负责决定发布到哪个分区。通常简单的由负载均衡机制随机选择分区,但也可以通过特定的分区函数选择分区。使用的更多的是第二种。
发布消息通常有两种模式:队列模式(queuing)和发布-订阅模式(publish-subscribe)。队列模式中,consumers可以同时从服务端读取消息,每个消息只被其中一个consumer读到;发布-订阅模式中消息被广播到所有的consumer中。Consumers可以加入一个consumer 组,共同竞争一个topic,topic中的消息将被分发到组中的一个成员中。同一组中的consumer可以在不同的程序中,也可以在不同的机器上。如果所有的consumer都在一个组中,这就成为了传统的队列模式,在各consumer中实现负载均衡。如果所有的consumer都不在不同的组中,这就成为了发布-订阅模式,所有的消息都被分发到所有的consumer中。更常见的是,每个topic都有若干数量的consumer组,每个组都是一个逻辑上的“订阅者”,为了容错和更好的稳定性,每个组由若干consumer组成。这其实就是一个发布-订阅模式,只不过订阅者是个组而不是单个consumer。
由两个机器组成的集群拥有4个分区&(P0-P3) 2个consumer组. A组有两个consumerB组有4个
相比传统的消息系统,Kafka可以很好的保证有序性。
传统的队列在服务器上保存有序的消息,如果多个consumers同时从这个服务器消费消息,服务器就会以消息存储的顺序向consumer分发消息。虽然服务器按顺序发布消息,但是消息是被异步的分发到各consumer上,所以当消息到达时可能已经失去了原来的顺序,这意味着并发消费将导致顺序错乱。为了避免故障,这样的消息系统通常使用“专用consumer”的概念,其实就是只允许一个消费者消费消息,当然这就意味着失去了并发性。
在这方面Kafka做的更好,通过分区的概念,Kafka可以在多个consumer组并发的情况下提供较好的有序性和负载均衡。将每个分区分只分发给一个consumer组,这样一个分区就只被这个组的一个consumer消费,就可以顺序的消费这个分区的消息。因为有多个分区,依然可以在多个consumer组之间进行负载均衡。注意consumer组的数量不能多于分区的数量,也就是有多少分区就允许多少并发消费。
Kafka只能保证一个分区之内消息的有序性,在不同的分区之间是不可以的,这已经可以满足大部分应用的需求。如果需要topic中所有消息的有序性,那就只能让这个topic只有一个分区,当然也就只有一个consumer组消费它。
二、环境搭建
Step 1:&下载Kafka
点击下载最新的版本并解压.
& tar -xzf kafka_2.9.2-0.8.1.1.tgz
& cd kafka_2.9.2-0.8.1.1
Step 2:&启动服务
Kafka用到了Zookeeper,所有首先启动Zookper,下面简单的启用一个单实例的Zookkeeper服务。可以在命令的结尾加个&符号,这样就可以启动后离开控制台。
& bin/zookeeper-server-start.sh config/zookeeper.properties &
[ 15:01:37,495] INFO Reading configuration from: config/zookeeper.properties (org.apache.zookeeper.server.quorum.QuorumPeerConfig)
现在启动Kafka:
& bin/kafka-server-start.sh config/server.properties
[ 15:01:47,028] INFO Verifying properties (kafka.utils.VerifiableProperties)
[ 15:01:47,051] INFO Property socket.send.buffer.bytes is overridden to 1048576 (kafka.utils.VerifiableProperties)
Step 3:&创建 topic
创建一个叫做“test”的topic,它只有一个分区,一个副本。
& bin/kafka-topics.sh --create&--zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
可以通过list命令查看创建的topic:
& bin/kafka-topics.sh --list&--zookeeper localhost:2181
除了手动创建topic,还可以配置broker让它自动创建topic.
Step 4:发送消息.
Kafka 使用一个简单的命令行producer,从文件中或者从标准输入中读取消息并发送到服务端。默认的每条命令将发送一条消息。
运行producer并在控制台中输一些消息,这些消息将被发送到服务端:
& bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
This is a messageThis is another message
ctrl+c可以退出发送。
Step 5:&启动consumer
Kafka also has a command line consumer that will dump out messages to standard output.
Kafka也有一个命令行consumer可以读取消息并输出到标准输出:
& bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
This is a message
This is another message
你在一个终端中运行consumer命令行,另一个终端中运行producer命令行,就可以在一个终端输入消息,另一个终端读取消息。
这两个命令都有自己的可选参数,可以在运行的时候不加任何参数可以看到帮助信息。
Step 6:&搭建一个多个broker的集群
刚才只是启动了单个broker,现在启动有3个broker组成的集群,这些broker节点也都是在本机上的:
首先为每个节点编写配置文件:
& cp config/server.properties config/server-1.properties
& cp config/server.properties config/server-2.properties
在拷贝出的新文件中添加以下参数:
config/server-1.properties:
broker.id=1
log.dir=/tmp/kafka-logs-1
config/server-2.properties:
broker.id=2
log.dir=/tmp/kafka-logs-2
broker.id在集群中唯一的标注一个节点,因为在同一个机器上,所以必须制定不同的端口和日志文件,避免数据被覆盖。
We already have Zookeeper and our single node started, so we just need to start the two new nodes:
刚才已经启动可Zookeeper和一个节点,现在启动另外两个节点:
& bin/kafka-server-start.sh config/server-1.properties &
& bin/kafka-server-start.sh config/server-2.properties &
创建一个拥有3个副本的topic:
& bin/kafka-topics.sh --create&--zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic
现在我们搭建了一个集群,怎么知道每个节点的信息呢?运行“&describe topics”命令就可以了:
& bin/kafka-topics.sh --describe&--zookeeper localhost:2181 --topic my-replicated-topic
Topic:my-replicated-topic &&&&& PartitionCount:1 &&&&&& ReplicationFactor:3 &&& Configs:
Topic: my-replicated-topic &&&& Partition: 0 && Leader: 1 &&&&& Replicas: 1,2,0 Isr: 1,2,0
下面解释一下这些输出。第一行是对所有分区的一个描述,然后每个分区都会对应一行,因为我们只有一个分区所以下面就只加了一行。
leader:负责处理消息的读和写,leader是从所有节点中随机选择的.
replicas:列出了所有的副本节点,不管节点是否在服务中.
isr:是正在服务中的节点.
在我们的例子中,节点1是作为leader运行。
向topic发送消息:
& bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-replicated-topic
my test message 1my test message 2^C
消费这些消息:
& bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning&--topic my-replicated-topic
my test message 1
my test message 2
测试一下容错能力.Broker 1作为leader运行,现在我们kill掉它:
& ps | grep server-1.properties7564 ttys002 && 0:15.91 /System/Library/Frameworks/JavaVM.framework/Versions/1.6/Home/bin/java...
& kill -9 7564
另外一个节点被选做了leader,node 1 不再出现在 in-sync 副本列表中:
& bin/kafka-topics.sh --describe&--zookeeper localhost:218192 --topic my-replicated-topic
Topic:my-replicated-topic &&&&& PartitionCount:1 &&&&&& ReplicationFactor:3 &&& Configs:
Topic: my-replicated-topic &&&& Partition: 0 && Leader: 2 &&&&& Replicas: 1,2,0 Isr: 2,0
虽然最初负责续写消息的leader down掉了,但之前的消息还是可以消费的:
& bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning&--topic my-replicated-topic
my test message 1
my test message 2
看来Kafka的容错机制还是不错的。
三、搭建Kafka开发环境
我们搭建了kafka的服务器,并可以使用Kafka的命令行工具创建topic,发送和接收消息。下面我们来搭建kafka的开发环境。
搭建开发环境需要引入kafka的jar包,一种方式是将Kafka安装包中lib下的jar包加入到项目的classpath中,这种比较简单了。不过我们使用另一种更加流行的方式:使用maven管理jar包依赖。
创建好maven项目后,在pom.xml中添加以下依赖:
org.apache.kafka
kafka_2.10
添加依赖后你会发现有两个jar包的依赖找不到。没关系我都帮你想好了,点击这里下载这两个jar包,解压后你有两种选择,第一种是使用mvn的install命令将jar包安装到本地仓库,另一种是直接将解压后的文件夹拷贝到mvn本地仓库的com文件夹下,比如我的本地仓库是d:\mvn,完成后我的目录结构是这样的:
首先是一个充当配置文件作用的接口,配置了Kafka的各种连接参数:
package com.sohu.
public interface KafkaProperties
final static String zkConnect =&&10.22.10.139:2181&;
final static String groupId =&&group1&;
final static String topic =&&topic1&;
final static String kafkaServerURL =&&10.22.10.139&;
final static int kafkaServerPort = 9092;
final static int kafkaProducerBufferSize = 64 * 1024;
final static int connectionTimeOut = 20000;
final static int reconnectInterval = 10000;
final static String topic2 =&&topic2&;
final static String topic3 =&&topic3&;
final static String clientId =&&SimpleConsumerDemoClient&;
package com.sohu.
import java.util.P
import kafka.producer.KeyedM
import kafka.producer.ProducerC
*&@author leicui bourne_
public class KafkaProducer extends Thread
private final kafka.javaapi.producer.P
private final S
private final Properties props = new Properties();
public KafkaProducer(String topic)
props.put(&serializer.class&,&&kafka.serializer.StringEncoder&);
props.put(&metadata.broker.list&,&&10.22.10.139:9092&);
producer = new kafka.javaapi.producer.Producer(new ProducerConfig(props));
this.topic =
public void run()&{
int messageNo = 1;
while (true)
String messageStr = new String(&Message_&&+ messageNo);
System.out.println(&Send:&&+ messageStr);
producer.send(new KeyedMessage(topic, messageStr));
messageNo++;
sleep(3000);
} catch (InterruptedException e)&{
// TODO Auto-generated catch block
e.printStackTrace();
package com.sohu.
import java.util.HashM
import java.util.L
import java.util.M
import java.util.P
import kafka.consumer.ConsumerC
import kafka.consumer.ConsumerI
import kafka.consumer.KafkaS
import kafka.javaapi.consumer.ConsumerC
*&@author leicui bourne_
public class KafkaConsumer extends Thread
private final ConsumerC
private final S
public KafkaConsumer(String topic)
consumer = kafka.consumer.Consumer.createJavaConsumerConnector(
createConsumerConfig());
this.topic =
private static ConsumerConfig createConsumerConfig()
Properties props = new Properties();
props.put(&zookeeper.connect&, KafkaProperties.zkConnect);
props.put(&group.id&, KafkaProperties.groupId);
props.put(&zookeeper.session.timeout.ms&,&&40000&);
props.put(&zookeeper.sync.time.ms&,&&200&);
props.put(&auto.commit.interval.ms&,&&1000&);
return new ConsumerConfig(props);
public void run()&{
Map topicCountMap = new HashMap();
topicCountMap.put(topic, new Integer(1));
Map&& consumerMap = consumer.createMessageStreams(topicCountMap);
KafkaStream stream = consumerMap.get(topic).get(0);
ConsumerIterator it = stream.iterator();
while (it.hasNext())&{
System.out.println(&receive:&&+ new String(it.next().message()));
sleep(3000);
} catch (InterruptedException e)&{
e.printStackTrace();
简单的发送接收
运行下面这个程序,就可以进行简单的发送接收消息了:
package com.sohu.
*&@author leicui bourne_
public class KafkaConsumerProducerDemo
public static void main(String[] args)
KafkaProducer producerThread = new KafkaProducer(KafkaProperties.topic);
producerThread.start();
KafkaConsumer consumerThread = new KafkaConsumer(KafkaProperties.topic);
consumerThread.start();
高级别的consumer
下面是比较负载的发送接收的程序:
package com.sohu.
import java.util.HashM
import java.util.L
import java.util.M
import java.util.P
import kafka.consumer.ConsumerC
import kafka.consumer.ConsumerI
import kafka.consumer.KafkaS
import kafka.javaapi.consumer.ConsumerC
*&@author leicui bourne_
public class KafkaConsumer extends Thread
private final ConsumerC
private final S
public KafkaConsumer(String topic)
consumer = kafka.consumer.Consumer.createJavaConsumerConnector(
createConsumerConfig());
this.topic =
private static ConsumerConfig createConsumerConfig()
Properties props = new Properties();
props.put(&zookeeper.connect&, KafkaProperties.zkConnect);
props.put(&group.id&, KafkaProperties.groupId);
props.put(&zookeeper.session.timeout.ms&,&&40000&);
props.put(&zookeeper.sync.time.ms&,&&200&);
props.put(&auto.commit.interval.ms&,&&1000&);
return new ConsumerConfig(props);
public void run()&{
Map topicCountMap = new HashMap();
topicCountMap.put(topic, new Integer(1));
Map&& consumerMap = consumer.createMessageStreams(topicCountMap);
KafkaStream stream = consumerMap.get(topic).get(0);
ConsumerIterator it = stream.iterator();
while (it.hasNext())&{
System.out.println(&receive:&&+ new String(it.next().message()));
sleep(3000);
} catch (InterruptedException e)&{
e.printStackTrace();
四、数据持久化
不要畏惧文件系统!
Kafka大量依赖文件系统去存储和缓存消息。对于硬盘有个传统的观念是硬盘总是很慢,这使很多人怀疑基于文件系统的架构能否提供优异的性能。实际上硬盘的快慢完全取决于使用它的方式。设计良好的硬盘架构可以和内存一样快。
在6块7200转的SATA RAID-5磁盘阵列的线性写速度差不多是600MB/s,但是随即写的速度却是100k/s,差了差不多6000倍。现代的操作系统都对次做了大量的优化,使用了 read-ahead 和 write-behind的技巧,读取的时候成块的预读取数据,写的时候将各种微小琐碎的逻辑写入组织合并成一次较大的物理写入。对此的深入讨论可以查看这里,它们发现线性的访问磁盘,很多时候比随机的内存访问快得多。
为了提高性能,现代操作系统往往使用内存作为磁盘的缓存,现代操作系统乐于把所有空闲内存用作磁盘缓存,虽然这可能在缓存回收和重新分配时牺牲一些性能。所有的磁盘读写操作都会经过这个缓存,这不太可能被绕开除非直接使用I/O。所以虽然每个程序都在自己的线程里只缓存了一份数据,但在操作系统的缓存里还有一份,这等于存了两份数据。
另外再来讨论一下JVM,以下两个事实是众所周知的:
?Java对象占用空间是非常大的,差不多是要存储的数据的两倍甚至更高。
?随着堆中数据量的增加,垃圾回收回变的越来越困难。
基于以上分析,如果把数据缓存在内存里,因为需要存储两份,不得不使用两倍的内存空间,Kafka基于JVM,又不得不将空间再次加倍,再加上要避免GC带来的性能影响,在一个32G内存的机器上,不得不使用到28-30G的内存空间。并且当系统重启的时候,又必须要将数据刷到内存中( 10GB 内存差不多要用10分钟),就算使用冷刷新(不是一次性刷进内存,而是在使用数据的时候没有就刷到内存)也会导致最初的时候新能非常慢。但是使用文件系统,即使系统重启了,也不需要刷新数据。使用文件系统也简化了维护数据一致性的逻辑。
所以与传统的将数据缓存在内存中然后刷到硬盘的设计不同,Kafka直接将数据写到了文件系统的日志中。
常量时间的操作效率
在大多数的消息系统中,数据持久化的机制往往是为每个cosumer提供一个B树或者其他的随机读写的数据结构。B树当然是很棒的,但是也带了一些代价:比如B树的复杂度是O(log N),O(log N)通常被认为就是常量复杂度了,但对于硬盘操作来说并非如此。磁盘进行一次搜索需要10ms,每个硬盘在同一时间只能进行一次搜索,这样并发处理就成了问题。虽然存储系统使用缓存进行了大量优化,但是对于树结构的性能的观察结果却表明,它的性能往往随着数据的增长而线性下降,数据增长一倍,速度就会降低一倍。
直观的讲,对于主要用于日志处理的消息系统,数据的持久化可以简单的通过将数据追加到文件中实现,读的时候从文件中读就好了。这样做的好处是读和写都是 O(1)&的,并且读操作不会阻塞写操作和其他操作。这样带来的性能优势是很明显的,因为性能和数据的大小没有关系了。
既然可以使用几乎没有容量限制(相对于内存来说)的硬盘空间建立消息系统,就可以在没有性能损失的情况下提供一些一般消息系统不具备的特性。比如,一般的消息系统都是在消息被消费后立即删除,Kafka却可以将消息保存一段时间(比如一星期),这给consumer提供了很好的机动性和灵活性,这点在今后的文章中会有详述。
五、消息传输的事务定义
之前讨论了consumer和producer是怎么工作的,现在来讨论一下数据传输方面。数据传输的事务定义通常有以下三种级别:
最多一次:&消息不会被重复发送,最多被传输一次,但也有可能一次不传输。
最少一次:&消息不会被漏发送,最少被传输一次,但也有可能被重复传输.
精确的一次(Exactly once):&不会漏传输也不会重复传输,每个消息都传输被一次而且仅仅被传输一次,这是大家所期望的。
大多数消息系统声称可以做到“精确的一次”,但是仔细阅读它们的的文档可以看到里面存在误导,比如没有说明当consumer或producer失败时怎么样,或者当有多个consumer并行时怎么样,或写入硬盘的数据丢失时又会怎么样。kafka的做法要更先进一些。当发布消息时,Kafka有一个“committed”的概念,一旦消息被提交了,只要消息被写入的分区的所在的副本broker是活动的,数据就不会丢失。关于副本的活动的概念,下节文档会讨论。现在假设broker是不会down的。
如果producer发布消息时发生了网络错误,但又不确定实在提交之前发生的还是提交之后发生的,这种情况虽然不常见,但是必须考虑进去,现在Kafka版本还没有解决这个问题,将来的版本正在努力尝试解决。
并不是所有的情况都需要“精确的一次”这样高的级别,Kafka允许producer灵活的指定级别。比如producer可以指定必须等待消息被提交的通知,或者完全的异步发送消息而不等待任何通知,或者仅仅等待leader声明它拿到了消息(followers没有必要)。
现在从consumer的方面考虑这个问题,所有的副本都有相同的日志文件和相同的offset,consumer维护自己消费的消息的offset,如果consumer不会崩溃当然可以在内存中保存这个值,当然谁也不能保证这点。如果consumer崩溃了,会有另外一个consumer接着消费消息,它需要从一个合适的offset继续处理。这种情况下可以有以下选择:
consumer可以先读取消息,然后将offset写入日志文件中,然后再处理消息。这存在一种可能就是在存储offset后还没处理消息就crash了,新的consumer继续从这个offset处理,那么就会有些消息永远不会被处理,这就是上面说的“最多一次”。
consumer可以先读取消息,处理消息,最后记录offset,当然如果在记录offset之前就crash了,新的consumer会重复的消费一些消息,这就是上面说的“最少一次”。
“精确一次”可以通过将提交分为两个阶段来解决:保存了offset后提交一次,消息处理成功之后再提交一次。但是还有个更简单的做法:将消息的offset和消息被处理后的结果保存在一起。比如用Hadoop ETL处理消息时,将处理后的结果和offset同时保存在HDFS中,这样就能保证消息和offser同时被处理了。
摘要: RESTful Web 服务的关键特点是明确使用 HTTP 方法来表示不同的操作的调用。 REST 的基本设计...
1. REST介绍
REpresentational State Transfer (REST)&是一种架构原则,其中将 web 服务视为资源,可以由其 URL 唯一标识。
RESTful Web 服务的关键特点是明确使用 HTTP 方法来表示不同的操作的调用。
REST&的基本设计原则对典型 CRUD 操作使用 HTTP 协议方法:
POST&-&创建资源
GET&-&检索资源
PUT&–&更新资源
DELETE&-&删除资源
REST&服务的主要优势在于:
它们是跨平台&(Java、.net、PHP&等)高度可重用的,因为它们都依赖基本 HTTP 协议。
它们使用基本的 XML,而不是复杂的 SOAP XML,使用非常方便。
基于 REST 的 web 服务日益成为后端企业服务集成的首选方法。与基于 SOAP 的 web 服务相比,它的编程模型简单,而本机 XML(而不是 SOAP )的使用减少了序列化和反序列化过程的复杂性,并且不再需要其他作用相同的第三方库。
2.&编写目的
编写本文的目的是为了将系统功能进行模块化、服务化,将用户的操作以服务的方式提供。系统与系统之间遵循服务规范,将系统与系统之间的交互转为定制化服务交互,以实现系统与系统之间的集成
3.&编写原则
可寻址性(Addressability)
REST&中的所有东西都基于资源&的概念。资源与 OOP 中的对象或其他名词不同,它是一种抽象,必须可以通过 URI 寻址或访问。
接口一致性(Interface uniformity)
与 SOAP 或其他标准不同,REST&要求用来操纵资源的方法或动词不是任意的。这意味着 RESTful 服务的开发人员只能使用 HTTP 支持的方法,比如GET、PUT、POST、DELETE等等。因此不需要使用 WSDL 等服务描述语言
无状态(Statelessness)
为了增强可伸缩性,服务器端不存储客户机的状态信息。这使服务器不与特定的客户机相绑定,负载平衡变得简单多了。这还让服务器更容易监视、更可靠
具象(Representational)
客户机总是与资源的某种具象交互,绝不会直接与资源本身交互。同一资源还可以有多个具象。理论上说,持有资源的具象的任何客户机应该有操纵底层资源的足够信息。
连通性(Connectedness)
任何基于 REST 的系统都应该预见到客户机需要访问相关的资源,应该在返回的资源具象中包含这些资源。例如,可以以超链接的形式包含特定 RESTful 服务的操作序列中的相关步骤,让客户机可以根据需要访问它们。
4.&服务使用说明
1)&当前系统已经提供的服务
2)& GET方式调用服务
1.请求方式包括:GET (这里以area服务为实例,GET对应每一个服务Resource中的@RequestMapping(value&=&&treeData&,method&= RequestMethod.GET))
2.请求URL:rest服务请求地址,对应XXXServiceResource.java的mapping配置中的value
@RequestMapping(value =&&treeData&, method = RequestMethod.GET))
3.其中GET请求只包含了请求方式和请求的URL,返回的结果以json格式返回给客户端
3) POST、DELETE、UPDATE方式调用服务
1.请求方式选择POST、DELETE、UPDATE(这里以保存收藏功能为例(PUT请求),对应每一个服Resource中的@RequestMapping(value =&&save&,method&= RequestMethod.PUT))
2.Json参数:&其中POST、DELETE、UPDATE可能传递参数通过json,也可能通过路径直接拼接参数,这边以传递json到服务端为实例,对应服务端代码:
public JSONObject save(@RequestBody JSONObject obj,BookmarkTag bookmarkTag)&{
3.请求URL:rest服务请求地址,对应XXXServiceResource.java的mapping配置中的value
@RequestMapping(value =&& save&,method = RequestMethod.PUT))
4.返回的结果以json格式返回给客户端
5.&&服务列表(仅仅列举实例)
1)添加标签
2)删除标签
3)更新标签
4)获取标签列表
技术不仅是一门编程语言而且是一个平台。同时Java语言是一门有着特定语法和风格的高级的面向对象的语言,Java平台是Java语言编写的特定应用程序运行的环境。Java平台有很多种,很多的Java工程师,即使是干了很长时间的工程师也不是很理解不同平台之间的区别和关联是什么。Java编程语言一共有四个官方的平台:
■Platform, Standard Edition ()
■ Java Platform, Enterprise Edition ()
■ Java Platform, Micro Edition (Java ME)
所有的Java平台都由一个JVM和一组应用程序编程接口组成。JVM是一个程序,一般以C、C++编写,对于某些特定的软硬件平台,Java应用程序运行于JVM之上。应用程序编程接口是一些列的软件组件,你可以使用它们编写其他组件或者应用程序。每一个Java平台提供一个JVM和一个应用程序编程接口,&这使得基于某个平台的应用程序可以运行于其兼容的系统之上,并且带有Java语言所有的优势:平台独立,高效,可扩展,易开发,安全。如下是这四个平台的双语解释,希望对大家有所帮助。
When most people think of the Java programming language, they think of the Java SE API. Java SE's API provides the core functionality of the Java programming language. It defines everything from the basic types and objects of the Java programming language to high-level classes that are used for networking, security, database access, graphical user interface (GUI) development, and XML parsing. In addition to the core API, the Java SE platform consists of a virtual machine, development
tools, deployment technologies, and other class libraries and toolkits commonly used in Java technology applications.
当大家说Java编程语言的时候,他们说的都是Java SE API, Java SE API 提供Java编程语言的核心功能。它定义了Java编程语言的一切从基本的类型和对象到更高级的被用于网络和安全以及的类,GUI,XML解析的类。除了核心的API, Java SE平台由一个虚拟机,开发工具和其他的类库以及通常被Java应用程序使用的工具箱组成。
The Java EE platform is built on top of the Java SE platform. The Java EE platform provides an API and runtime environment for developing and running large-scale, multi-tiered, scalable, reliable, and secure network applications.
Java EE平台构建于Java SE平台之上,Java EE平台提供一组API和运行环境来开发和运行大规模的,多层的,可扩展的,可靠的和安全的网络应用程序。
The Java ME platform provides an API and a small-footprint virtual machine for running Java programming language applications on small devices, like mobile phones. The API is a subset of the Java SE API, along with special class libraries useful for small device application development. Java ME applications are often clients of Java EE platform services.
Java ME平台提供一组API和一个精简的JVM来在小型的设备或者手机上运行Java语言,&他的API是Java SE API的子集, Java ME应用程序通常是Java EE 平台服务的客户端。
JavaFX is a platform for creating rich internet applications using a lightweight user-interface API. JavaFX applications use hardware-accelerated graphics and media engines to take
advantage of higher-performance clients and a modern look-and-feel as well as high-level APIs for connecting to networked data sources. JavaFX applications may be clients of Java EE platform services.
JavaFX是一个用于创建RIA的平台,类似于Windows 平台的WPF,JavaFX使用硬件加速和多媒体引擎来更好的发挥高性能客户端的性能,并且得到一个现代的视觉体验,同时提供了一组高级的API来链接网络数据资源,JavaFX应用程序可以是Java EE 平台服务的客户端。
综上我们揭晓题目问题的官方答案
Java EE平台构建于Java SE平台之上,提供一组API和运行环境来开发和运行大规模的,多层的,可扩展的,可靠的和安全的网络应用程序。
也就是说JavaEE是:
JVM + API +大规模+多层的+可扩展的+可靠+安全+网络&的应用程序
进一步精简去掉可有可无的修饰词后是:
JVM&+ API+网络&的应用程序
按照本文的结论最后得出一句话:
Java EE是具有JVM和一组特定API的编写网络应用程序的平台。
综上可以看出Java EE的核心在于网络。
1.&架构概述
J2EE体系包括java server pages(JSP)&,java SERVLET, enterprise bean,WEB service等技术。这些技术的出现给电子商务时代的WEB应用程序的开发提供了一个非常有竞争力的选择。怎样把这些技术组合起来形成一个适应项目需要的稳定架构是项目开发过程中一个非常重要的步骤。完成这个步骤可以形成一个主要里程碑基线。形成这个基线有很多好处:
各种因数初步确定
为了形成架构基线,架构设计师要对平台(体系)中的技术进行筛选,各种利弊的权衡。往往架构设计师在这个过程中要阅读大量的技术资料,听取项目组成员的建议,考虑领域专家的需求,考虑赞助商成本(包括开发成本和运行维护成本)限额。一旦架构设计经过评审,这些因数初步地就有了在整个项目过程中的对项目起多大作用的定位。
定向技术培训
一旦架构师设计的架构得到了批准形成了基线,项目开发和运行所采用的技术基本确定下来了。众多的项目经理都会对预备项目组成员的技术功底感到担心;他们需要培训部门提供培训,但就架构师面对的技术海洋,项目经理根本就提不出明确的技术培训需求。怎不能够对体系中所有技术都进行培训吧!有了架构里程碑基线,项目经理能确定这个项目开发会采用什么技术,这是提出培训需求应该是最精确的。不过在实际项目开发中,技术培训可以在基线确定之前与架构设计并发进行。
有了一个好的架构蓝图,我们就能准确划分工作。如网页设计,JSP 标签处理类设计,SERVLET&设计,session bean设计,还有各种实现。这些任务在架构蓝图上都可以清晰地标出位置,使得项目组成员能很好地定位自己的任务。一个好的架构蓝图同时也能规范化任务,能很好地把任务划分为几类,在同一类中的任务的工作量和性质相同或相似。这样工作量估计起来有一个非常好的基础。
前面说过各个任务在架构图上都有比较好的定位。任何人能借助它很快地熟悉整个项目的运行情况,错误出现时能比较快速地定位错误点。另外,有了清晰的架构图,项目版本管理也有很好的版本树躯干。
架构犹如一颗参天大树的躯干,只要躯干根系牢,树干粗,长一些旁支,加一些树叶轻而易举无疑。同样,有一个稳定的经得起考验的架构,增加一两个业务组件是非常快速和容易的。
大家都知道这些好处,一心想形成一个这样的J2EE应用程序架构(就像在windows平台中的MFC)。在这个路程中经历了两个大的阶段:
1.1.&模型1
模型1其实不是一个什么稳定架构,甚至谈不上形成了架构。模型1的基础是JSP文件。它从HTTP的请求中提取参数,调用相应的业务逻辑,处理HTTP会话,最后生成HTTP文档。一系列这样的JSP文件形成一个完整的模型1应用,当然可能会有其他辅助类或文件。早期的ASP 和 PHP 技术就属于这个情况。
总的看来,这个模型的好处是简单,但是它把业务逻辑和表现混在一块,对大应用来说,这个缺点是令人容忍不了的。
1.2.&模型2
在经过一番实践,并广泛借鉴和总结经验教训之后,J2EE应用程序终于迎来了MVC(模型-视图-控制)模式。MVC模式并不是J2EE行业人士标新立异的,所以前面我谈到广发借鉴。MVC的核心就是做到三层甚至多层的松散耦合。这对基于组件的,所覆盖的技术不断膨胀的J2EE体系来说真是福音和救星。
它在浏览器(本文对客户代理都称浏览器)和JSP或SERVLET之间插入一个控制组件。这个控制组件集中了处理浏览器发过来的HTTP请求的分发逻辑,也就是说,它会根据HTTP请求的URL,输入参数,和目前应用的内部状态,把请求分发给相应的WEB&层的JSP&或SERVLET。另外它也负责选择下一个视图(在J2EE中,JSP,SERVLET会生成回给浏览器的html从而形成视图)。集中的控制组件也有利于安全验证,日志纪录,有时也封装请求数据给下面的WEB tier层。这一套逻辑的实现形成了一个像MFC的应用框架,位置如图:
1.3.&多层应用
下图为J2EE体系中典型的多层应用模型。
Client tier客户层
一般为浏览器或其他应用。客户层普遍地支持HTTP协议,也称客户代理。
WEB tier WEB应用层
在J2EE中,这一层由WEB 容器运行,它包括JSP, SERVLET等WEB部件。
EJB tier 企业组件层
企业组件层由EJB容器运行,支持EJB, JMS, JTA 等服务和技术。
EIS tier 企业信息系统层
企业信息系统包含企业内传统信息系统如财务,CRM等,特点是有数据库系统的支持。
应用框架目前主要集中在WEB层,旨在规范这一层软件的开发。其实企业组件层也可以实现这个模型,但目前主要以设计模式的形式存在。而且有些框架可以扩充,有了企业组件层组件的参与,框架会显得更紧凑,更自然,效率会更高。
2.&候选方案
目前,实现模型2的框架也在不断的涌现,下面列出比较有名的框架。
2.1. Apache Struts
Struts是一个免费的开源的WEB层的应用框架,apache软件基金致力于struts的开发。Struts具是高可配置的性,和有一个不断增长的特性列表。一个前端控制组件,一系列动作类,动作映射,处理XML的实用工具类,服务器端java bean 的自动填充,支持验证的WEB&表单,国际化支持,生成HTML,实现表现逻辑和模版组成了struts的灵魂。
2.1.1. Struts和MVC
模型2的目的和MVC的目的是一样的,所以模型2基本可以和MVC等同起来。下图体现了Struts的运作机理:
2.1.1.1.&控制
如图所示,它的主要部件是一个通用的控制组件。这个控制组件提供了处理所有发送到Struts 的HTTP请求的入口点。它截取和分发这些请求到相应的动作类(这些动作类都是Action类的子类)。另外控制组件也负责用相应的请求参数填充 From bean,并传给动作类。动作类实现核心商业逻辑,它可以通过访问java bean 或调用EJB。最后动作类把控制权传给后续的JSP&文件,后者生成视图。所有这些控制逻辑利用一个叫struts-config.xml文件来配置。
2.1.1.2.&模型
模型以一个或几个java bean的形式存在。这些bean分为三种:
Form beans(表单Beans)
它保存了HTTP post请求传来的数据,在Struts里,所有的Form beans都是 ActionFrom 类的子类。
业务逻辑beans
专门用来处理业务逻辑。
系统状态beans
它保存了跨越多个HTTP&请求的单个客户的会话信息,还有系统状态。
2.1.1.3.&视图
控制组件续传HTTP请求给实现了视图的JSP文件。JSP能访问beans&并生成结果文档反馈到客户。Struts提供JSP&标签库: Html,Bean,Logic,Template等来达到这个目的,并有利于分开表现逻辑和程序逻辑。
2.1.2. Struts的细节分析
2.1.2.1.&视图-控制-模型
用户发出一个*.do的HTTP请求,控制组件接收到这个请求后,查找针对这个请求的动作映射,再检查是否曾创建过相应的动作对象(action实例),如果没有则调用actionmapping生成一个动作对象,控制组件会保存这个动作对象供以后使用。接着调用actionmapping的方法得到actionForm对象。之后把actionForm作为参数传给动作对象的perform方法,这个方法结束之后会返回给控制组件一个 actionforward对象。控制组件接着从这个对象中获取下一个视图的路径和重定向属性。如果为重定向则调用HTTPSERVLETREPONSE的方法来显示下一个视图,否则相继调用requestdispatcher, SERVLETcontext的方法续传HTTP请求到下一个视图。
当动作对象运行perform方法时,可能出现错误信息。动作对象可以保存这些错误信息到一个error对象中,接着调用自身的saveerrors方法把这个错误保存到request对象的属性中。接着动作对象调用actionmapping对象的getInput方法从动作映射中获取input参数,也就是产生输入的视图,并以这个input为参数生成一个actionforward对象返回。这个input参数的JSP中一般有HTTP:errors定制标签读取这些错误信息并显示在页面上。
2.1.2.2.&模型到视图
模型到视图指视图在显示之前装载系统数据到视图的过程。系统数据一般为模型内java bean的信息。示意图表现了由控制组件forward过来的有html:form定制标签的JSP 的处理逻辑。
html:form定制标签处理对象从application scope(通过查询SERVLETCONTEXT对象的属性来实现)获取先前由控制组件actionSERVLET放在那里的动作映射等对象,由html:form 的action属性查得actionform名字、类型和范围等信息,在相应的范围内查找actionform,如果有则利用它的信息填充html form表单[实际填充动作在嵌套的html:text等定制标签的处理对象中]。否则在相应范围内创建一个actionform 对象。
2.1.3.&优缺点
一些开发商开始采用并推广这个框架
作为开源项目,有很多先进的实现思想
对大型的应用支持的较好
有集中的网页导航定义
不是业届标准
对开发工具的支持不够
复杂的taglib,需要比较长的时间来掌握
html form 和 actionform的搭配比较封闭,但这也是它的精华所在。
修改建议&把actionform属性的设置器和访问器修改成读取或生成xml文档的方法,然后 html form和actionform之间用xml文档进行数据交换,使之松散耦合,适应数据结构易变化的应用。
JATO应用程序框架是iPlanet 应用程序框架的旧名。它是一个成熟的、强大的,基于J2EE标准的面向于开发WEB应用程序的应用框架。结合了显示字段、应用程序事件、组件层次和以页面为中心的开发方法、以及MVC和服务到工作者service-to-workers的设计模式等概念。JATO可适用于中、大、超大规模的WEB应用。但是它也不是一个企业层的应用框架,也就是说它不会直接提供创建EJB, WEB services等企业层组件的方法,但用它可以构造出访问企业层组件的客户应用。
这个框架功能主要有三部分组成:
iPlanet应用框架核心;
iPlanet应用框架组件;
iPlanet应用框架扩展。
应用框架核心定义了基本接口、对象协议、简单组件,以及iPlanet应用框架程序的最小核心。包括视图简单组件、模型简单组件、请求分发组件和可重用命令对象。iPlanet应用框架组件利用框架核心定义的基本接口、协议和组件向开发者提供高层的重用组件,这些组件既有与特定视觉效果无关的水平组件,同时也有适应特定实用环境、提高可用性而特意提供的垂直型组件。框架扩展实现了用框架相容的方法访问非J2EE环境的方法。通常情况下,扩展被框架应用程序用来无缝访问J2EE容器特定功能。JATO平台栈图很清楚地表达了这个情况。
JATO最大的威力在:对于快速开发用户,你能利用框架组件和扩展提高生产率,对于要求更大灵活性的用户,你能实现框架核心提供的接口来保持应用的框架兼容性。
此图表示实现一个JATO应用程序,可以简单地实现控制组件module1Servlet,视图组件ListCustomersViewBean和模型组件CustomersModuleImpl,以及一个给客户代理显示界面的ListCustomers.jsp文件。并清楚地表明这些组件与JATO框架组件的继承关系。
JATO标签库提供了VIEW对象与JSP文件的接口。库中标签处理程序负责实现VIEW对象和JSP产生地客户端文档的信息同步和交换。这个图清楚地表达了这种对应关系
前端控制组件接收用户发来的任何请求,这个可在WEB.xml中指定&请求分发组件负责视图管理和导航,和前端控制组件封装在ApplicationSERVLETBase一起实现。应用程序开发者需要为每一个子系统(人力资源,财务,CRM等)实现一个此类的继承。
请求分发组件分发请求给工作者,工作者实现了command接口。应用开发者可以实现这个接口。JATO提供了一个缺省实现:DefaultRequestHandingCommand,这个实现会把请求传给视图组件的特定事件。
组合视图是指视图组件在显示给用户时的层次关系:根视图是一个ViewBean类的对象&字段是一个DisplayField类的对象,容器视图是一个ContainerView类的对象。视图组件类的层次关系如下图:
2.2.2.&优缺点分析
这种框架的适应范围大,即提供了底层接口,也有立即可用的组件
具有与客户端RAD开发工具相似的开发概念如页为中心(等同于VB的FORM),事件处理等.
对大型的应用支持较好
不是业届标准
目前还没有开发工具的支持(然JATO已经为工具支持做好了准备)
没有定义网页导航,开发者在视图中自己指定具体的导航URL
把众多的VIEW/MODEL对应修改成xml文档传递数据,加上集中的网页导航定义
2.3. JSF(JavaServer Faces)
JSF是一个包括SUN在内的专家组正在定义的开发WEB应用用户界面的框架,JSF 技术包括:
一组API,它实现UI了组件,管理组件的状态,处理事件,输入校验,定义页面导航,支持国际化和访问;
一个JSP定制标签库实现与JSP的接口。
JSF非常简单,是一个定义良好的编程模型。利用这个技术,开发者通过在页面内组合可重用的UI组件,在把这些组件和应用的数据源相连,路由客户产生的事件到服务器端的事件处理器进行编程。JSP处理了所有幕后的复杂工作,使得开发者把关注重点放在应用代码上。
2.3.1. STRUTS、JATO和JSF比较
它们之间有部分重叠,但重点不一样。
STRUTS和JATO都提供了一个MVC式的应用模型,而JSF只在用户界面上提供编程接口。这意味着前两者涉及的范围比后者广。JSF可以成为前两者在UI开发的部分。
JSF的规范的发布版将在 2002年底发布,实现可能要比这个时间晚些。另外将会有工具支持这个框架的应用开发。
WAF是WEB APPLICATION FRAMWORK的简称,是SUN蓝皮书例子程序中提出的应用框架。它实现了 MVC和其他良好的设计模式。
2.4.1.&细节分析
2.4.2.&视图-控制-模型
如图所示,开发人员编写的两个xml配置文件定义了WAF的运作参数。Screendefinition.xml定义了一系列的屏幕(screen)。Mapping.xml则定义了某个动作之后应该显示的屏幕,但没有指定屏幕到哪里拿数据。
用户发出一个HTTP请求(*.screen),由TemplateSERVLET屏幕前端控制组件接收,它提取请求信息,设置request对象CurrentScreen属性,再把请求发到模版JSP。模版JSP收到请求后,JSP中的Template标签察看这个当前屏幕,并从屏幕定义文件(Screendefinition.xml)中获取这个屏幕的具体参数,再生成html返回给客户。
假设返回给客户的html中包括了html表单,用户在输入一定数据之后提交,发出一个HTTP请求(*.do)。这个请求被MainSERVLET接收,它提取请求信息,察看动作映射文件(mapping.xml),设置处理这个请求的动作对象(HTTPAction对象),交给requestprosessor对象处理。Requestprosessor对象调用动作对象完成任务,如果需要进一步处理,requestprosessor对象会调用WEBclientcontroler对象的事件处理机制。MainSERVLET在处理完请求之后,从屏幕流管理对象那里得到下一个屏幕,并把请求传给这个屏幕的JSP文件。
值得一提的是WEBclientcontroler事件处理机制最终把HTTP请求的数据传到了EJBAction对象那里处理。这样HTTPAction对象和EJBAction对象形成了两级处理机制,前一级与request对象紧密相关,把数据封装起来形成一个Event对象,再传给了EJBAction对象,后者与Request对象无关。这个方式可以形成一个session级别的数据处理机制。下图显示了这个方法。HTTPAction1对象处理一个请求,并把数据放到一个状态SessionBean内,HTTPAction2也如此,当HTTPAction3接收到HTTP请求之后,把控制传给EJBAction,&后者获取状态SessionBean数据,处理请求,成功后清控状态SessionBean的内容。这个机制非常适应多个输入页面才能满足一个业务的输入数据的情况(比如购物车)。
2.4.3.&优缺点分析
屏幕导航定义明确
为框架的扩展提供了一个空间
源码比较乱,稳定性和可靠性没人验证。
只是一个框架躯干,没有正式的model层,视图的概念不强
没有模型到视图的定义
只有一个框架躯干,正为实现自己的应用框架提供了灵活性。没有僵化的视图概念,提供了在网页输入到模型的扩充接口,比如插入XML数据交换。
java的大方向就是JavaEE,JavaEE不仅仅是socket编程,具体包括13种核心技术。
JAVAEE的核心API与组件
JAVAEE平台由一整套服务(Services)、应用程序接口(APIs)和协议构成,它对开发基于Web的多层应用提供了功能支持,下面对JAVAEE中的13种技术规范进行简单的描述(限于篇幅,这里只进行简单的描述):
1、JDBC(Java Database Connectivity)&  JDBC API为访问不同的数据库提供了一种统一的途径,象ODBC一样,JDBC对开发者屏蔽了一些细节问题,另外,JDCB对数据库的访问也具有平台无关性。
2、JNDI(Java Name and Directory Interface)&  JNDI API被用于执行名字和目录服务。它提供了一致的模型来存取和操作企业级的资源如DNS和LDAP,本地文件系统,或应用服务器中的对象。
3、EJB(Enterprise JavaBean)&  JAVAEE技术之所以赢得媒体广泛重视的原因之一就是EJB。它们提供了一个框架来开发和实施分布式商务逻辑,由此很显著地简化了具有可伸缩性和高度复杂的企业级应用的开发。EJB规范定义了EJB组件在何时如何与它们的容器进行交互作用。容器负责提供公用的服务,例如目录服务、事务管理、安全性、资源缓冲池以及容错性。但这里值得注意的是,EJB并不是实现JAVAEE的唯一途径。正是由于JAVAEE的开放性,使得有的厂商能够以一种和EJB平行的方式来达到同样的目的。
4、RMI(Remote Method Invoke)&  正如其名字所表示的那样,RMI协议调用远程对象上方法。它使用了序列化方式在客户端和服务器端传递数据。RMI是一种被EJB使用的更底层的协议。
5、Java IDL/CORBA   在Java IDL的支持下,开发人员可以将Java和CORBA集成在一起。他们可以创建Java对象并使之可在CORBA ORB中展开,&或者他们还可以创建Java类并作为和其它ORB一起展开的CORBA对象的客户。后一种方法提供了另外一种途径,通过它Java可以被用于将你的新的应用和旧的系统相集成。
6、JSP(Java Server Pages)&  JSP页面由HTML代码和嵌入其中的Java代码所组成。服务器在页面被客户端所请求以后对这些Java代码进行处理,然后将生成的HTML页面返回给客户端的浏览器。
7、Java Servlet   Servlet是一种小型的Java程序,它扩展了Web服务器的功能。作为一种服务器端的应用,当被请求时开始执行,这和CGI Perl脚本很相似。Servlet提供的功能大多与JSP类似,不过实现的方式不同。JSP通常是大多数HTML代码中嵌入少量的Java代码,而servlets全部由Java写成并且生成HTML。
8、XML(Extensible Markup Language)&  XML是一种可以用来定义其它标记语言的语言。它被用来在不同的商务过程中共享数据。 XML的发展和Java是相互独立的,但是,它和Java具有的相同目标正是平台独立性。通过将Java和XML的组合,您可以得到一个完美的具有平台独立性的解决方案。
9、JMS(Java Message Service)&  JMS是用于和面向消息的中间件相互通信的应用程序接口(API)。它既支持点对点的域,有支持发布/订阅(publish/subscribe)类型的域,并且提供对下列类型的支持:经认可的消息传递,事务型消息的传递,一致性消息和具有持久性的订阅者支持。JMS还提供了另&一种方式来对您的应用与旧的后台系统相集成。
10、JTA(Java Transaction Architecture)&  JTA定义了一种标准的API,应用系统由此可以访问各种事务监控。
11、JTS(Java Transaction Service)&  JTS是CORBA OTS事务监控的基本的实现。JTS规定了事务管理器的实现方式。该事务管理器是在高层支持Java Transaction API (JTA)规范,并且在较底层实现OMG OTS specification的Java映像。JTS事务管理器为应用服务器、资源管理器、独立的应用以及通信资源管理器提供了事务服务。
12、JavaMail   JavaMail是用于存取邮件服务器的API,它提供了一套邮件服务器的抽象类。不仅支持SMTP服务器,也支持IMAP服务器。
13、JAF(JavaBeans Activation Framework)&  JavaMail利用JAF来处理MIME编码的邮件附件。MIME的字节流可以被转换成Java对象,或者转换自Java对象。大多数应用都可以不需要直接使用JAF
框架简介--主要定位于互联网企业架构,已内置企业信息化系统的基础功能和高效的代码生成工具,包括:系统权限组件、数据权限组件、数据字典组件、核心工具&组件、视图操作组件、工作流组件组件、代码生成等。采用分层设计、双重验证、提交数据安全编码、密码加密、访问验证、数据权限验证。
是一个分布式的框架,提供项目模块化、服务化、热插拔的思想,高度封装安全性的Java EE快速开发平台。
本身集成Dubbo服务管控、Zookeeper注册中心、Redis分布式缓存技术、FastDFS分布式文件系统、ActiveMQ异步消息中间件、Nginx负载均衡等分布式技术
使用Maven做项目管理,项目模块化,提高项目的易开发性、扩展性
以Spring Framework为核心容器,Spring MVC为模型视图控制器,MyBatis为数据访问层, Apache Shiro为权限授权层,Ehcahe对常用数据进行缓存,Activit为工作流引擎等。
前端集成Bootstrap4 metronic框架,UI响应式、扁平化布局,适应所有PC、Pad、Anroid、ios 移动设备等。
主要定位于互联网企业架构,已内置企业信息化系统的基础功能和高效的代码生成工具,包括:系统权限组件、数据权限组件、数据字典组件、核心工具&组件、视图操作组件、工作流组件、代码生成等。采用分层设计、双重验证、提交数据安全编码、密码加密、访问验证、数据权限验证。
目前包括以下模块项目,后台系统管理系统,RestFul独立服务系统、Scheduler定时调度系统、内容管理(CMS)系统、在线办公(OA)系统、我的待办(Task服务)、我的收藏(Bookmark服务)。
后台管理系统包括企业组织架构(用户管理、机构管理、区域管理)、菜单管理、角色权限管理、字典管理等功能;
RestFul独立提供标准Rest服务API,您可以快速实现自己的业务,提供需要的服务;
Quartz定时调度系统可以动态配置您的任务规则等;
愿意了解框架技术或者源码的朋友直接求求:贰零四贰八四九贰叁柒
内容管理(CMS)系统,包括内容管理,栏目管理、站点管理、公共留言、文件管理、前端网站展示等功能;
在线办公(OA)系统,主要提供简单的流程实例。
提供了常用工具进行封装,包括日志工具、缓存工具、服务器端验证、数据字典、当前组织机构数据(用户、机构、区域)以及其它常用小工具等。另外&还提供一个强大的在线&代码生成&工具,此工具提供简单的单表、一对多、树结构功能的生成,如果对外观要求不是很高,生成的功能就可以用了。使用了基础框架,可以提高快速开发效&率。
内置功能(只列了一部分功能)
1.用户管理:用户是系统操作者,该功能主要完成系统用户配置。
2.机构管理:配置系统组织机构(公司、部门、小组),树结构展现,可随意调整上下级。
3.区域管理:系统城市区域模型,如:国家、省市、地市、区县的维护。
4.菜单管理:配置系统菜单,操作权限,按钮权限标识等。
5.角色管理:角色菜单权限分配、设置角色按机构进行数据范围权限划分。
6.字典管理:对系统中经常使用的一些较为固定的数据进行维护,如:是否、男女、类别、级别等。
7.操作日志:系统正常操作日志记录和查询;系统异常信息日志记录和查询。
8.连接池监视:监视当期系统数据库连接池状态,可进行分析SQL找出系统性能瓶颈。
9.工作流引擎:实现业务工单流转、在线流程设计器。
1.Eclipse IDE:采用Maven项目管理,模块化。
2.代码生成:通过界面方式简单配置,自动生成相应代码,目前包括三种生成方式(增删改查):单表、一对多、树结构。生成后的代码如果不需要注意美观程度,生成后即可用。
技术选型(只列了一部分技术)
服务框架:Dubbo、zookeeper、Rest服务
缓存:Redis、ehcache
消息中间件:ActiveMQ
负载均衡:Nginx
分布式文件:FastDFS
数据库连接池:Alibaba Druid 1.0
核心框架:Spring framework
安全框架:Apache Shiro 1.2
视图框架:Spring MVC 4.0
服务端验证:Hibernate Validator 5.1
布局框架:SiteMesh 2.4
工作流引擎:Activiti 5.15
任务调度:quartz 1.8.5
持久层框架:MyBatis 3.2
日志管理:SLF4J 1.7、Log4j
工具类:Apache Commons、Jackson 2.2、Xstream 1.4、Dozer 5.3、POI
JS框架:JQuery 1.9。
CSS框架: Bootstrap 4 metronic
客户端验证:JQuery Validation Plugin。
富文本:CKEcitor
文件管理:CKFinder
动态页签:Jerichotab
数据表格:jqGrid
对话框:jQuery jBox
树结构控件:jQuery zTree
其他组件:Bootstrap 4 metronic
服务器中间件:Tomcat 6、7、Jboss 7、WebLogic 10、WebSphere 8
数据库支持:目前仅提供mysql数据库的支持,但不限于数据库,下个版本升级多数据源切换和数据库读写分离:&如:Oracle、SqlServer、H2等
支持开发环境:Eclipse、MyEclipse、Ras、Idea等
欢迎大家一起学习研究相关技术分布式的一些解决方案,有愿意了解的朋友可以找我们团队探讨.
框架简介--主要定位于互联网企业架构,已内置企业信息化系统的基础功能和高效的代码生成工具,包括:系统权限组件、数据权限组件、数据字典组件、核心工具&组件、视图操作组件、工作流组件组件、代码生成等。采用分层设计、双重验证、提交数据安全编码、密码加密、访问验证、数据权限验证。
是一个分布式的框架,提供项目模块化、服务化、热插拔的思想,高度封装安全性的Java EE快速开发平台。
本身集成Dubbo服务管控、Zookeeper注册中心、Redis分布式缓存技术、FastDFS分布式文件系统、ActiveMQ异步消息中间件、Nginx负载均衡等分布式技术
使用Maven做项目管理,项目模块化,提高项目的易开发性、扩展性
以Spring Framework为核心容器,Spring MVC为模型视图控制器,MyBatis为数据访问层, Apache Shiro为权限授权层,Ehcahe对常用数据进行缓存,Activit为工作流引擎等。
前端集成Bootstrap4 metronic框架,UI响应式、扁平化布局,适应所有PC、Pad、Anroid、ios 移动设备等。
主要定位于互联网企业架构,已内置企业信息化系统的基础功能和高效的代码生成工具,包括:系统权限组件、数据权限组件、数据字典组件、核心工具&组件、视图操作组件、工作流组件、代码生成等。采用分层设计、双重验证、提交数据安全编码、密码加密、访问验证、数据权限验证。
目前包括以下模块项目,后台系统管理系统,RestFul独立服务系统、Scheduler定时调度系统、内容管理(CMS)系统、在线办公(OA)系统、我的待办(Task服务)、我的收藏(Bookmark服务)。
后台管理系统包括企业组织架构(用户管理、机构管理、区域管理)、菜单管理、角色权限管理、字典管理等功能;
RestFul独立提供标准Rest服务API,您可以快速实现自己的业务,提供需要的服务;
Quartz定时调度系统可以动态配置您的任务规则等;
愿意了解框架技术或者源码的朋友直接求求:贰零四贰八四九贰叁柒
内容管理(CMS)系统,包括内容管理,栏目管理、站点管理、公共留言、文件管理、前端网站展示等功能;
在线办公(OA)系统,主要提供简单的流程实例。
提供了常用工具进行封装,包括日志工具、缓存工具、服务器端验证、数据字典、当前组织机构数据(用户、机构、区域)以及其它常用小工具等。另外&还提供一个强大的在线&代码生成&工具,此工具提供简单的单表、一对多、树结构功能的生成,如果对外观要求不是很高,生成的功能就可以用了。使用了基础框架,可以提高快速开发效&率。
内置功能(只列了一部分功能)
1.用户管理:用户是系统操作者,该功能主要完成系统用户配置。
2.机构管理:配置系统组织机构(公司、部门、小组),树结构展现,可随意调整上下级。
3.区域管理:系统城市区域模型,如:国家、省市、地市、区县的维护。
4.菜单管理:配置系统菜单,操作权限,按钮权限标识等。
5.角色管理:角色菜单权限分配、设置角色按机构进行数据范围权限划分。
6.字典管理:对系统中经常使用的一些较为固定的数据进行维护,如:是否、男女、类别、级别等。
7.操作日志:系统正常操作日志记录和查询;系统异常信息日志记录和查询。
8.连接池监视:监视当期系统数据库连接池状态,可进行分析SQL找出系统性能瓶颈。
9.工作流引擎:实现业务工单流转、在线流程设计器。
1.Eclipse IDE:采用Maven项目管理,模块化。
2.代码生成:通过界面方式简单配置,自动生成相应代码,目前包括三种生成方式(增删改查):单表、一对多、树结构。生成后的代码如果不需要注意美观程度,生成后即可用。
技术选型(只列了一部分技术)
服务框架:Dubbo、zookeeper、Rest服务
缓存:Redis、ehcache
消息中间件:ActiveMQ
负载均衡:Nginx
分布式文件:FastDFS
数据库连接池:Alibaba Druid 1.0
核心框架:Spring framework
安全框架:Apache Shiro 1.2
视图框架:Spring MVC 4.0
服务端验证:Hibernate Validator 5.1
布局框架:SiteMesh 2.4
工作流引擎:Activiti 5.15
任务调度:quartz 1.8.5
持久层框架:MyBatis 3.2
日志管理:SLF4J 1.7、Log4j
工具类:Apache Commons、Jackson 2.2、Xstream 1.4、Dozer 5.3、POI
JS框架:JQuery 1.9。
CSS框架: Bootstrap 4 metronic
客户端验证:JQuery Validation Plugin。
富文本:CKEcitor
文件管理:CKFinder
动态页签:Jerichotab
数据表格:jqGrid
对话框:jQuery jBox
树结构控件:jQuery zTree
其他组件:Bootstrap 4 metronic
服务器中间件:Tomcat 6、7、Jboss 7、WebLogic 10、WebSphere 8
数据库支持:目前仅提供mysql数据库的支持,但不限于数据库,下个版本升级多数据源切换和数据库读写分离:&如:Oracle、SqlServer、H2等
支持开发环境:Eclipse、MyEclipse、Ras、Idea等
欢迎大家一起学习研究相关技术分布式的一些解决方案,有愿意了解的朋友可以找我们团队探讨.
更多详细源码参考来源:
第一:Redis 是什么?
Redis是基于内存、可持久化的日志型、Key-Value数据库&高性能存储系统,并提供多种语言的API.
第二:出现背景
数据结构(Data Structure)需求越来越多,&但memcache中没有,&影响开发效率
性能需求,&随着读操作的量的上升需要解决,经历的过程有:
数据库读写分离(M/S)–&数据库使用多个Slave–&增加Cache (memcache)–&转到Redis
解决写的问题:
水平拆分,对表的拆分,将有的用户放在这个表,有的用户放在另外一个表;
可靠性需求
Cache的&雪崩&问题让人纠结
Cache面临着快速恢复的挑战
开发成本需求
Cache和DB的一致性维护成本越来越高(先清理DB,&再清理缓存,&不行啊,&太慢了!)
开发需要跟上不断涌入的产品需求
硬件成本最贵的就是数据库层面的机器,基本上比前端的机器要贵几倍,主要是IO密集型,很耗硬件;
维护性复杂
一致性维护成本越来越高;
BerkeleyDB使用B树,会一直写新的,内部不会有文件重新组织;这样会导致文件越来越大;大的时候需要进行文件归档,归档的操作要定期做;
这样,就需要有一定的down time;
基于以上考虑,&选择了Redis
第三:Redis 在新浪微博中的应用
1.&支持5种数据结构
支持strings, hashes, lists, sets, sorted sets
string是很好的存储方式,用来做计数存储。sets用于建立索引库非常棒;
2. K-V 存储 vs K-V 缓存
新浪微博目前使用的98%都是持久化的应用,2%的是缓存,用到了600+服务器
Redis中持久化的应用和非持久化的方式不会差别很大:
非持久化的为8-9万tps,那么持久化在7-8万tps左右;
当使用持久化时,需要考虑到持久化和写性能的配比,也就是要考虑redis使用的内存大小和硬盘写的速率的比例计算;
3.&社区活跃
Redis目前有3万多行代码,&代码写的精简,有很多巧妙的实现,作者有技术洁癖
Redis的社区活跃度很高,这是衡量开源软件质量的重要指标,开源软件的初期一般都没有商业技术服务支持,如果没有活跃社区做支撑,一旦发生问题都无处求救;
Redis基本原理
redis持久化(aof) append online file:
写log(aof),&到一定程度再和内存合并.&追加再追加,&顺序写磁盘,&对性能影响非常小
1.&单实例单进程
Redis使用的是单进程,所以在配置时,一个实例只会用到一个CPU;
在配置时,如果需要让CPU使用率最大化,可以配置Redis实例数对应CPU数, Redis实例数对应端口数(8核Cpu, 8个实例, 8个端口),&以提高并发:
单机测试时,&单条数据在200字节,&测试的结果为8~9万tps;
2. Replication
过程:&数据写到master–&master存储到slave的rdb中–&slave加载rdb到内存。
存储点(save point):&当网络中断了,&连上之后,&继续传.
Master-slave下第一次同步是全传,后面是增量同步;、
3.&数据一致性
长期运行后多个结点之间存在不一致的可能性;
开发两个工具程序:
1.对于数据量大的数据,会周期性的全量检查;
2.实时的检查增量数据,是否具有一致性;
对于主库未及时同步从库导致的不一致,称之为延时问题;
对于一致性要求不是那么严格的场景,我们只需要要保证最终一致性即可;
对于延时问题,需要根据业务场景特点分析,从应用层面增加策略来解决这个问题;
1.新注册的用户,必须先查询主库;
2.注册成功之后,需要等待3s之后跳转,后台此时就是在做数据同步。
第四:分布式缓存的架构设计
1.架构设计
由于redis是单点,项目中需要使用,必须自己实现分布式。基本架构图如下所示:
2.分布式实现
通过key做一致性哈希,实现key对应redis结点的分布。
一致性哈希的实现:
l &&&&&& hash值计算:通过支持MD5与MurmurHash两种计算方式,默认是采用MurmurHash,高效的hash计算。
l &&&&&&&一致性的实现:通过java的TreeMap来模拟环状结构,实现均匀分布
3.client的选择
对于jedis修改的主要是分区模块的修改,使其支持了跟据BufferKey进行分区,跟据不同的redis结点信息,可以初始化不同的 ShardInfo,同时也修改了JedisPool的底层实现,使其连接pool池支持跟据key,value的构造方法,跟据不同 ShardInfos,创建不同的jedis连接客户端,达到分区的效果,供应用层调用
4.模块的说明
l &&&&&&&脏数据处理模块,处理失败执行的缓存操作。
l&&&&&&&&屏蔽监控模块,对于jedis操作的异常监控,当某结点出现异常可控制redis结点的切除等操作。
整个分布式模块通过hornetq,来切除异常redis结点。对于新结点的增加,也可以通过reload方法实现增加。(此模块对于新增结点也可以很方便实现)
对于以上分布式架构的实现满足了项目的需求。另外使用中对于一些比较重要用途的缓存数据可以单独设置一些redis结点,设定特定的优先级。另外对&于缓存接口的设计,也可以跟据需求,实现基本接口与一些特殊逻辑接口。对于cas相关操作,以及一些事物操作可以通过其watch机制来实现。
声明:所有博客服务于分布式框架,作为框架的技术支持及说明,框架面向企业,是大型互联网分布式企业架构,后期会介绍linux上部署高可用集群项目。
欢迎大家一起学习研究相关技术
1.&服务接口定义
*&文件上传& 1:}

我要回帖

更多关于 网页记住用户名和密码 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信