java 临时缓存大数据，有什么好的框架吗？ - ITeye问答
在java 客户端，进行大量的数据计算后缓存在本地，然后显示在界面上，显示完后，可以要删除这个缓存的数据，现在数据都用List放在内存里，在数据进行计算的时候内存一下子400M的数据在内存中，内存都爆了。请有什么好的框架或技术呢？
1.一次请求，这么多内存，设计上应该优化。
2.把缓存的内容暂时放到硬盘上吧。
3.占用内存这么高，很危险，即使放到硬盘上，一旦请求量上来，硬盘也很累！
用ehcache，设置缓存大小，当数据超过缓存大小时，会放到磁盘上。
400M在JVM压力不大啊，JVM搞个32G 64G内存，效率很好。不行就写成多个文件，分片处理。不要用网络上的缓存，400M通过网络传输很慢。
文件存儲吧。。500m直接放內存，就算把內存調大了，你也需要有優化成本。
你是多大的屏幕能显示400M的数据，缓存是什么，为什么当遇到400M想到的不是持久化而是缓存，如果只是显示一部分那可以将部分缓存，然后预取分页都可以，，400M的。。。。或者可以用hadoop呀，存大数据的，
如果你是客户端程序的话，直接把jvm调大就可以了，不需要用第三方缓存系统。
但是如果你是服务端程序就需要考虑是不是设计上有问题了，为什么需要那么大的数据量呈现，400m的数据，那是几万条数据了！
google-collection.jar 包&& 缓存框架，那不就是 memcached 比较多……还支持集群，相当于独立的内存服务器，楼主很大的问题，应该不是缓存的问题，可能是大数据处理的问题，你的计算处理如果涉及到比较多的数据& 占用内存吧
ehcache？ memcached？
已解决问题
未解决问题大数据：30天学习Javase编程到底该学些什么知识点？
我的图书馆
大数据：30天学习Javase编程到底该学些什么知识点？
导语：国庆期间，今天作为福利，把这份知识点送给喜爱编程的朋友们 ~ 有关于大数据的相关问题？请加群提及他们，我们共同讨论。进群备注一点，可以单独单独私聊我，免费。Java编程第1周 ： Java基础第1天：1.1 软件开发基础1.1.1 计算机基础 操作系统，文件，目录，可执行程序，常用快捷键1.1.2 常用的Shell命令1.1.3 常用开发语言 了解1.2 JAVA开发环境 需要说明1.2.1 安装JDK1.7 ，开发环境目录要求1.2.2 设置环境变量1.3 第一个JAVA程序HelloWord.java1.3.1 在记事本编写程序1.3.2 在Shell命令窗口编译、执行1.3.3 讲解程序的编译执行过程1.4 Java编码规范1.4.1 源码存储规范1.4.2 命名规则1.4.3 书写格式1.4.4 代码注释第2天：2.1 关键字、标识符2.1.1 什么是标识符2.1.2 标识符的命名规范2.1.3 JAVA关键字2.2 常量、进制转换2.2.1 什么是常量2.2.2 二进制转换十进制2.3 变量、数据类型、类型转换2.3.1 什么是变量2.3.2 变量的声明和初始化2.3.3 变量的分类2.3.4 变量的作用域2.4 数据类型简介2.4.1 JAVA中的数据类型2.4.2 基本数据类型2.4.3 引用数据类型2.5 基本数据类型有哪些2.6 数据类型的取值范围2.7 数据类型的转换2.7.1 自动类型转换2.7.2 强制类型转换2.8 运算符2.8.1 常用运算符2.8.2 算术运算符2.8.3 赋值运算符2.8.4 关系运算符2.8.5 逻辑运算符2.8.6 三目运算符2.8.7 字符串连接运算符2.8.8 位运算符2.8.9 移位运算符2.9 表达式的值和类型2.10 转义字符2.11 运算符优先级第3天：3.1 什么是JAVA语句的执行结构3.1.1 JAVA语句有哪些结构3.1.2 顺序语句3.1.3 分支语句3.1.4 循环语句3.2 If语句3.2.1 简单if语句3.2.2 复杂if语句3.2.3 if-else语句3.2.4 多重if语句3.2.5 嵌套if语句3.3 switch语句3.3.1 switch语句用法3.3.2 switch使用String分支3.3.3 switch语句与if语句的区别第4天4.1 循环语句4.1.1 什么是循环4.1.2 Java中的循环语句4.2 for循环语句4.3 while循环4.1.1 while循环语句4.1.2 do-while循环语句4.4 特殊流程控制语句4.4.1 break语句的使用4.4.2 continue语句的使用4.4.3 label 的简述4.5 比较while和do-while的区别第5天：5.1 什么是方法5.1.1 方法（函数）5.1.2 方法中的参数5.1.2.1形参5.1.2.2实参5.1.3 方法的返回值5.2 方法的声明和调用5.2.1 声明方法的格式5.2.2 调用方法的格式第一周综合测试(15:30--17:00)第6天：数组的应用6.1 数组的说明6.1.1 为什么用数组6.1.2 一维数组的声明与创建6.1.3 Java内存分析，堆和栈（局部变量存储）6.2数组的初始化6.2.1 静态初始化6.2.2 动态初始化6.3 数组的访问6.3.1 通过下标访问指定元素6.3.2 循环访问6.4 数组的排序6.4.1 冒泡排序6.4.2 选择排序6.5 数组的查找6.5.1 顺序查找6.5.2 二分法查找6.6 Arrays工具类6.6.1 工具类中排序和查找6.7 可变参数6.7.1 可变参数的写法6.7.2 可变参数的使用第7天：上午7.1 二维数组7.1.1 二维数组的声明7.1.2 二维数组的创建7.2 二维数组的初始化7.2.1 静态初始化7.2.2 动态初始化7.3 二维数组的访问7.3.1通过下标访问指定元素7.3.2通过循环访问数组面向对象7.4 面向对象的设计思想7.4.1 什么是面向对象7.5 面向对象和面向过程的区别7.5.1 面向对象7.5.2 面向过程7.5.3 区别总结7.6 类与对象的关系7.6.1 类的定义7.6.2 对象的定义7.6.3 类中成员变量的定义7.6.4 类中方法的定义7.6.5 方法的重载7.7 对象的创建以及内存分析7.8 构造方法的定义7.8.1 构造方法的定义7.8.2 构造方法的使用7.8.3 构造方法重载7.8.4 构造方法与普通方法的区别第8天：封装性（依赖于第5天方法）8.1 面向对象特性之封装8.1.1 private 的使用8.1.2 get/set 方法的说明(讲this之前，参数与成员变量名称要不同)8.2 this关键字8.2.1 this.属性：访问本类的成员属性（成员变量与局部变量同名的情况，成员变量无效）8.2.2 this.方法：访问本类的成员方法8.2.3 this：访问本类中的构造函数8.3 static关键字8.3.1 静态属性8.3.2 静态方法8.3.3 静态代码块8.4 static的应用8.4.1 工具类（操作数组常用方法为例，写一个工具类）8.4.2 工具类的概念8.5 设计模式8.5.1单例设计模式第9天9.1 继承9.1.1 继承的概念9.1.2 类的继承的使用9.2 super关键字9.3 继承中的构造方法9.4 访问权限9.4.1 private9.4.2 default（默认）9.4.3 protected9.4.4 public9.5 方法重写9.5.1 方法重写的规则9.5.2 Object 类9.5.2.1 equals方法9.5.2.2 hashCode方法9.5.2.3 getClass方法9.5.2.4 toString方法9.6 final关键字9.6.1 final修饰的类9.6.2 final修饰的方法9.6.3 final修饰的属性9.6.4 final与static的区别9.7 抽象类和抽象方法9.7.1 抽象类出现的原因9.7.2 抽象类的特点第10天10.1接口10.1.1 接口的概念10.1.2 接口的使用10.1.2.1 接口的声明语法10.1.2.2 接口的实现类10.1.2.3 接口的使用规则10.1.2.4 接口的使用用途10.1.2.5 接口与抽象类的区别10.2多态10.2.1 什么是多态10.2.2 多态的体现10.2.3 对象的多态性10.2.4 多态的表现形式10.3对象转型10.3.1 对象的向上转型10.3.2 instanceof 关键字10.3.3 对象的向下转型10.4 简单工厂设计模式第11天11.1内部类11.1.1 成员内部类11.1.2 静态内部类11.1.3 匿名内部类11.1.4 局部内部类11.2 面向对象总结11.3 Eclipse开发工具的介绍11.3.1 工作空间的概念11.3.2 工程的概念以及命名规范11.3.3 包的概念以及命名规范11.3.3.1 创建包11.3.3.2 导入包11.3.3.3 创建包的命名规范11.3.4 常用快捷键的介绍11.3.5 工程的导入导出11.4 综合案例第12天12.1 字符串12.1.1 String类12.1.2 StringBuffer类12.1.3 StringBuilder类12.1.4 String.format 格式化12.2 常用类12.2.1 基本数据类型的包装类12.2.1.1 基本数据类型与其包装类12.2.2.2 数据的装箱和拆箱12.2.2.3 String 与 基本数据类型的互换12.2.2 Date类12.2.3 Calendar类12.2.4 SimpleDateFormat类12.2.5 Math类12.2.6 Random类12.2.7 Runtime类12.2.8 System类第13天：13.1 枚举的简单使用12.3.1 枚举的定义12.3.2 枚举的使用（结合switch的使用）13.2 异常13.2.1 异常的概念13.2.2 异常的分类13.2.3 异常的处理方式13.2.3.1 捕获异常：try..catch..finally语句13.2.3.2 抛出异常：throws和throw13.2.4 自定义异常13.3 集合框架介绍13.3.1 集合的概念13.3.2 集合的框架结构介绍13.3.3 集合与数组的对比13.4 Collection接口13.4.1 集合对象的创建13.4.2 Collection中常用的方法13.5 List接口13.5.1 List接口的存储特点13.5.2 List接口的实现类13.5.2.1 ArrayList实现类的使用13.5.2.2 LinkedList实现类的使用13.5.2.3 ArrayList与LinkedList存储的比较13.5.3 增强for循环13.6 扩展知识-视频第14天14.1 泛型的使用14.1.1 泛型应用在集合上14.1.2 泛型类声明，方法返回泛型，方法参数泛型14.1.3 泛型限定 视频14.2 Iterator迭代器14.2.1 迭代器的工作原理14.2.2 迭代器的使用14.3 集合工具14.3.1 Collections 工具类14.3.2 Comparable14.3.3 Comparator第15天：15.1 Set接口15.1.1 集合的存储特点15.1.2 HashSet的实现原理15.1.2.1 重写hashCode15.1.2.2 重写equals15.1.3 LinkedHashSet(添加)15.2 Map接口概述15.3 Map接口的常用方法：重点15.4 Map接口的常用实现类15.4.1 HashMap15.4.2 Hashtable 和 HashMap的区别15.4.3 LinkedHashMap15.5 Map的遍历：各种遍历方式 Map.Entry15.6 集合的总结第16天：文件与IO流16.1 File类16.1.1 File类作用16.1.2 File类的构造方法16.1.3 File类常用方法16.1.4 使用File类对文件进行操作16.1.5 使用File类浏览目录中的文件和子目录16.1.6 递归算法遍历目录下所有文件与子目录16.2 IO概念和种类:16.2.1 什么是IO流？16.2.2 流的作用和原理？16.3 IO流的种类:16.3.1 按方向分：输入流、输出流16.3.2 按数据单位分：字符流、字节流16.3.3 按层次分：节点流、处理流17.1 字节输入流:17.1.1 InputStream类的常用方法17.1.2 InputStream类的子类:文件输入流FileInputStream17.1.3 FileInputStream构造方法和常用方法17.2 字节输出流:17.2.1 OutputStream类的常用方法17.2.2 OutputStream类的子类:文件输出类FileOutputStream17.2.3 FileOutputStream构造方法和常用方法第17天：17.1字节缓冲流17.1.1字节缓冲流的构造方法17.1.2使用字节缓冲流对文件进行读写17.1.3 装饰设计模式17.2 字符输入流:17.2.1 Reader类的常用方法17.2.2 Reader类的子类:FileReader17.2.3 FileReader构造方法和常用方法17.3 字符缓冲流17.3.1 字符缓冲流构造方法17.3.2 字符缓冲流的常用方法:readLine， newLine17.3.3 字符缓冲流对文件进行读写17.4 字符输出流17.4.1 Writer类的常用方法17.4.2 Writer类的子类:FileWriter17.4.3 FileWriter构造方法和常用方法17.5 转换流17.5.1 InputStreamReader的构造方法17.5.2 InputStreamReader的使用17.5.3 OutputStreamWriter的构造方法17.5.4 OutputStreamWriter的使用以下为当天的扩展知识（可不讲）：17.6打印流17.6.1打印流构造方法17.6.2打印流的常用操作:print， println17.7 标准输入输出流17.7.1 使用System.in获取键盘数据17.7.2 使用System.out输出数据第18天18.1内存流（重点掌握）18.1.1什么是内存流18.1.2内存流的构造方法写入到内存和读取内存数据18.1.3写入到内存和读取内存数据18.1.4常用方法:toByteArray, toString18.2 数据输入输出流18.2.1 DataOutputStream 使用18.2.2 DataInputStream 使用18.3 对象流18.3.1 对象序列化18.3.2 序列化的常用属性:static的属性不能序列化transient的属性不能序列化serialVersionUID=1L18.3.3 对象输入流ObjectInputStream18.3.4 对象输出流ObjectOutputStream18.4 RandomAccessFile类 （看视频，可不讲）18.4.1 RandomAccessFile类的构造方法18.4.2 RandomAccessFile常用操作:skipBytes seek18.4.3 常用方法: getFilePointer writerUTF readUTF18.4.4 向文件中随机写入键盘文字18.5 IO流总结第19天 多线程19.1进程的介绍19.1.1进程的概念19.1.2线程的介绍19.2 线程的概念19.2.1进程和线程的关系以及区别19.3 线程的实现19.3.1 实现Runnable接口19.3.2 两种实现方式的比较19.4线程的启动19.4.1调用start方法启动线程19.4.2调用start与调用run的区别19.5 线程的生命周期19.6 线程的常用方法19.6.1线程的优先级19.6.2线程的名称19.6.3线程的睡眠19.6.4线程的中断19.6.5线程的停止第20天20.1 多线程访问临界资源时的数据安全问题20.1.1 synchronized关键字20.1.2 同步代码块20.1.3 同步方法20.1.4 同步静态方法20.1.5 锁对象20.1.6 死锁20.2 生产者消费者 （看视频，可不讲）20.3 线程池 （只看视频）20.3.1单线程池20.3.2固定线程池20.3.3缓冲线程池第21天：网络编程21.1 网络通信协议介绍21.1.1 TCP/IP协议21.1.2 IP地址和端口号21.1.3 基于TCP的网络编程21.1.4 Socket和ServerSocket21.1.5 UDP编程第22天：HTTP访问22.1 URL类的使用22.1.1 什么是URL类22.1.2 URL的构造方法22.1.3 URL类的常用方法22.2 HttpURLConnection类简介（重点）22.2.1 简单介绍HttpURLConnection类22.2.2 HttpURLConnection的常用方法22.3 HttpURLConnection类的应用22.3.1 HttpURLConnection请求服务器，获取响应的文本22.3.2 HttpURLConnection下载文件22.4 OkHttp 简单使用24.4.1 同步GET、POST请求22.5 接口回调 ＊＊＊22.5.1 接口回调结合多线程的应用22.5.2 OkHttp 异步请求，利用内部类，实现接口回调第23天：XML 解析23.1 XML简介23.1.1 什么是XML23.1.2 XML语法结构23.1.3 XML元素定义23.1.4 XML属性使用23.1.5 自定义XML文件23.1.6 XML解析的三种方式说明：SAX, PULL, DOM（只看视频）23.2 PULL解析23.2.1 PULL解析原理23.2.2 PULL解析XML文件23.2.3网络XML文件解析23.3 SAX解析23.3.1 SAX解析的原理23.3.2 SAX解析常用类介绍23.3.3 SAX解析XML文件步骤23.3.4网络XML文件解析23.4 PULL解析与SAX解析的区别第24天：JSON解析（重点）24.1 JSON解析简介24.1.1 什么是JSON24.1.2 JSON与XML之间的比较24.1.3 JSON解析在网络中的应用24.2 JSON的数据表示24.2.1 键值对的对象表示24.2.2 数组的表示24.3 JSON解析24.3.1一个对象的JSON解析24.3.2多个对象的解析24.3.3复杂对象的解析24.3.4将集合转成JSON字符串24.4 官方JSON解析24.5 Gson解析第25天25.1 正则表达式25.1.1 String 正则25.1.2 Pattern Matcher25.1.3 正则元字符25.1.4 正则表达式25.2 SQLite数据库25.2.1 数据库创建25.2.2 表的创建以及常用约束25.2.3 增删改查第26天：26.1 反射26.1.1 类的加载 Class.forName26.1.2 创建对象的两种方式（newInstance与带参数构造器）26.1.3 成员变量的访问 Field类 和 getDeclaredField方法26.1.4 方法的访问与调用 Method26.1.5 构造方法26.2 注解第27天：HTML5的简单应用27.1 HTML5网页语言：27.1.1 HTML5介绍27.1.2 HTML5常用标签27.1.3 Form表单27.1.4 HTTP协议分析27.2 CSS样式-常用的属性27.3 JavaScript解释脚本语言第28天 Servlet28.1 Web服务器搭建-Tomcat28.2 Servlet简介：28.2.1 什么是B/S和C/S结构28.2.2 什么是Servlet？28.2.3 doGet与doPost方法的区别28.3 Servlet的应用28.3.1 信息收集实例28.3.2 文件上传实例28.3.3 移动客户端的Http请求处理第29天： 工具类设计29.1 工具类设计原则29.2 单例模式的工具类29.3 静态方法的工具类29.4 接口回调的设计过程29.5 使用Java语言的注意事项第30天： 核心知识点的综合应用30.1 面向对象的设计原则30.2 集合、IO流、异常的应用30.3 网络请求json数据的应用30.4 线程池的下载网络资源的应用如果需要更全的学习资料，可以单独私聊我，免费。有关于大数据的相关问题？请加群提及他们，我们共同讨论。进群备注一点
馆藏&10535
TA的最新馆藏[转]&[转]&[转]&[转]&[转]&[转]&
喜欢该文的人也喜欢Java跟大数据到底是什么关系？
相关标签：
Java跟大数据到底是什么关系？（http://sz.itxdl.cn/java/）大数据人才越来越多的受到社会和企业的青睐，很多想要学习大数据的新人在开始的时候都会觉得自己学的就是大数据，但是真的开始学大数据了，反而发现首先开始的是Java的学习，学大数据前为什么要先学Java？大数据和Java其实有着密不可分的关系。&近几年来，各行各业都在诉说着大数据，就有很多人选择进入互联网行业参加大数据培训，但是很多人对大数据的概念却是模糊的。那什么是大数据呢?据百度百科资料介绍，大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。&可是真正了解大数据不是凭借一条资料，而是要参加系统性的学习。根据深圳兄弟连教育的大数据培训课程来说，首要学习的就是Java编程。这时候很多同学就会疑惑，大数据时代下编程语言有数百种，有Python、Java等等，为什么参加大数据培训要先学习Java编程呢?&&&在深圳兄弟连教育参加大数据培训的许多同学都知道，系统性学习大数据之前，首先要熟练掌握一种计算机编程语言。之所以选择Java作为首要学习的课程是因为大数据中的很多框架都是建立在Java语言基础上的，所以Java是大数据的核心基础。并且Java语言作为面向对象，操作简单。不论是hadoop还是数据挖掘，都需要有高级编程语言的基础。因此，如果想学习大数据开发，还是需要至少精通一门高级语言。&除此之外，在大数据时代之下，许多招聘公司对Java大数据人才的需求更是不断增加。对于已经学习过Java编程，有一定Java语言基础的人来说，就业几率更是大大增加。另外，Java语言作为静态面向对象编程语言的代表，极好地实现了面向对象理论，允许程序员以优雅的思维方式进行复杂的编程。&总的来说，想要学习大数据的同学建议先学习Java编程，因为在之后的课程中hadoop里的yarn和hdfs在spark中也用得到，而且mapreduce的思想和经典设计在其他框架中都会用得到。并且初学者切忌盲目学习，选择一个优秀的大数据培训机构才是正确的。&深圳兄弟连教育大数据培训讲师都拥有多年的培训经验，结合学员的学习曲线，针对设计合理的项目进阶课程，全天面授学员，全方位掌握学员学习动态，让学员逐渐掌握做项目的方法方式，培训真正的项目经验。不仅让学员在课上学到专业的技术知识，更重要的是可以为学员提供丰富的课外学习资源。课程体系详细讲解了大数据生态体系的各个模块的功能和开发技术，最终目的是为了扩展机器学习中的推荐算法(协同过滤)、逻辑回归和SVM，当下企业无不例外都需要“复合型”研发人才。&深圳兄弟连教育成立11年以来，经过深圳兄弟连教育培训毕业的学员已达数十万人，依托万余家就业企业的资源保障，毕业学员成功实现就业。这些学员的成功高薪就业，一方面作证深圳兄弟连教育课程体系与就业企业对接上的完善，另一方面证明深圳兄弟连教育学员就业所具备的能力完全符合企业的招聘要求。&Java跟大数据到底是什么关系？让学员获得更多更全面的专业知识，从而在未来就业中更具有竞争优势。选择深圳兄弟连教育大数据培训，一线大咖，教您学习全面精湛技术，高薪offer正在等着你。深圳兄弟连教育每月Java大数据免费试听课程开始预约，全程大咖级讲师亲授，为你解析Java大数据行业发展趋势，就业前景，解决你的一切疑问！深圳兄弟连教育官网：http://sz.itxdl.cn/java/&
原创内容，请点击培训
人气：1068
只要一个电话
已有1040名同学预约成功！
我们为您免费回电！大数据与Hadoop是什么关系? _达内Java培训官网
400-111-8989
大数据与Hadoop是什么关系?
近年来，大数据越来越火热，不论是如今新兴的Facebook, Google, Uber, Amazon, Airbnb 等互联网公司，还是
Microsoft, Cisco, IBM 等传统的老牌技术公司，甚至是咨询公司、投行、传统实业企业等，对大数据专业人才的需求都在不断增长中。
想要从事大数据领域工作，在简历中有一些必不可少的关键词，包括：Hadoop, MapReduce, Distributed System, Spark
等。目前，市场上对一枚 Hadoop 工程师的标价至少在年薪 115k 以上。
Hadoop是一个对海量数据进行处理的分布式系统架构。Hadoop的框架最核心的设计就是：HDFS 和 MapReduce。
HDFS为海量的数据提供了存储，而 MapReduce为海量的数据提供了计算。
而关于Spark, 如果说 Hadoop
是一个工具箱，那么Spark就只是一种工具，所以，只要你学会了Hadoop，Spark的上手也是非常快的!
运用 Hadoop 可以做一些什么实战项目呢?
首先，我们可以基于 Haoop 框架，运用面试算法中常用的 top k 算法，来进行热门话题的筛选，比如，“微博今日热门话题” “今日头条”
难度再升级一点，我们也可以运用 Hadoop 框架，结合更多的数据，例如用户自身的搜索和浏览习惯数据，来做一个推荐系统： Netflix
Recommender System。
Copyright (C)
Tedu.cn All Rights Reserved 京ICP备号-56 版权所有
选择城市和中心
达内北京亦庄大学生实训基地
达内北京网络营销中心
达内北京会计中心Java行业的人越来越多了该转型大数据工程师吗 为什么很多的java程序员会转行做大数据工程师_上考网
Java行业的人越来越多了该转型大数据工程师吗}