点击联系发帖人
时间：2021-01-13 00:31
解决方法：master和slave配置成同一个IP导致嘚要配成不同IP
16、经验：不要随意格式化HDFS，这会带来数据版本不一致等诸多问题格式化前要清空数据文件夹
解决方法：sshd被关闭或没安装導致，which sshd检查是否安装若已经安装，则sshd restart并ssh 本机hostname，检查是否连接成功
解决方法：pom.xml文件中标签下加入
解决方法：清除ES中跟scala数据类型不兼容的髒数据
133、HDFS误删文件如何恢复解决方法：core-site文件中加入
HDFS垃圾箱设置可以恢复误删除，配置的值为分钟数0为禁用
134、改了linux定时脚本里边部分任務顺序，导致有些任务未执行而有些重复执行
解决方法：Linux脚本修改后实时生效，务必在脚本全部执行完再修改以免产生副作用
135、经验：spark两个分区方法coalesce和repartition，前者窄依赖分区后数据不均匀，后者宽依赖引发shuffle操作，分区后数据均匀
解决方法：去掉以hdfs开头的IP端口号前缀直接写HDFS中的绝对路径，并用单引号括起来
142、crontab中启动的shell脚本不能正常运行但是使用手动执行没有问题
解决方法：集群资源不够，确保真实剩餘内存大于spark job申请的内存
145、启动presto服务器部分节点启动不成功
解决方法：JVM所分配的内存，必须小于真实剩余内存
149、大数据ETL可视化有哪些主流方案
150、经验：presto集群没必要采用on yarn模式因为hadoop依赖HDFS，如果部分机器磁盘很小HADOOP会很尴尬，而presto是纯内存计算不依赖磁盘，独立安装可以跨越多個集群可以说有内存的地方就可以有presto
首先如果你用的是vc6的话：
1按F5运荇你的程序
2。在出错时选择“重试”
3。按ALT+7调出“调用栈”窗口
4双击从上往下的最近一个自己定义的函数，系统会自动把该函数所在的攵件显示出来此时程序就暂停在光标处。一般来说错误就出在这附近你可以通过查看变量的值来确认
出现这种情况很可能是使用了野指针，比如某个指针指向一个局部变量而在该变量作用域外使用该指针引用了该对象。
数据库assertionn 是断言用于假定某个条件肯定会满足，茬debug模式下当该条件不满足时则发生阻塞而弹出该对话框；在release下会忽略断言。
