亦梦亦真
- 浏览: 225793 次
- 性别:
- 来自: 秦皇岛
-
最新评论
-
feilian09：
解决了吗，亲！
关于HBASE里的一个问题 -
di1984HIT：
不对吧，HBase就是支持字节流啊，再说底层存储只要存储字节的 ...
在hbase上存储文件以及下载 -
di1984HIT：
写的不错~
允许ROOT用户远程登录MYSQL -
di1984HIT：
弄明白就好~
关于HDFS删除节点的方法 -
di1984HIT：
恩，说的对~
Servlet资源注射
文章列表
Hadoop version
HBase version
Compatible?
0.20.2 release
0.90.2
NO
0.20-append
0.90.2
YES
0.21.0 release
0.90.2
NO
0.22.x (in development)
0.90.2
NO
从上图可以看出，HBase0.90.2与Hadoop的主干版本0.20.0是不兼容的，虽然可以使用，但是在生产环境中会导致数据丢失。
比如在hbase的web界面会有如下提醒：
You are currently running the HMaster ...
Hbase完全分布式安装配置手册
- 博客分类：
- HDFS+HBASE
HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce来处理Bigtable中的海量数据，HBase同样利用Hadoop MapReduce来处理HBase中的海量数据；Google Bigtable利用 Chubby作为协同服务，HBase利用Zook ...
HBase性能调优
- 博客分类：
- HDFS+HBASE
因官方Book Performance Tuning部分章节没有按配置项进行索引，不能达到快速查阅的效果。所以我以配置项驱动，重新整理了原文，并补充一些自己的理解，如有错误，欢迎指正。
配置优化
zookeeper.session.timeout默认值：3分钟（180000ms）说明：RegionServer与Zookeeper间的连接超时时间。当超时时间到后，ReigonServer会被Zookeeper从RS集群清单中移除，HMaster收到移除通知后，会对这台server负责的regions重新balance，让其他存活的RegionServer接管.调优：这个timeout决定了Re ...
hbase添加大文件
- 博客分类：
- HDFS+HBASE
一直使用hbase作大容量存储，因为hbase易于存取。
今天，在录入数据的时候，突然报出一个KeyValue size too large。很是奇怪。
后来发现，该数据特别大，经查源码
private void validatePut(final Put put) throws IllegalArgumentException{
if (put.isEmpty()) {
throw new IllegalArgumentException("No columns to insert");
}
if (maxKeyValueS ...
Region Server意外退出
- 博客分类：
- HDFS+HBASE
集群突然nagios报出一台regionserver挂了。顿时忙碌起来。
上去一看，从log中看到这样一条信息
ERROR org.apache.hadoop.hbase.regionserver.HRegionServer: ZooKeeper session expired
之后， regionserver就理直气壮地退出了。
于是查了下代码，看到了在 ...
功能说明：显示，管理
执行中的程序。
语 法：top [bciqsS][d <
间隔秒数>][n <
执行次数
>]
补充说明：执行top
指令可显示目前正在系统中执行的程序，并通过它所提供的互动式界面，用热键加以管理。
参 数：
b
使用批处理模式。
c
centos搭建NTP服务器（转）
- 博客分类：
- CENTOS服务器
#为了保证应用程序层和数据库层的服务器能够同步时钟，所以要架设一台NTP服务器，让内部所有的服务器来同步NTP服务器的时钟
#检查服务器是否安装ntp [root@ntp ~]# rpm -qa |grep ntp
#yum安装ntp [root@ntp ~]# yum install -y ntp
#源码包安装ntp [root@ntp ~]# wget http://www.eecis.udel.edu/~ntp/ntp_spool/ntp4/ntp-4.2/ntp-4.2.6p2.tar.gz [root@ntp ~]# tar -zxvf ntp-4.2.6p2.tar.gz ...
转载地址：http://hi.baidu.com/stei/blog/item/c2a5a619a058694d42a9adf2.html
1.首先需了解linux内一任务计划工具crontab
crontab可以定时去执行你要做的动作
直接用crontab命令编辑 crontab -u //设定某个用户的cron服务，一般root用户在执行这个命令的时候需要此参数 crontab -l //列出某个用户cron服务的详细内容 crontab -r //删除某个用户的cron服务 crontab -e //编辑某个用户的cron服务
一般使用crontab -e来编辑一个计划动作 ...
Hadoop的部署环境是经过虚拟化之后的四台主机，OS是Ubuntu Server10.04。（XenServer5.6兼容的OS并不包括Ubuntu，将Ubuntu转成PV也是一个折腾的过程，另文介绍）。Hadoop的版本号依旧是：0.20.2.安装Java环境如上一讲所示。
主机 ...
<script></script><script></script>http://blog.csdn.net/karen_wang/archive/2011/03/28/6284154.aspx
1、需要的jar包：
commons-codec-1.4.jar
commons-logging-1.0.4.jar
hadoop-0.20.2-core.jar
hbase-0.20.6.jar
log4j-1.2.15.jar
zookeeper-3.2.2.jar
2、已 ...
使用Shell脚本来实现FTP的自动上传下载
Posted on 2008-04-17 21:29 breathing 阅读(511) 评论(0) 编辑 收藏
配置SBC2410开发板的NFS死活不行，专用ftp，编写shell脚本实现ftp的自动上传下载
1. FTP自动登录批量下载文件。
#####从ftp服务器上的/home/data 到 本地的/home/databackup####
#!/bin/bash
ftp -n<<!
open 192.168. ...
删除 mysqlsudo apt-get autoremove –purge mysql-server-5.0sudo apt-get remove mysql-serversudo apt-get autoremove mysql-serversudo apt-get remove mysql-common //这个很重要
清理残留数据
dpkg -l |grep ^rc|awk '{print $2}' |sudo xargs dpkg -P
启动： /etc/init.d/mysql start 停止： /etc/init.d/mysql stop 重启： /etc/init.d/mysql restart
非ROOT用户需要加sudo
Stack and heap（from others）
Java栈与堆
----对这两个概念的不明好久，终于找到一篇好文，拿来共享
1. 栈(stack)与堆(heap)都是Java用来在Ram中存放数据的地方。与C++不同，Java自动管理栈和堆，程序员不能直接地设置栈或堆。
2.
栈的优势是，存取速度比堆要快，仅次于直接位于CPU中的寄存器。但缺点是，存在栈中的数据大小与生存期必须是确定的，缺乏灵活性。另外，栈数据可以共
享，详见第3点。堆的优势是可以动态地分配内存大小，生存期也不必事先告诉编译器，Java的垃圾收集器会自动收走这 ...