亦梦亦真
- 浏览: 225805 次
- 性别:
- 来自: 秦皇岛
-
最新评论
-
feilian09：
解决了吗，亲！
关于HBASE里的一个问题 -
di1984HIT：
不对吧，HBase就是支持字节流啊，再说底层存储只要存储字节的 ...
在hbase上存储文件以及下载 -
di1984HIT：
写的不错~
允许ROOT用户远程登录MYSQL -
di1984HIT：
弄明白就好~
关于HDFS删除节点的方法 -
di1984HIT：
恩，说的对~
Servlet资源注射
文章列表
其实网上有很多了，但是说的都不详细。今天我自己测试了一次，把测试结果发布出来：
首先，你的集群肯定是在运行中。并且已经退出的安全模式。
在HADOOP_HOME下新建一个文件，例如slaves.ex，在里面添加需要退服的名称节点的IP地址，一行一个。
然后配置HADOOP_HOME/conf下的hdfs-site.xml添加dfs.host.exclude属性，在value值下写slaves.ex。
然后到HADOOP_HOME/bin目录下，执行hadoop dfsadmin -refreshNodes，然后可以在web页面或是使用hadoop dfsadmin -report，可以 ...
昨天重新把hadoop hbase整理了一下。
以前是2台Datanode节点，现在变成了三台，我设置的hdfs副本数为2，启动后没有什么问题，把本地的文件放上去，下载下来都没有问题，查看显示也是2个Replication，但是当我启动hbase的时候，却发现/hbase目录下面的所有数据Replication显示为3，而我去查看hbase-default.xml里也并没有设置这个副本数。
以前我一直以为，hbase的Replication是根据hdfs的设置的，可是不然。通过查找和询问，最终是在hbase-site.xml里添加一个Dfs.replication来设置hbase的Repli ...
hbase这个功能很是郁闷，使用它给定的API删除某个表的一些内容
public class testDelete extends TestCase {
public static void main(String[] args){
testDelete test = new testDelete();
try {
test.delete();
} catch (Exception e) {
// TODO Auto-generated catch bloc ...
Hadoop添加节点的方法
1.将cluster停止。
2. 在新加的节点上配置好环境，包括ssh，jdk，并将其它datanode上的hadoop和hbase文件夹全部copy过去；
3. 将新的datanode的host加到集群namenode及其他datanode中去；
4. 将新的datanode的host加到master的conf/slaves中；
5. 再次启动cluster,在cluster中看到新的datanode节点；
5. 运行bin/start-balancer.sh，平衡数据。
备注：
1.balance是为了平衡数据，如果不执行该命令，cluster将会把新的数据都存放 ...
其实网上这样的配置很多，但是我看了很多，有的并不正确。其实，hadoop是一个namenode管理多个datanode。同样，hbase也是一个hmaster管理多个zookeeper。
hadoop的配置就不说了，配置都一样。我主要是想写hbase
首先，假设我们的群群有四台计算机，一台namenode三台Datanode（da1,da2,da3）
解压hbase-0.20.6。配置regionserver，regionserver的配置和slaves是一样的，所以regionserver里应该配置da1 da2 da3，并不需要配置namenode
同样的，在hbase-site.xml里配 ...
其实MYSQL远程登录很简单。
首先，进入MYSQL：mysql -u root -p
密码：******
然后可以进入到MYSQL数据库里，查看里面的user表。
执行命令：use mysql;
select host,user from user;这里可以看到
+-----------+------------------+
| host | user |
+-----------+------------------+
| 127.0.0.1 | root |
| localhost | debia ...
其实MYSQL远程登录很简单。
首先，进入MYSQL：mysql -u root -p
密码：******
然后可以进入到MYSQL数据库里，查看里面的user表。
执行命令：use mysql;
select host,user from user;这里可以看到
+-----------+------------------+
| host | user |
+-----------+------------------+
| 127.0.0.1 | root |
| localhost | debia ...
安装了HADOOP HBASE，运行起来了，虽然功能没有任何问题，但是，在日志文件里会出现这样的错误
java.io.IOException: Read error rc = -1 java.nio.DirectByteBuffer[pos=0 lim=4 cap=4]
at org.apache.zookeeper.ClientCnxn$SendThread.doIO(ClientCnxn.java:701)
at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:945)
2011-0 ...
其实在LINUX下安装JDK很简单，一般的情况下，我们会下载一个LINUX下的JDK。通过SSH传到系统目录下，再解压，并在/etc/profile下面，配置好就可以了。但是如果没有SSH或是直接使用LINUX呢？其实也很简单。在LINUX下执行:sudo apt-get install update(更新)
如果你不知道JDK的名字，可以执行命令:sudo apt-cache search jdk6 这样，就可以查找到类似的目录。和WINDOWS下的搜索差不多。然后你就可以看到有一个是sun-java6-jdk OK，这就是我们要找的东西了，然后我们执行:sudo apt-get instal ...
那天因为有一台机器出了问题，所以要去掉，整合了半天，终于找到了那个修改的参数。在hadoop文件目录conf下，core-site.xml里，配置dfs.hosts.exclude属性。但是它的配置不同其它的配置，大多数配置，直接在VALUE里写上要去除的计算机名或IP就可，于是我就这样试了，但是总是不对。后来仔细看来，原来是需要这么配置。
在LINUX下配置方法：
建立一个新的文件： vi slave.ex
将要移除的计算机名字入，这里一行只能写一个计算机名或IP
再将dfs.hosts.exclude的VALUE值里写上slave.ex里就可以了
虽然是一个小问题，但是也弄了快2个小时了，一 ...