一直使用hbase作大容量存储,因为hbase易于存取。
今天,在录入数据的时候,突然报出一个KeyValue size too large。很是奇怪。
后来发现,该数据特别大,经查源码
private void validatePut(final Put put) throws IllegalArgumentException{
if (put.isEmpty()) {
throw new IllegalArgumentException("No columns to insert");
}
if (maxKeyValueSize > 0) {
for (List<KeyValue> list : put.getFamilyMap().values()) {
for (KeyValue kv : list) {
if (kv.getLength() > maxKeyValueSize) {
throw new IllegalArgumentException("KeyValue size too large");
}
}
}
}
}
说明当某一列的值大于该值的时候,将会抛出该异常,又查看maxKeyValueSize,发现它调用的是hbase配置里的hbase.client.keyvalue.maxsize,默认大小为10M,即
10485760 。将它改大即可。
但是,当我修改完以后,启动hbase总是出问题,后来又将hbase-env.sh里的HBASE_HEAPSIZE改大。
后来又将mapred-site.xml中的mapred.tasktracker.indexcache.mb改大,至于大于hbase.client.keyvalue.maxsize,不知道有没有影响,以防万一吧,我觉得hbase的执行应该是跟job有关系的吧。
请大家多多指教
分享到:
相关推荐
3.修改配置文件hbase-env 7 4.修改配置hbase-site 7 5.修正版本 8 6.启动 9 二:访问web ui 9 1.网址 9 三:简单使用(namespace的操作) 11 1.开始 11 2.help 12 3.hbase的shell脚本 13 4.对namespace的操作 13 5....
一.实验内容 HBase编程实践: 1)在Hadoop基础上安装HBase; 2)使用Shell命令(create:创建表 、list:列出HBase中所有的表信息、put:向表、行、列...(1)解压HBase文件到/usr/local目录下,并将目录改名为hbase:
数据的添加、编辑、删除; 数据的全部清空、多条删除、多条复制; 查询 主键的精确; 关键字的模糊查询 关键字的模糊查询过滤显示; 数据查询结果的分页显示操作,并且对查询关键字高亮显示; 导出 表结构的导出; 表...
毕业设计-基于java+HBase实现的手机数据备份系统(短信、联系人、重要文件).zip 基于HBase实现的手机数据备份系统,实现了手机关键信息的备份,如短信、联系人等。 包括服务器端(Server)和客户端(Client) Server...
通过使用 WAL 和缓冲的 Put 从 Hdfs 文件中摄取 HBase 记录 通过 WAL(使用 Put)将具有 PARQUET 格式的 hdfs 文件加载到 Hbase 的包。 该包基于仅使用 Mapper 加载表。 很快我将添加如何使用 reducer 以及使用 MR ...
添加短信Action----------->AddInfoAction.java 获取短信Action----------->GetInfoAction.java 同步联系人Action--------->AddContactAction.java 上传文件Action----------->UploadFileAction.java 下载文件Action...
1、在HBase shell中创建数据表 create '表名', {NAME=>'Polygon/Polyline/Point'} ...4、将HFile添加到HBase表中 hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles HFile路径 空间数据表名
Hive HBase生成HFile 该项目包含一个示例,该示例利用Hive HBaseStorageHandler生成HFile。 这种模式提供了一种方法,用于获取已存储在Hive中的数据,将其导出为HFile,并从这些HFile批量加载HBase表。概述HFile生成...
大数据时代,海量数据的存储和分析是一个巨大的挑战,给hadoop或者hbase集群添加数据压缩的能力,是必不可少的,通过压缩不但能节约磁盘空间,而且也能节省集群间网络带宽的损耗,从而间接提高了集群任务的整体执行...
以及分布式数据库HBase在存储文件名重复度和类似度高时产生访问热点的问题,结合样本数据集的特点、类型,提出一种面向样本数据集存取优化方案,优化样本数据集中小文件的写入、读取、添加、删除和替换策略。...
此自述文件为您提供了在opentsdb安装的顶部添加accumulo-opentsdb的步骤的概述,以将时间序列数据而不是HBase放入accumulo。 依赖 在添加此补丁之前,我们假设您已经安装了以下软件: Maven 3.1.0(有关下载和安装...
找不到或无法加载主类org.jruby.Main。 原因是/usr/local/hbase/lib 目录下没有jruby-complete-1.7.19.jar文件.,下载本文件,解压缩后将jar文件直接添加到/usr/local/hbase/lib 目录下。
,以及直接文件系统支持) 向这些商店添加对地理对象和地理空间运算符的支持 为地理空间数据的分布式处理和分析提供 Map-Reduce 输入和输出格式 地理空间软件插件允许通过 OGC 标准服务共享和可视化各种键/值存储中...
网上教程虽然多,但是有些教程比较老,许多教程忽略许多安装过程中的细节,比如添加用户的权限,文件权限,小编在安装过程遇到许多这样的问题所以想写一篇完整的教程,希望对初学Hadoop的人有一个直观的了解,我们...
Dataworks-aws-ingest副本Ingest-hbase副本的基础结构此存储库包含Makefile和基本terraform文件夹以及jinja2文件,以适合标准模式。 此存储库是创建新的Terraform存储库,重命名模板文件并添加githooks子模块的基础...
HTML_JavaScript_代码_相关文件_下载 HueMagic 为 Node-RED 提供了多个输入和输出节点,是控制飞利浦 Hue 桥、灯、组、场景、规则、按钮/开关、运动传感器、温度...更多详情、使用方法,请下载后细读README.md文件
3.如果是新添加一个节点,需要执行以下步骤: 首先,把新节点的 IP或主机名 加入主节点(master)的 conf/slaves 文件。 然后登录新的从节点,执行以下命令: $ cd path/to/hadoop $ bin/hadoop-daemon.sh start ...
Ambari Metrics ,Hbase rootdir路径问题 50 11.15.2. Atlas 51 12. Ambari集成ElasticSearch6.x 51 12.1. 通过SSH把源码传到centos机器上 51 12.2. 复制源码到Ambari 51 12.3. 编辑metainfo.xml文件 51 12.4. 启动/...
可添加到配置文件 用 启动服务器: bin/hbase_start 访问Perl bash: bin/hbase shell 会议总结 放映09/16 开始: 安装 基本的外壳请求(放入,获取...) Java查询:Put,Scanner,Filter ... 23/09的放映 课程...
用户可以通过页面选择数据源即可创建数据同步任务,支持RDBMS,Hive,HBase,ClickHouse,MongoDB等数据源,RDBMS数据源可批量创建数据同步任务,支持实时查看数据同步进度及日志并提供终止同步功能,集成并二次开发...