检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
testSingleColumnValueFilter."); } 注意事项 当前二级索引不支持使用SubstringComparator类定义的对象作为Filter的比较器。 例如,如下示例中的用法当前不支持: Scan scan = new Scan(); filterList = new
externalToken.enable = true 用户访问HBase时,需要使用对应集群的配置文件创建Configuration对象,用于创建Connection对象。 MRS集群中支持同时获取多个HBase服务的token,以解决Executor中无法访问HBase的问题,使用方式如下:
Timeout或者SocketTimeout Exception异常。 调优建议: 将ZooKeeper实例个数调整为5个及以上,可以通过设置peerType=observer来增加observer的数目。 通过控制单个任务并发的map数或减少每个节点下运行task的内存,降低节点负载。 升级ZooKeeper数据磁盘,如SSD等。
HConnection实例,很容易达到ZooKeeper的连接数上限。 建议在整个客户端代码范围内,都共用同一个Configuration对象实例。 Table实例的创建 public abstract class TableOperationImpl { private static
batch.delete.count 25 JobServer每一批老化数据的条数。 job.record.expire.count 500000 JobServer老化数据的条数。 job.record.expire.day 7 JobServer作业过期的时间。 logging.level
externalToken.enable = true 用户访问HBase时,需要使用对应集群的配置文件创建Configuration对象,用于创建Connection对象。 MRS集群中支持同时获取多个HBase服务的token,以解决Executor中无法访问HBase的问题,使用方式如下:
查询历史”,打开备份任务执行历史记录。 在弹出的窗口中,在指定一次执行成功记录的“备份路径”列,单击“查看”,打开此次任务执行的备份路径信息,查找以下信息: “备份对象”表示备份的数据源。 “备份路径”表示备份文件保存的完整路径。 选择正确的项目,在“备份路径”手工选中备份文件的完整路径并复制。 在FusionInsight
解决HBase异常问题 解决Hive Role绑定权限卡顿问题 MRS 2.1.0.5 修复问题列表: MRS大数据组件 impala支持ObsFileSystem功能 支持MRS Manager页面以及组件原生页面超时时间可配置 解决Hive绑定权限卡顿问题 解决数据连接失败问题
解决HBase异常问题 解决Hive Role绑定权限卡顿问题 MRS 2.1.0.5 修复问题列表: MRS大数据组件 impala支持ObsFileSystem功能 支持MRS Manager页面以及组件原生页面超时时间可配置 解决Hive绑定权限卡顿问题 解决数据连接失败问题
REGION>")) .build(); BatchDeleteJobsRequest request = new BatchDeleteJobsRequest(); request.withClusterId("{cluster_id}");
16/03/03 16:44:57 INFO mapreduce.JobSubmitter: number of splits:200 16/03/03 16:44:57 INFO mapreduce.JobSubmitter: Submitting tokens for job:
16/03/03 16:44:57 INFO mapreduce.JobSubmitter: number of splits:200 16/03/03 16:44:57 INFO mapreduce.JobSubmitter: Submitting tokens for job:
查看NameNode的GC_OPTS参数配置 NameNode内存配置和数据量对应关系参考表1。 表1 NameNode内存配置和数据量对应关系 文件对象数量 参考值 10,000,000 “-Xms6G -Xmx6G -XX:NewSize=512M -XX:MaxNewSize=512M”
在弹出窗口中输入当前登录的用户密码确认身份,然后单击“确定”。 在确认重启实例的对话框中单击“确定”。 支持单击“查看实例”打开所有配置已过期的实例列表,确认可以执行重启任务。 父主题: 管理MRS集群
val resultValue = hiveValue + hbaseValue.toInt // 设置结果到put对象 put.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes("cid")
val resultValue = hiveValue + hbaseValue.toInt // 设置结果到put对象 put.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes("cid")
进入Linux客户端目录,运行如下命令导入公共环境变量。 cd /opt/client source bigdata_env 在该目录下用hdfs用户进行命令行认证。 kinit hdfs kinit一次票据时效24小时。24小时后再次运行样例,需要重新执行kinit命令。 进入“/opt/clien
运行。 图1 Active Jobs 继续查看已经完成的Job,发现也只有两个,说明Spark Streaming都没有触发数据计算的任务(Spark Streaming默认有两个尝试运行的Job,就是图中两个) 图2 Completed Jobs 回答 经过定位发现,导致这个问题的原因是:Spark
x及之后版本) 登录FusionInsight Manager。 选择“运维 > 备份恢复 > 备份管理 > 创建”。 图1 创建备份任务 设置“备份对象”为“OMS”或需要备份数据的集群。 在“任务名称”输入参数值。 在“备份类型”选择任务执行属性。 表1 备份类型说明 类型 参数 示例 说明
运行。 图1 Active Jobs 继续查看已经完成的Job,发现也只有两个,说明Spark Streaming都没有触发数据计算的任务(Spark Streaming默认有两个尝试运行的Job,就是图中两个) 图2 Completed Jobs 回答 经过定位发现,导致这个问题的原因是:Spark