检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置HDFS token的最大存活时间 配置场景 安全模式下,HDFS中用户可以对Token的最大存活时间和Token renew的时间间隔进行灵活地设置,根据集群的具体需求合理地配置。 配置描述 参数入口: 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。
配置HDFS token的最大存活时间 配置场景 安全模式下,HDFS中用户可以对Token的最大存活时间和Token renew的时间间隔进行灵活地设置,根据集群的具体需求合理地配置。 配置描述 参数入口: 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。
如何清理由于建表失败残留在ZooKeeper中的table-lock节点下的表名 问题 安全模式下,由于建表失败,在ZooKeeper的table-lock节点(默认路径/hbase/table-lock)下残留有新建的表名,请问该如何清理? 回答 操作步骤如下: 在安装好客户端的环境下,使用hbase用户进行kinit认证。
HiveServer或者MetaStore实例的健康状态为Concerning 问题现象 HiveServer或者MetaStore实例的健康状态为Concerning。 可能原因 HiveServer或者MetaStore实例在启动的时候发生异常,无法正常启动。如,当修改MetaStore/HiveServer
Server。根据客户端的不同,提供如下两种客户端的链接方式。 使用MRS提供的客户端。 未启用Kerberos认证的集群,执行以下命令连接本集群的Presto Server。 presto_cli.sh 未启用Kerberos认证的集群,执行以下命令连接其他集群的Presto Ser
安全集群执行set命令的时候报错“Cannot modify xxx at runtime” 问题现象 执行set命令时报以下错误: 0: jdbc:hive2://192.168.1.18:21066/> set mapred.job.queue.name=QueueA; Error:
快速使用Flume采集节点日志 Flume支持将采集的日志信息导入到Kafka。 前提条件 已创建开启Kerberos认证的包含Flume、Kafka等组件的流式集群。可参考购买自定义集群。 已配置网络,使日志生成节点与流集群互通。 使用Flume客户端 普通集群不需要执行2-6。
tasource表的插入写操作逻辑,使用Hive表时逻辑不会自动格式化时间戳,使用Datasource表时会自动格式化时间戳。 如果写入的分区字段是a='2016-8-1 11:45:5'会自动格式化成a='2016-08-01 11:45:05',此时查询使用a='2016-8-1
BulkPut接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将构建的RDD写入HBase中。 数据规划 在客户端执行hbase shell,进入HBase命令行,使用下面的命令创建样例代码中要使用的Hase表: create
BulkPut接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将构建的RDD写入HBase中。 数据规划 在客户端执行hbase shell,进入HBase命令行,使用下面的命令创建样例代码中要使用的HBase表: create
BulkDelete接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将要删除的数据的rowKey构造成rdd,然后通过HBaseContext的bulkDelete接口对HBase表上这些rowKey对应的数据进行删除。 数据规划
BulkDelete接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将要删除的数据的rowKey构造成rdd,然后通过HBaseContext的bulkDelete接口对HBase表上这些rowKey对应的数据进行删除。 数据规划
快速使用Hadoop 本章节提供从零开始使用Hadoop提交wordcount作业的操作指导,wordcount是最经典的Hadoop作业,它用来统计海量文本的单词数量。 操作步骤 准备wordcount程序。 开源的Hadoop的样例程序包含多个例子,其中包含wordcount。可以从https://dist
Flume配置工具示例 双击对应的source、channel以及sink,根据实际环境并参考表1设置对应的配置参数。 如果对应的Flume角色之前已经配置过服务端参数,为保证与之前的配置保持一致,在FusionInsight Manager界面选择“集群 > 待操作集群的名称 > 服务 > Flume
服务解析token的project_id与集群的project_id不符合。 处理步骤 在使用AK/SK认证方式调用接口前,请参见表1收集对应信息,详细的签名方法和SDK使用方法请参见API签名指南。 在构造API请求前,需要获取以下信息,包括组成请求URL的Endpoint和U
优化了读取块数据的并行性。 为了优化并行数据处理及并行读取块数据,CarbonData根据块的局域性申请executor,因此CarbonData可获得所有节点上的executor。 为了优化并行数据处理及并行读取块数据,运用动态分配的用户需配置以下特性。 使用参数“spark.dynamicAllocation
Impalad的xmx内存小于catalog的xmx内存,Impalad节点持续报Full GC,SQL一直处于created状态 问题 Impalad的xmx内存小于Catalog的xmx内存,catalog长期运行,内存已经超过了impalad的xmx 内存,Impalad节点持续报Full
0版本集群中Spark消费kafka数据,过一天以后就会出现认证失败的报错: 原因分析 集群版本和运行的程序包版本不匹配。 处理步骤 参考运行Spark Streaming 对接Kafka0-10样例程序进行相关配置。 当前集群为MRS 2.1.0版本,请如需使用Maven库中的提供的样例程序,请获取spark-st
BulkLoad接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将要插入的数据的rowKey构造成rdd,然后通过HBaseContext的bulkLoad接口将rdd写入HFile中。将生成的HFile导入HBase表的操作采用如下
BulkLoad接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将要插入的数据的rowKey构造成rdd,然后通过HBaseContext的bulkLoad接口将rdd写入HFile中。将生成的HFile导入HBase表的操作采用如下