检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
BulkLoad接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将要插入的数据的rowKey构造成rdd,然后通过HBaseContext的bulkLoad接口将rdd写入HFile中。将生成的HFile文件导入HBase表的
基于分区的任务黑名单异常如何处理 问题 Map&Reduce任务失败,并且故障节点数与集群总节点数的比值低于“yarn.resourcemanager.am-scheduling.node-blacklisting-disable-threshold”配置的黑名单阈值,为什么Ma
如何为ClickHouse用户赋予数据库级别的Select权限 操作步骤 登录到MRS集群装有ClickHouse客户端的节点,执行如下命令: su - omm source {客户端安装目录}/bigdata_env kinit 组件用户(普通集群无需执行kinit命令) clickhouse
foreachPartition接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,将要插入的数据的rowKey构造成rdd,然后通过HBaseContext的mapPartition接口将rdd并发写入HBase表中。 数据规划
日志聚合下,如何查看Spark已完成应用日志 问题 当YARN开启了日志聚合功能时,如何在页面看到聚合后的container日志? 回答 请参考配置WebUI上查看Container日志。 父主题: Spark Core
使用Tableau访问HetuEngine 本章节以Tableau Desktop 2022.2版本为例,讲解如何访问安全模式集群的HetuEngine。 前提条件 已安装Tableau Desktop。 已获取JDBC jar包文件,获取方法请参考1。 已在集群中创建“人机”用
foreachPartition接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,将要插入的数据的rowKey构造成rdd,然后通过HBaseContext的mapPartition接口将rdd并发写入HBase表中。 数据规划
在缓存中找不到HDFS_DELEGATION_TOKEN如何处理 问题 安全模式下,为什么在缓存中找不到HDFS_DELEGATION_TOKEN? 回答 在MapReduce中,默认情况下,任务完成之后,HDFS_DELEGATION_TOKEN将会被删除。因此如果在下一个任务中再次使用HDFS_DELEGAT
使用KafkaManager KafkaManager介绍 访问KafkaManager的WebUI 管理Kafka集群 Kafka集群监控管理
BulkLoad接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将要插入的数据的rowKey构造成rdd,然后通过HBaseContext的bulkLoad接口将rdd写入HFile中。将生成的HFile文件导入HBase表的
foreachPartition接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,将要插入的数据的rowKey构造成rdd,然后通过HBaseContext的mapPartition接口将rdd并发写入HBase表中。 数据规划
字符,可使用单引号进行转义;非加密密码中含有单引号时可用双引号进行转义,非加密密码中含有双引号应使用反斜杠\进行转义。可参考Shell的转义字符规则。 - use.keytab 是否使用keytab方式登录。 true,表示使用keytab文件登录 false,表示使用密码登录。
使用IBM JDK产生异常“Problem performing GSS wrap”如何处理 问题 使用IBM JDK产生异常,提示“Problem performing GSS wrap”信息。 回答 问题原因: 在IBM JDK下建立的Hive connection时间超过登
字符,可使用单引号进行转义;非加密密码中含有单引号时可用双引号进行转义,非加密密码中含有双引号应使用反斜杠\进行转义。可参考Shell的转义字符规则。 - use.keytab 是否使用keytab方式登录。 true,表示使用keytab文件登录 false,表示使用密码登录。
keytab 是否使用keytab方式登录。 true,表示使用keytab文件登录 false,表示使用密码登录。 true client.principal 使用keytab认证方式时,访问Loader服务的用户规则。 普通模式或者密码登录方式,则不需要设置该参数。 loader/hadoop
keytab 是否使用keytab方式登录。 true,表示使用keytab文件登录 false,表示使用密码登录。 true client.principal 使用keytab认证方式时,访问Loader服务的用户规则。 普通模式或者密码登录方式,则不需要设置该参数。 loader/hadoop
配置集群安全组规则。 在集群“概览”界面,选择“添加安全组规则 > 管理安全组规则”。 在“入方向规则”页签,选择“添加规则”,在“添加入方向规则”配置ECS节点的IP和放开所有端口。 安全组规则添加完成后,可以直接下载并安装客户端到集群外ECS节点,具体请参考安装客户端。 使用客户端。
基于分区的任务黑名单异常如何处理 问题 Map&Reduce任务失败,并且故障节点数与集群总节点数的比值低于“yarn.resourcemanager.am-scheduling.node-blacklisting-disable-threshold”配置的黑名单阈值,为什么Ma
Spark yarn-client模式下如何修改日志级别为INFO 问题 Spark yarn-client模式下如何修改日志级别为INFO? 回答 登录Spark客户端节点,修改“{客户端安装目录}Spark/spark/conf/log4j.properties”配置文件,修改参数“Log4j
使用DBeaver访问Phoenix 本章节以DBeaver 6.3.5版本为例,讲解如何访问MRS 3.1.0未开启Kerberos认证的集群,且该集群的HBase服务未开启Ranger鉴权。 前提条件 已安装DBeaver 6.3.5,DBeaver软件下载链接为:https://dbeaver