检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Spark任务不获取HBase Token信息 配置场景 使用Spark提交任务时,Driver默认会去HBase获取Token,访问HBase则需要配置文件“jaas.conf”进行安全认证。此时如果用户未配置“jaas.conf”文件,会导致应用运行失败。 因此,根据应用是否涉及HBase进行以下处理:
/opt/female/SparkHbasetoHbase-1.0.jar 运行Python样例程序 由于pyspark不提供Hbase相关api,本样例使用Python调用Java的方式实现。将所提供 Java代码使用maven打包成jar,并放在相同目录下,运行python程序时要使用--jars把jar包加载到classpath中。
集群外节点访问MRS HDFS报错 问题背景与现象 集群外节点访问MRS HDFS的时候报错:Class org.apache.hadoop.hdfs.server.namenode.ha.AdaptiveFailoverProxyProvider not found。 原因分析
客户端提示访问ZooKeeper失败 问题现象 安全集群中,HiveServer服务正常的情况下,通过jdbc接口连接HiveServer执行sql时报出ZooKeeper认证异常"The ZooKeeper client is AuthFailed",如下: 14/05/19 10:52:00
&& SMS_NAME == 'HBase'</badlines> 针对“<badlines>”标签中的算符和对应的参数类型如表2所示。 表2 算符和对应的参数类型 算符类型 参数类型 && 对应的参数类型应为布尔型。 & 对应的参数类型应为整数。 | 对应的参数类型应为整数。
&& SMS_NAME == 'HBase'</badlines> 针对“<badlines>”标签中的算符和对应的参数类型如表2所示。 表2 算符和对应的参数类型 算符类型 参数类型 && 对应的参数类型应为布尔型。 & 对应的参数类型应为整数。 | 对应的参数类型应为整数。
准备工程 Kafka提供了不同场景下的样例程序,您可以下载样例工程进行程序学习。或者您可以根据指导,新建一个Kafka工程。 导入并配置Kafka样例工程 根据场景开发工程 提供了Producer和Consumer相关API的使用样例,包含了新旧API和多线程的使用场景,帮助用户快速熟悉Kafka接口。
同一集群内,不允许配置相同的名称。不同集群之间,可以配置相同的名称。 脚本路径 obs://mrs-samples/test.sh 脚本的路径。路径可以是OBS文件系统的路径或虚拟机本地的路径。 OBS文件系统的路径,必须以obs://开头,以.sh结尾。例如:obs://mrs-samples/xxx
名? 为什么INSERT INTO CARBON TABLE失败? 为什么含转义字符的输入数据记录到Bad Records中的值与原始数据不同? 当初始Executor为0时,为什么INSERT INTO/LOAD DATA任务分配不正确,打开的task少于可用的Executor?
操作场景 用户可以通过KafkaUI查看Topic详情、修改Topic Configs、增加Topic分区个数、删除Topic,并可实时查看不同时段的生产数据条数。 安全模式下,KafkaUI对查看Topic详情操作不作鉴权处理,即任何用户都可以查询Topic信息;对于修改Topic
创建集群后,扩容集群Core节点或者Task节点。MRS集群创建成功后不支持调整Master节点数量,即不支持扩缩容Master节点。API的调用方法请参见如何调用API。 约束限制 集群已创建成功并处于“运行中”。 已获取待创建集群区域的项目ID,请参考获取项目ID获取。 已获取集群ID,
创建集群后,缩容集群Core节点或者Task节点。MRS集群创建成功后不支持调整Master节点数量,即不支持扩缩容Master节点。API的调用方法请参见如何调用API。 约束限制 集群已创建成功并处于“运行中”。 已获取待创建集群区域的项目ID,请参考获取项目ID获取。 已获取集群ID,
Kafka支持的访问协议类型有哪些? 问: Kafka支持的访问协议类型有哪些? 答: Kafka支持四种协议类型的访问,分别为:PLAINTEXT、SSL、SASL_PLAINTEXT、SASL_SSL。 父主题: 组件配置类
create 'streamingTable','cf1' 在客户端另外一个session通过linux命令构造一个端口进行接收数据(不同操作系统的机器,命令可能不同,suse尝试使用netcat -lk 9999): nc -lk 9999 在构造一个端口进行接收数据时,需要在客户端所在服务器上安装netcat
版本概述 MRS集群版本类型 MRS集群版本类型分为普通版与LTS版本,不同版本集群所包含的组件内容及特性略有不同,用户可根据自身业务需求进行选择。 普通版 功能说明 普通版支持集群基础操作如配置、管理和运维等,具体可以查看用户指南。 组件介绍 除共有组件外,普通版集群还支持Pr
作业模板中包含了连接器的配置信息。创建、更新连接器时,实际上仅调用到作业模板中的连接器的信息。 使用场景 不同的连接器或作业的配置项不同。 更新个别配置项时,使用参数选项方式。 创建连接器或作业时,使用作业模板方式。 本工具目前支持FTP、HDFS、JDBC、MySQL、Oracle以及Oracle
作业模板中包含了连接器的配置信息。创建、更新连接器时,实际上仅调用到作业模板中的连接器的信息。 使用场景 不同的连接器或作业的配置项不同。 更新个别配置项时,使用参数选项方式。 创建连接器或作业时,使用作业模板方式。 本工具目前支持FTP、HDFS、JDBC、MySQL、Oracle以及Oracle
配置Spark任务不获取HBase Token信息 配置场景 使用Spark提交任务时,Driver默认会去HBase获取Token,访问HBase则需要配置文件“jaas.conf”进行安全认证。此时若用户未配置“jaas.conf”文件,会导致应用运行失败。 因此,根据应用是否涉及HBase进行以下处理:
如果集群有混合负载(要求极致性能的点查/范围查询和有大数据量聚合及join查询),建议将不同类型的负载拆分到不同集群;对于集群规划有远远超过100个并发业务系统,也需要设计将业务分摊到不同的集群。 父主题: ClickHouse集群规划
创建Phoenix表 功能简介 Phoenix依赖HBase作为其后备存储,支持标准SQL和JDBC API的强大功能,使得SQL用户可以访问HBase集群。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSampl