检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
默认是30次,每次间隔默认为30秒左右,每次重试时都会报上面的错误。超过次数后,driver才会退出。 RM中关于重试相关的配置项如表1所示。 表1 参数说明 参数 描述 默认值 yarn.resourcemanager.connect.max-wait.ms 连接RM的等待时间最大值。
同步Hudi表(存储层中的Hudi数据目录)到Hive。 命令格式 call sync_hive(table => '[table]', tablePath => '[tablePath]') 参数描述 表1 参数描述 参数 描述 是否必填 table 需要同步到hive的表名 是,表可以不存在,不存在会创建该表
ConsumerRecords<String, String> records = consumer.poll(waitTime); for (ConsumerRecord<String, String> record : records) {
ConsumerRecords<String, String> records = consumer.poll(waitTime); for (ConsumerRecord<String, String> record : records) {
String[] words = line.toLowerCase(Locale.getDefault()).split(REGEX_STRING); for (String word : words) {
可根据实际业务场景选择对应的样例,相关样例介绍请参见HBase应用开发样例工程介绍。 若需要在本地Windows调测HBase样例代码,需参考表1放置各样例项目所需的配置文件: 表1 放置各样例项目所需的配置文件 样例工程位置 需放置的配置/认证文件 hbase-examples/hbase-example(单集群场景)
启Kerberos认证的集群中,通过界面方式提交作业。 IAM用户权限策略及同步MRS后权限对比请参考表1,Manager对应默认权限说明请参考MRS集群默认权限信息说明。 表1 IAM权限策略与MRS权限同步映射 策略类别 IAM策略 同步后用户在MRS对应默认权限 是否有权限执行同步操作
rk2x/hbase /user/developuser/myjobs/apps/spark2x/hive 将表格中的文件上传到对应目录,请参考表2。 表2 文件上传列表 初始文件路径 文件 上传目标目录 Spark客户端目录(如“/opt/client/Spark2x/spark/conf”)
String[] words = line.toLowerCase(Locale.getDefault()).split(REGEX_STRING); for (String word : words) {
e-site.xml)中添加如下配置: <property> <name>hive.metastore.sasl.enabled</name> <value>true</value> </property> 使用Hive客户端,在beeline中创建源表t1:create table
通过ECS访问FusionInsight Manager 登录MRS管理控制台。 在“现有集群”列表中,单击指定的集群名称。 记录集群的“可用区”、“虚拟私有云”、“集群管理页面”、“安全组”。 在管理控制台首页服务列表中选择“弹性云服务器”,进入ECS管理控制台,创建一个新的弹性云服务器。 弹性云
不涉及 取值范围: LOCAL_DB:本地元数据 RDS_POSTGRES:RDS服务PostgreSQL数据库 RDS_MYSQL:RDS服务MySQL数据库 gaussdb-mysql:云数据库GaussDB(for MySQL) 默认取值: 不涉及 cluster_id 否 String
se服务,卸载前请将此参数值改回“false”)。 创建HBase表,构造数据,列需要包含key,modify_time,valid。其中每条数据key值全表唯一,modify_time代表修改时间,valid代表是否为有效数据(该样例中'1'为有效,'0'为无效数据)。 示例:进入hbase
Manager页面新建的租户删除失败 问题现象 在FusionInsight Manager的“租户资源”页面添加租户后,删除租户时,报“删除租户角色失败”。 原因分析 在创建租户时会生成对应的角色,执行删除租户操作时会首先删除对应的角色。此时如果支持权限配置的组件状态异常,则会导致删除这个角色对应的资源权限失败。
ion: Keytab is not a readable file: /opt/test/conf/user.keytab。 解决方法:添加Flume运行用户读写权限。 问题:执行Flume客户端连接Kafka报如下错误: Caused by: java.io.IOException:
(可选)如果对接的集群开启了ZooKeeper的SSL认证通信功能,则运行JDBCExampleZk和JDBCExamplePasswordZK时需要添加JVM配置参数,如下所示: -Dzookeeper.clientCnxnSocket=org.apache.zookeeper.ClientCnxnSocketNetty
w.everyone.if.no.acl.found”的值修改为“true”(普通集群不需配置)。 创建Topic。 {zkQuorum}表示ZooKeeper集群信息,格式为IP:port。 $KAFKA_HOME/bin/kafka-topics.sh --create --zookeeper
t_time]', end_instant_time=>'[end_time]'); 参数描述 表1 参数描述 参数 描述 table_name 需要清理无效数据文件的Hudi表的表名,必选。 op_type 命令运行模式,可选,默认值为dry_run,取值:dry_run、repair、undo、query。
的任意目录(例如“ /opt/” )下。 数据规划 创建HBase表,构造数据,列需要包含key,modify_time,valid。其中每条数据key值全表唯一,modify_time代表修改时间,valid代表是否为有效数据(该样例中'1'为有效,'0'为无效数据)。 示例:进入hbase
Spark连接Kafka认证错误 问题现象 MRS 2.1.0版本集群中Spark消费kafka数据,过一天以后就会出现认证失败的报错: 原因分析 集群版本和运行的程序包版本不匹配。 处理步骤 参考运行Spark Streaming 对接Kafka0-10样例程序进行相关配置。 当前集群为MRS