检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用HDFS上传命令,将“dataLoad”目录上传到HDFS某个指定目录(oozie_cli用户需要对该目录有读写权限)。
当前样例代码中操作HBase的接口有三种,分别是普通接口,HFS接口(MRS 1.9.x版本不再支持该接口),REST接口。调试不同API接口操作HBase时可以注释其他接口调用。这里以使用普通接口操作HBase为例,main方法中只包含如下代码段。
使用HDFS上传命令,将“dataLoad”目录上传到HDFS某个指定目录(developuser用户需要对该目录有读写权限)。
例如设置并发数为1,Doris有三个FE节点,则从集群角度看,最大可运行的SQL数为3。
该路径需存在,且对flume运行用户有读写执行权限。 /srv/BigData/hadoop/data1/zb trackerDir flume采集文件信息元数据保存路径。
-update-mode <mode> 更新模式,有两个值updateonly和默认的allowinsert,该参数只能在关系数据表里不存在要导入的记录时才能使用,比如要导入的hdfs中有一条id=1的记录,如果在表里已经有一条记录id=2,那么更新会失败。
该路径需存在,且对flume运行用户有读写执行权限。 /srv/BigData/hadoop/data1/zb trackerDir flume采集文件信息元数据保存路径。
登录华为云MRS管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”页签。 请开启卸载前关闭的弹性策略。 父主题: 回滚补丁
选择Redis数据连接类型时,需提前准备“分布式缓存服务 Redis版”实例,并确保其“实例类型”为“Cluster集群”、“访问方式”为“免密访问”、同时“区域”和“虚拟私有云”需与Flink所在集群相同。 - 数据连接名称 数据连接的名称。
华为云根据客户等级定义了不同客户的宽限期和保留期时长。 在MRS集群到期前均可开通自动续费,到期前7日凌晨3:00首次尝试自动续费,如果扣款失败,每天凌晨3:00尝试一次,直至MRS集群到期或者续费成功。到期前7日自动续费扣款是系统默认配置,您也可以根据需要修改此扣款日。
登录Core节点后台,参考如何使用自动化工具配置华为云镜像源(x86_64和ARM)?配置yum源。 使用uname -r或rpm -qa |grep kernel命令,查询并记录当前节点内核版本。
登录华为云MRS管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”页签。 请开启卸载前关闭的弹性策略。 父主题: 回滚补丁
/opt/test/conf/user.keytab 说明: user.keytab文件从下载用户flume_hdfs的kerberos证书文件中获取,另外,确保用于安装和运行Flume客户端的用户对user.keytab文件有读写权限。
Djava.net.preferIPv4Stack=true -Djava.net.preferIPv6Addresses=false -Dbeetle.application.home.path=${BIGDATA_HOME}/common/runtime/security/config 使用Combiner 在Map阶段,有一个可选过程
使用HDFS上传命令,将“dataLoad”目录上传到HDFS某个指定目录(developuser用户需要对该目录有读写权限)。
查看该Topic有哪些Partition以及这些Partition所在的主机信息。
可能原因 Flink作业RocksDB的Get P95耗时持续超过阈值的可能原因: Level0层SST文件数太多,导致查询慢,伴随有“ALM-45644 RocksDB的Level0层SST文件数持续超过阈值”的告警。
查看或绑定委托的操作如下: 登录MRS集群的“概览”页面,查看“委托”参数是否有值,且绑定的委托具有OBS文件系统操作权限。 是,集群已绑定委托。 否,执行4.b。 单击“管理委托”,为集群绑定具有OBS文件系统操作权限的委托。
Djava.net.preferIPv4Stack=true -Djava.net.preferIPv6Addresses=false -Dbeetle.application.home.path=${BIGDATA_HOME}/common/runtime/security/config 使用Combiner 在Map阶段,有一个可选过程
查看或绑定委托的操作如下: 登录MRS集群的“概览”页面,查看“委托”参数是否有值,且绑定的委托具有OBS文件系统操作权限。 是,集群已绑定委托。 否,执行4.b。 单击“管理委托”,为集群绑定具有OBS文件系统操作权限的委托。