检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
处理步骤 以客户端安装用户登录到安装了HBase客户端的节点。
当用户提交了作业之后,就可以关掉Client,作业会继续在YARN上运行,因而YARN-Cluster模式不适合运行交互类型的作业。
通过MapReduce服务的WebUI进行查看 使用具有任务查看权限的用户登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > Mapreduce > JobHistoryServer”进入Web界面后查看任务执行状态。
source bigdata_env 使用在“准备开发用户”章节创建的开发用户进行安全登录。 执行kinit命令进行“人机”用户的安全登录。 kinit用户名 例如: kinit developuser 然后按照提示输入密码,无异常提示返回,则完成了用户的kerberos认证。
FlinkServer对接HBase时需要配置HBASE_CONF_DIR参数 以客户端安装用户登录安装客户端的节点,复制HBase的“/opt/client/HBase/hbase/conf/”目录下的所有配置文件至部署FlinkServer的所有节点的一个空目录,如“/tmp/
进入客户端目录,执行以下命令加载环境变量并登录。若安装了Spark2x多实例或者同时安装了Spark和Spark2x,在使用客户端连接具体实例时,请执行以下命令加载具体实例的环境变量。
登录客户端节点,使用developuser用户进行Kerberos认证。 cd /opt/client source bigdata_env kinit developuser 启动流程。
检查客户端节点网络连接。
图1 HBase HIndex 索引数据不支持滚动升级。 复合索引:用户必须将所有参与复合索引的列全部放入/删除,否则会导致数据不一致。 用户不应将任何split policy显式地配置到已建立索引的数据表中。 不支持mutation操作,如increment、append。
<property> <name>phoenix.spool.directory</name> <value>[1]查询中间结果的临时目录</value> </property> JAVA样例:使用JDBC接口访问HBase public String
检查客户端命令中ZooKeeper地址是否正确,访问ZooKeeper上所存放的Kafka信息,其路径(Znode)应该加上/kafka,发现配置中缺少/kafka。
文件输出 概述 “文件输出”算子,用于配置已生成的字段通过分隔符连接并输出到文件。 输入与输出 输入:需要输出的字段 输出:文件 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出分隔符 配置分隔符。
过程为: 实例化一个FileSystem。 由此FileSystem实例获取各类相关资源。 将待追加内容添加到HDFS的指定文件后面。 在完成后,需关闭所申请资源。
FlinkSQL ClickHouse表开发建议 配置多个ClickHouseBalancer实例IP 配置多个ClickHouseBalancer实例IP可以避免ClickHouseBalancer实例单点故障。
操作步骤 登录FusionInsight Manager,选择“集群 > 服务 > Hive > 配置 > 全部配置”。
MRS集群安全配置 集群互信管理 更换MRS集群证书 MRS集群安全加固 修改MRS集群系统用户密码 修改MRS集群数据库用户密码 父主题: MRS集群运维
登录FusionInsight Manager,选择“集群 > 服务 > Kafka”,单击“Kafka UI”右侧的超链接进入Kafka WebUI界面,在Topics页签搜索CDL任务名称,选择“Operation ”列的“Action > Delete”。
MERGE INTO 命令功能 通过MERGE INTO命令,根据一张表或子查询的连接条件对另外一张表进行查询,连接条件匹配上的进行UPDATE或DELETE,无法匹配的执行INSERT。这个语法仅需要一次全表扫描就完成了全部同步工作,执行效率要高于INSERT+UPDATE。
场景一:使用Flink WebUI界面运行Flink作业 使用具有FlinkServer WebUI管理权限的用户登录集群的FusionInsight Manager,选择“集群 > 服务 > Flink”,单击概览页面“Flink WebUI”后的超链接地址进入FlinkServer
回答 当用户要对Hive表大小数据进行监控时,可以通过HDFS的精细化监控对指定表目录进行监控,从而到达监控指定表大小数据的目的。 前提条件 Hive、HDFS组件功能正常 HDFS精细化监控功能正常 操作步骤 登录FusionInsight Manager。