正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据表的全表查询转换为对索引表的精确范围查询,提升查询速度。开启全局二级索引特性后,应用侧代码无需特殊修改,简单易用。 MRS 3.3.0及之后版本的集群默认启用HBase全局二级索引功能,如果需要修改全局二级索引相关参数,需登录FusionInsight Manager,选择“集群
--detached:以分离方式运行job。 -files,--dependencyFiles <arg>:Flink程序依赖的文件。该参数适用于MRS 3.2.0及以后版本。 -n,--allowNonRestoredState: 从快照点恢复时允许跳过不能恢复的状态。比如删除了程序中某个操作符,那么在恢复快照点时需要增加该参数。
具体操作可参考添加HBase的Ranger访问权限策略。 同步主集群表数据。 检查配置HBase容灾并启用数据同步后,主集群是否已存在表及数据,且历史数据需要同步到备集群? 是,存在表且需要同步数据,以HBase表用户登录安装主集群HBase客户端的节点,并执行kinit 用户
toString()); return props; } BOOTSTRAP_SERVERS需根据集群实际情况,配置为Kafka Broker节点的主机名及端口,可通过集群FusionInsight Manager界面中选择“集群 > 服务 > Kafka > 实例”查看。 SECURITY_P
x环境中调测HBase应用章节的2,以及1导出的Jar包,上传到Linux的“lib”目录。将准备连接HBase集群配置文件获取的配置文件及认证文件上传到Linux中“conf”目录。 在“/opt/test”根目录新建脚本“run.sh”,修改内容如下并保存: #!/bin/sh
集群实际域名,例如props.put(KERBEROS_DOMAIN_NAME , "hadoop.hadoop1.com")。 部署运行及结果查看 导出本地jar包,请参见打包Storm样例工程应用。 获取相关配置文件,获取方式如下: 安全模式:参见4获取keytab文件。 普通模式:无。
Manager界面中展示,Manager中可见的审计日志范围为上一次自动保存后至当前的审计日志内容。 配置审计日志转储至SFTP服务器(MRS 3.x及之后版本) Manager的审计日志默认保存在数据库中,如果长期保留可能引起数据目录的磁盘空间不足问题,管理员如果需要将审计日志保存到其他归
select concat_ws('\;', collect_set(col1)) from tbl。 使用Hive客户端(MRS 3.x及之后版本) 安装客户端,具体请参考安装客户端章节。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/hadoopclient
false 设置数据转换 单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考Loader算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 MySQL输入 ClickHouse输出 在输入中把“表输入”拖拽到网格中,双击“表输入”,选择“自动识别”如图3所示。
表1 Kafka默认用户组 用户组名称 描述 kafkaadmin Kafka管理员用户组。添加入本组的用户,拥有所有主题的创建,删除,授权及读写权限。 kafkasuperuser Kafka高级用户组。添加入本组的用户,拥有所有主题的读写权限。 kafka Kafka普通用户组
20 设置数据转换 单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考Loader算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 HBase输入 表输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“
20 设置数据转换 单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考Loader算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 Hive输入 表输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“下
修改ZooKeeper的ACL是高危操作。修改ZooKeeper中znode的权限,可能会导致其他用户无权限访问该znode,导致系统功能异常。另外在3.5.6及以后版本,用户对于getAcl操作需要有读权限。 前提条件 已安装ZooKeeper客户端。例如安装目录为“/opt/client”。 已获取MRS集群管理员用户和密码。
据文件的标签表达式选择出DataNode节点范围,然后在这些DataNode节点范围内,选择出合适的存放节点。 本章节适用于MRS 3.x及后续版本。 场景1 DataNodes分区场景。 场景说明: 用户需要让不同的应用数据运行在不同的节点,分开管理,就可以通过标签表达式,来实
据文件的标签表达式选择出DataNode节点范围,然后在这些DataNode节点范围内,选择出合适的存放节点。 本章节适用于MRS 3.x及后续版本。 场景1 DataNodes分区场景。 场景说明: 用户需要让不同的应用数据运行在不同的节点,分开管理,就可以通过标签表达式,来实
toString()); return props; } BOOTSTRAP_SERVERS需根据集群实际情况,配置为Kafka Broker节点的主机名及端口,可通过集群FusionInsight Manager界面中选择“集群 > 服务 > Kafka > 实例”查看。 SECURITY_P
集群实际域名,例如props.put(KERBEROS_DOMAIN_NAME , "hadoop.hadoop1.com")。 部署运行及结果查看 导出本地jar包,请参见打包Strom样例工程应用。 获取下列jar包: 在安装好的Kafka客户端目录中进入Kafka/kafka/libs目录,获取如下jar包:
ZooKeeper上Client和Server之间的凭证由X509AuthenticationProvider执行。根据以下参数指定服务端证书及信任客户端证书,并通过这些证书初始化X509AuthenticationProvider。 zookeeper.ssl.keyStore.location
/客户端安装目录 source ./bigdata_env source ./Spark2x/component_env MRS 3.3.0-LTS及之后的版本中,Spark2x服务改名为Spark,服务包含的角色名也有差异,例如JobHistory2x变更为JobHistory。相关涉及
修改ZooKeeper的ACL是高危操作。修改ZooKeeper中znode的权限,可能会导致其他用户无权限访问该znode,导致系统功能异常。另外在3.5.6及以后版本,用户对于getAcl操作需要有读权限。 前提条件 已安装ZooKeeper客户端。例如安装目录为“/opt/client”。 已获取MRS集群管理员用户和密码。