检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用认证和加密传输,用户需要安装Flink客户端并配置安全认证,本章节以“/opt/hadoopclient”为客户端安装目录为例,介绍安装客户端及配置安全认证。客户端安装目录请根据实际修改。 安装客户端及配置安全认证步骤 安装客户端。 以在集群内节点安装客户端为例: 登录Mana
前提条件 已安装Alluxio服务的集群。 获取用户“admin”账号密码。“admin”密码在创建MRS集群时由用户指定。 配置HDFS作为Alluxio的底层文件系统 开启Kerberos认证的安全集群不支持该功能。 请参考修改集群服务配置参数,进入Alluxio的“全部配置”页面。
> HBase > 配置 > 全部配置”,搜索并修改ThriftServer实例的配置参数“hbase.thrift.security.qop”。该参数值需与“hbase.rpc.protection”的值一一对应。保存配置,重启配置过期节点服务使更改的配置生效。 “hbase.rpc
SED状态的Region。 该操作仅MRS 3.3.0及之后版本支持。 处理步骤 以客户端安装用户登录到安装了HBase客户端的节点。 切换到客户端安装目录并配置环境变量: cd 客户端安装目录 source bigdata_env 如果集群已启用Kerberos认证(安全模式)
Ranger > 服务配置”,修改RangerAdmin配置。 搜索并修改配置项policymgr_https_keystore_password值为3中输入的证书密码,即输入的证书密码。 可以使用复制粘贴,此处密码不一致,将会导致Ranger组件重启失败。 保存配置,并滚动重启RangerAdmin。
如何开发Flume第三方插件 安装Flume客户端,如安装目录为“/opt/flumeclient”。 将自主研发的代码打成jar包。 建立插件目录布局。 进入“Flume客户端安装目录/fusionInsight-flume-*/plugins.d”路径下,使用以下命令建立目录,可根据实际业务进行命名,无固定名称:
0及以后版本)。 重启策略也可以通过Flink的配置文件“客户端安装目录/Flink/flink/conf/flink-conf.yaml”中的参数“restart-strategy”指定,为全局配置,还可以在应用代码中动态指定,会覆盖全局配置,重启策略包括失败率(failure-rate)和两种默认策略,默认策略为如下:
ft-example”为ThriftServer实例服务的调用实现。 前提条件 已获取样例工程运行所需的配置文件及认证文件,详细操作请参见准备连接HBase集群配置文件。 配置样例代码 代码认证 以下代码在“hbase-thrift-example”样例工程的“com.huawei
在MRS控制台,单击集群名称进入集群详情页面。 选择“组件管理”。 选择“Hive > 服务配置”,将“基础配置”切换为“全部配置”。 搜索配置“hive.security.authorization”,修改如下两个配置: hive.security.authorization.enabled =
是否需要同时执行“配置跨Manager集群互信”。 是,参考配置MRS集群间互信章节进行操作,无需执行该章节后续步骤。 否,执行5。 单击“确定”,等待修改配置完成后再继续执行后续步骤,完成前请勿提前执行后续步骤。 以omm用户登录主管理节点。 执行以下命令,重启更新域配置。 sh $
run(Server.java:2254) 回答 ImportTsv工具在“客户端安装路径/HBase/hbase/conf/hbase-site.xml”文件中“hbase.fs.tmp.dir”参数所配置的HBase临时目录中创建partition文件。因此客户端(kerberos
SingleCQKeyValueComparisonFilter 原因分析 用户配置的默认路径不正确。 处理步骤 登录任意Master节点。 修改Spark客户端目录下的配置文件。 执行vim 客户端安装目录/Spark/spark/conf/spark-defaults.conf命令,打开spark-defaults
回退客户端补丁 如果有使用自主安装的客户端(集群内、外新下载客户端),需要执行客户端升级或者回退的操作。 登录客户端所在节点并执行以下命令: cd /opt/{MRS补丁版本号}/client sh upgrade_client.sh rollback {客户端安装目录} 例如: sh upgrade_client
同步数据到Hudi。 前提条件 MRS集群已安装CDL组件,并且正常运行。 CDL数据同步任务使用到Kafka组件。 操作步骤 登录FusionInsight Manager,选择“集群 > 服务 > Kafka > 配置 > 全部配置”。 在右上角搜索框中搜索如下表2参数,并修改对应的参数值。
络互通,确保“可用区”、“虚拟私有云”、“安全组”配置相同。 FlinkServer所在集群(安全模式): 集群中已安装HDFS、Yarn、Kafka、ZooKeeper和Flink服务。 包含Kafka服务的客户端已安装,安装路径如:/opt/client。 参考创建Flink
发界面配置(MRS 3.1.0及以后版本)。 重启策略也可以通过Flink的配置文件“客户端安装目录/Flink/flink/conf/flink-conf.yaml”中的参数“restart-strategy”指定,为全局配置,还可以在应用代码中动态指定,会覆盖全局配置,重启策
导入并配置Storm样例工程 背景信息 Storm客户端安装程序目录中包含了Storm开发样例工程,将工程导入到Eclipse开始样例学习。 前提条件 确保本地PC的时间与集群的时间差要小于5分钟,若无法确定,请联系系统管理员。集群的时间可通过MRS Manager页面右上角查看。
配置HDFS应用安全认证 场景说明 访问安全集群环境中的服务,需要先通过Kerberos安全认证。所以HDFS应用程序中需要写入安全认证代码,确保HDFS程序能够正常运行。 安全认证有两种方式: 命令行认证: 提交HDFS应用程序运行前,在HDFS客户端执行如下命令进行认证。 kinit
查看ZooKeeper角色实例的IP地址。 记录ZooKeeper角色实例其中任意一个的IP地址即可。 根据业务情况,准备好客户端,登录安装客户端的节点。 请根据客户端所在位置,参考使用MRS客户端章节,登录安装客户端的节点。 执行以下命令,切换到客户端目录,例如“/opt/client/Kafka/kafka/bin”。
添加HDFS的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为HDFS用户配置HDFS目录或文件的读、写和执行权限。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role。 操作步骤 使用Ranger管理员用户rangeradm