检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置HetuEngine SQL防御前提条件 已安装包含HetuEngine服务的集群客户端,安装目录如“/opt/hadoopclient”。 HetuEngine服务及计算实例运行状态正常。
父主题: 组件配置类
对系统的影响 配置受信任IP访问LDAP以后,未配置的IP无法访问LDAP。扩容前,新增加的IP需要配置为受信任的IP。 前提条件 根据安装规划,收集集群内全部节点的管理平面IP、业务平面IP和所有浮动IP。 获取集群内节点的root用户和密码。
因而JobManager和TaskManager的参数配置对Flink应用的执行有着很大的影响意义。用户可通过如下操作对Flink集群性能做优化。 操作步骤 配置JobManager内存。 JobManager负责任务的调度,以及TaskManager、RM之间的消息通信。
已安装MySQL客户端,相关操作可参考使用MySQL客户端连接Doris。 已安装Spark客户端。 操作步骤 在Doris中创建表并插入数据。 登录安装了MySQL的节点,执行以下命令,连接Doris数据库。
图1 添加Hive SQL防御规则 登录安装有Hive客户端的节点,执行以下命令,切换到客户端安装目录。 cd /opt/hadoopclient 执行以下命令,配置环境变量。
前提条件 已安装Alluxio服务的集群。 获取用户“admin”账号密码。“admin”密码在创建MRS集群时由用户指定。 配置HDFS作为Alluxio的底层文件系统 开启Kerberos认证的安全集群不支持该功能。
拓扑调整 选择“开启”,并确认Ranger组件至少添加1个PolicySync(PSC)实例(该实例部署节点需要同时包含RangerAdmin实例)、Guardian组件至少添加2个TokenSever(TS)实例。
配置Kafka数据传输加密 操作场景 Kafka客户端和Broker之间的数据传输默认采用明文传输,客户端可能部署在不受信任的网络中,传输的数据可能遭到泄漏和篡改。 该章节仅适用于MRS 3.x及之后版本。 配置Kafka数据传输加密 默认情况下,组件间的通道是不加密的。
前提条件 集群运行正常并至少安装一个QAS实例。 已创建用于访问HetuEngine WebUI界面的用户,如Hetu_user,用户创建具体操作请参见创建HetuEngine权限角色。
配置项名称 配置项取值 说明 storage_configuration.policies.hot_cold_separation_policy.volumes.hot_volume.disk[1] disk1 该配置项为本地磁盘配置项,根据当前数据盘情况可以配置多个,范围为disk1
前提条件 集群运行正常并至少安装一个QAS实例。 已创建用于访问HetuEngine WebUI界面的用户,如Hetu_user,用户创建具体操作请参见创建HetuEngine权限角色。
通过HSFabric实现用户名密码认证 通过HSFabric连接方式,实现用户名密码认证,只需要配置用户名和密码。 通过HSBroker实现用户名密码认证 通过HSBroker连接方式,实现用户名密码认证,只需要配置用户名和密码。 父主题: 准备HetuEngine应用开发环境
图1 AM作业保留 配置描述 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。 根据表1,对如下参数进行设置。
false 在Spark客户端的“{客户端安装目录}/Spark/spark/conf/spark-env.sh”配置文件中进行设置。
配置描述 在Spark Driver端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.streaming.kafka.direct.lifo 配置是否开启Kafka后进先出功能。
配置Kafka应用安全认证 使用Sasl Kerberos认证 使用Sasl Plaintext认证 使用Kafka Token认证 父主题: 准备Kafka应用开发环境
配置HetuEngine物化视图 HetuEngine物化视图概述 HetuEngine物化视图SQL示例 配置HetuEngine物化视图改写能力 配置HetuEngine物化视图推荐能力 配置HetuEngine物化视图缓存能力 配置HetuEngine物化视图的有效期与数据刷新能力
Yarn内部和Hadoop内部都不需要用户配置加密,用户只需要配置SSL加密传输方式。
配置HBase应用安全认证 HBase数据读写示例安全认证(单集群场景) HBase服务数据读写示例安全认证(多集群互信场景) 调用REST接口访问HBase应用安全认证 访问HBase ThriftServer安全认证 HBase访问多ZooKeeper场景安全认证 父主题: 准备