检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Loader连接配置说明 本章节适用于MRS 3.x之前版本。 基本介绍 Loader支持以下多种连接,每种连接的配置介绍可根据本章节内容了解。 obs-connector generic-jdbc-connector ftp-connector或sftp-connector h
ullify”脱敏策略处理。 配置Spark动态脱敏 修改JDBCServer实例配置,登录FusionInsight Manager页面,选择“集群 > 服务 > Spark > 配置 > 全部配置 > JDBCServer(角色)”: 使用Ranger鉴权场景,在参数“custom”中添加如下自定义参数:
配置HBase冷热分离 配置HBase冷热数据分离存储 HBase冷热分离相关命令介绍 父主题: HBase企业级能力增强
根据业务情况,准备好客户端,参考使用MRS客户端章节,登录安装客户端的节点。 执行以下命令,切换到客户端目录,例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin 执行以下命令,配置环境变量。 source /opt/client/bigdata_env
查看ZooKeeper角色实例的IP地址。 记录ZooKeeper角色实例其中任意一个的IP地址即可。 根据业务情况,准备好客户端,登录安装客户端的节点。 请根据客户端所在位置,参考使用MRS客户端章节,登录安装客户端的节点。 执行以下命令,切换到客户端目录,例如“/opt/client/Kafka/kafka/bin”。
配置Doris多租户 Doris多租户介绍 管理Doris租户 Doris多租户监控告警介绍 父主题: Doris企业级能力增强
填写角色的名称,例如developrole。 (若安装了HBase,则配置)在“配置资源权限”表格中选择“待操作集群的名称 > HBase > HBase Scope > global”,勾选“default”的“创建”,单击“确定”保存。 (若安装了HBase,则配置)编辑角色,在“配置资源权限”的表格中选择“待操作集群的名称
WebUI”后的链接,进入HSConsole界面。 在“计算实例”页签,在待操作的实例所属租户所在行的“操作”列单击“配置”,进入“配置实例”页签。 查看“高级配置”的“是否开启维护实例”是否处于“是”,否则修改为“是”。 修改完成后,将“立即启动”置为“是”,单击“确定”。 父主题:
配置MapReduce应用安全认证 场景说明 在安全集群环境下,各个组件之间的相互通信不能够简单地互通,而需要在通信之前进行相互认证,以确保通信的安全性。 用户在提交MapReduce应用程序时,需要与Yarn、HDFS等之间进行通信。那么提交MapReduce的应用程序中需要写
ue”。 单击“保存”保存配置。单击“实例”,勾选所有HiveServer实例,选择“更多 > 重启实例”,输入当前用户密码后单击“确定”重启所有HiveServer实例。 以客户端安装用户登录安装了Hive客户端节点,执行如下命令: cd 客户端安装目录 source bigdata_env
参考以上命令依次上传表1中的所有配置文件。 检查客户端节点网络连接。 在安装客户端过程中,系统会自动配置客户端节点“hosts”文件,建议检查“/etc/hosts”文件内是否包含集群内节点的主机名信息,如未包含,需要手动复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中,确保本地机器能与集群各主机在网络上互通。
数据目录SSD和HDD的配置导致建表时偶现报错 现象描述 建表时偶现报错“Failed to find enough host with storage medium and tag”。 原因分析 Doris支持一个BE节点配置多个存储路径,并支持指定路径的存储介质属性,如SSD
Flume常用配置参数 MRS 3.x之前版本需在“properties.properties”文件中配置。 MRS 3.x及之后版本,部分参数可在Manager界面配置。 基本介绍 使用Flume需要配置Source、Channel和Sink,各模块配置参数说明可通过本节内容了解。
Manager页面。 选择“集群 > 服务 > HetuEngine > 配置 > 全部配置”,进入HetuEngine服务配置页面。 搜索“jobsystem.customized.properties”,添加用户自定义配置名称为“hetuserver.engine.jobsystem.inner
应用新规则。 配置MRS集群告警阈值(MRS 2.x及之前版本) 在MRS Manager,单击“系统设置”。 在“配置”区域“监控和告警配置”下,单击“阈值配置”,依据规划选择监控指标并设置其基线。 单击某一指标例如“CPU使用率”,单击“添加规则”。 在“配置”对话框中填写监控指标规则参数。
下载HBase配置文件,客户端类型选择仅配置文件。 图2 下载HBase配置文件 登录源端Hive集群的FusionInsight Manager。 选择“集群 > 服务 > Hive > 配置 > 全部配置”进入Hive服务配置页面,修改HiveServer角色的hive-site.xml自定义配置文件,增加HBase配置文件的如下配置项。
HDFS等)会话时是否模拟客户端用户。如果将此配置项从“false”修改为“true”,会导致只有列权限的用户访问相应表权限缺失。 true 单击“保存”,保存配置。 单击“实例”,勾选对应的实例,选择“更多 > 重启实例”,使配置生效。 父主题: Hive运维管理
在下载客户端页面,客户端类型选择“仅配置文件”,单击“确定”下载HBase配置文件到本地。 图2 下载HBase配置文件 登录源端Hive集群的FusionInsight Manager。 选择“集群 > 服务 > Hive > 配置 > 全部配置”进入Hive服务配置页面,选择“HiveServer(角色)
配置Flink任务并行度 操作场景 并行度控制任务的数量,影响操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到更优。 查看CPU使用情况和内存占用情况,当任务和数据不是平均分布在各节点,而是集中在个别节点时,可以增大并行度使任务和数据更均匀
选择转储模式为SFTP,当SFTP服务公钥为空时,先进行安全风险提示,确定安全风险后再保存配置。 配置MRS集群监控指标数据转储(MRS 2.x及之前版本) 在MRS Manager,单击“系统设置”。 在“配置”区域“监控和告警配置”下,单击“监控指标转储配置”。 表3介绍转储参数。 表3 转储参数 参数名称 参数说明