检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Spark HA增强高可用 配置多主实例模式 配置Spark多租户模式 配置多主实例与多租户模式切换 父主题: Spark Core企业级能力增强
Storm业务用户配置独立的密码策略。 如果不为Storm业务用户配置独立的密码策略,在修改业务用户密码以后,可以删除旧的拓扑并重新提交,使拓扑继续运行。 对系统的影响 为Storm业务用户配置独立的密码策略后,此用户将不受Manager界面上的“密码策略”配置影响。 为Stor
配置LakeFormation数据连接 LakeFormation概述 配置LakeFormation数据连接前准备 创建集群时配置LakeFormation数据连接 父主题: 管理MRS集群元数据
场景二:配置Linux环境与MRS集群节点内网络互通。 在节点中安装MRS集群客户端。 例如客户端安装目录为“/opt/client”。 获取配置文件: 登录FusionInsight Manager,在“主页”右上方单击“下载客户端”,“选择客户端类型”设置为“仅配置文件”,勾
配置Hudi历史数据清理 本章节仅适用于MRS 3.3.0-LTS及之后版本 操作场景 随着时间的推移,Hudi表中的数据越来越多,表中的老数据价值逐渐变弱并且还会占用存储空间,对这些老数据Hudi需要支持删除操作以便节约存储成本。 delete/drop partition语句直接删除历史数据
ock的个数来分配map数(一个block一个map)。通过如下配置参数进行调整。 参数入口: 进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 表1 参数配置-1 参数 描述 默认值 mapreduce.input.fileinputformat
${PLUGIN_SUFFIX}" 安装并启动Flume客户端。安装客户端详细操作请参考安装Flume客户端。 已安装Flume客户端 在客户端flume-check.properties文件中配置client.per-check.shell,指向plugin.sh的绝对路径。 例如Flume客户端安装路径为
配置Doris高可用功能 Doris集群高可用方案概述 配置通过ELB访问Doris集群 父主题: Doris企业级能力增强
登录Manager界面,选择“集群 > 集群属性”查看集群是否为安全模式。 是,执行2。 否,执行5。 选择“集群 > 服务 > Spark2x > 配置 > 全部配置 > JDBCServer2x > 默认”,修改以下参数: 表1 参数列表1 参数 默认值 修改结果 spark.yarn.security
和数据库授权三个场景下的操作。 安全模式支持配置Hive表、列或数据库的权限,普通模式不支持配置Hive表、列或数据库的权限。 MRS 3.x及后续版本支持Ranger,如果当前组件使用了Ranger进行权限控制,须基于Ranger配置相关策略进行权限管理,具体操作可参考添加Hive的Ranger访问权限策略。
需要对${Flume客户端安装目录}/conf/flume-env.sh文件中的-Dkerberos.domain.name项的值做修改,具体请根据实际域名进行配置。 上传所配置的properties.properties文件到${Flume客户端安装目录}/conf目录下。 父主题:
需要对${Flume客户端安装目录}/conf/flume-env.sh文件中的-Dkerberos.domain.name项的值做修改,具体请根据实际域名进行配置。 上传所配置的properties.properties文件到${Flume客户端安装目录}/conf目录下。 父主题:
若需要在本地Windows调测HBase样例代码,需参考表1放置各样例项目所需的配置文件: 表1 放置各样例项目所需的配置文件 样例工程位置 需放置的配置/认证文件 hbase-examples/hbase-example(单集群场景) 需将准备运行环境配置文件获取的“core-site.xml”、“hbase-site
(`int_id`, `float`) VALUES (1,2); 登录ClickHouse客户端安装节点。执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证,执行
前提条件 已安装HDFS客户端。 配置Balance任务 使用客户端安装用户登录客户端所在节点。执行命令切换到客户端安装目录,例如“/opt/client”。 cd /opt/client 如果集群为普通模式,需先执行su - omm切换为omm用户。 执行以下命令配置环境变量。 source
前提条件 已安装HDFS客户端。 配置Balance任务 使用客户端安装用户登录客户端所在节点。执行命令切换到客户端安装目录,例如“/opt/client”。 cd /opt/client 如果集群为普通模式,需先执行su - omm切换为omm用户。 执行以下命令配置环境变量。 source
下载HBase配置文件,客户端类型选择仅配置文件。 图2 下载HBase配置文件 登录源端Hive集群的FusionInsight Manager。 选择“集群 > 服务 > Hive > 配置 > 全部配置”进入Hive服务配置页面,修改HiveServer角色的hive-site.xml自定义配置文件,增加HBase配置文件的如下配置项。
该参数配置请通过以下操作确认: 登录FusionInsight Manager,选择“集群 > 服务 > ClickHouse > 配置 > 全部配置”,在“ClickHouseServer(角色)”下选择“安全”,查看“SUPPORT_MACHINE_USER”参数配置。 说明:
配置Oozie业务运行流程 功能描述 描述了一个完整业务的流程定义文件。一般由一个start节点、一个end节点和多个实现具体业务的action节点组成。 参数解释 “workflow.xml”文件中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 name 流程文件名
在下载客户端页面,客户端类型选择“仅配置文件”,单击“确定”下载HBase配置文件到本地。 图2 下载HBase配置文件 登录源端Hive集群的FusionInsight Manager。 选择“集群 > 服务 > Hive > 配置 > 全部配置”进入Hive服务配置页面,选择“HiveServer(角色)