检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果为非root用户,请参考创建并配置RDS实例操作。 单击“确定”完成创建。 配置Ranger数据连接 登录MRS控制台。 单击集群名称进入集群详情页面。 单击“数据连接”右侧的“单击管理”,进入数据连接配置界面。 单击“配置数据连接”,并配置相关参数: 组件名称:Ranger
默认情况下,系统会将container日志收集到HDFS中。如果您不需要将container日志收集到HDFS中,可以配置参数见表3。具体配置操作请参考修改集群服务配置参数。 表3 参数说明 配置参数 说明 默认值 yarn.log-aggregation-enable 设置是否将container日志收集到HDFS中。
给集群配置有OBS访问权限的委托 请参考配置MRS集群通过IAM委托对接OBS配置OBS访问权限的委托。 配置的委托对该集群上所有用户(包括内置用户)及用户组生效,如需对集群上的用户及用户组访问OBS的权限进行控制请继续执行后续步骤。 配置OBS路径权限时,如果配置了写权限,
SQL防御规则 登录安装有HetuEngine客户端的节点,执行以下命令,切换到客户端安装目录。 cd /opt/hadoopclient 执行以下命令,配置环境变量。 source bigdata_env 根据集群认证模式,完成HetuEngine客户端登录。 安全模式:执行以下命令,完成用
w_drop_detached配置项? 用root用户登录Clickhouse客户端所在节点。 进入客户端目录,配置环境变量。 cd /opt/客户端安装目录 source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启
您可以根据实际任务数量的多少,为JobManager设置一个合适的内存。 在使用yarn-session命令时,添加“-jm MEM”参数设置内存。 在使用yarn-cluster命令时,添加“-yjm MEM”参数设置内存。 配置TaskManager个数。 每个TaskManager每个核同时能跑一个t
index相关配置 参数 描述 默认值 hoodie.index.class 用户自定义索引的全路径名,索引类必须为HoodieIndex的子类,当指定该配置时,其会优先于hoodie.index.type配置。 "" hoodie.index.type 使用的索引类型,默认为布隆过滤器。可能的选项是[BLOOM
使用admin用户连接Doris后,创建具有管理员权限的角色并绑定给用户。 已安装MySQL客户端,相关操作可参考使用MySQL客户端连接Doris。 已安装Spark客户端。 操作步骤 在Doris中创建表并插入数据。 登录安装了MySQL的节点,执行以下命令,连接Doris数据库。 如果集群已启用Kerb
写入操作配置 本章节介绍Hudi重要配置的详细信息,更多配置请参考hudi官网:http://hudi.apache.org/cn/docs/configurations.html。 表1 写入操作重要配置项 参数 描述 默认值 hoodie.datasource.write.table
配置受信任IP访问LDAP以后,未配置的IP无法访问LDAP。扩容前,新增加的IP需要配置为受信任的IP。 前提条件 根据安装规划,收集集群内全部节点的管理平面IP、业务平面IP和所有浮动IP。 获取集群内节点的root用户和密码。 配置受信任IP地址访问LDAP 配置OMS LDAP信任的IP地址
面。 选择“数据源”,单击“添加数据源”。在“添加数据源”页面填写参数。 配置“基本配置”,填写数据源名称,选择数据源类型“HBase”。 配置“HBase配置”,参数配置请参考表1。 表1 HBase配置 参数 描述 取值样例 驱动 默认为“hbase-connector”。 hbase-connector
用户。 已安装MySQL客户端,相关操作可参考使用MySQL客户端连接Doris。 已安装Flink客户端。 操作步骤 Doris侧操作。 登录安装了MySQL的节点,执行以下命令,连接Doris数据库。 如果集群已启用Kerberos认证(安全模式),需先执行以下命令再连接Doris数据库:
本章节配置新用户的回收站目录清理策略。 针对HBase配置存算分离的场景,在MRS 3.1.2及后续版本中,需参考本章节配置组件数据回收站清理策略。 需为MRS集群预置用户所涉及的回收站目录和其他新增的有防误删需求的用户的回收站目录配置生命周期策略。若委托权限较小或参考配置MRS
您可以根据实际任务数量的多少,为JobManager设置一个合适的内存。 在使用yarn-session命令时,添加“-jm MEM”参数设置内存。 在使用yarn-cluster命令时,添加“-yjm MEM”参数设置内存。 配置TaskManager个数。 每个TaskManager每个核同时能跑一个t
HDFS等)会话时是否模拟客户端用户。如果将此配置项从“false”修改为“true”,会导致只有列权限的用户访问相应表权限缺失。 true 单击“保存”,保存配置。 单击“实例”,勾选对应的实例,选择“更多 > 重启实例”,使配置生效。 父主题: Hive运维管理
否,执行9。 在hbase shell中执行命令打开负载均衡功能,并执行命令查看确认成功打开。 balance_switch true balancer_enabled 执行balancer命令手动触发负载均衡。 建议打开和手动触发负载均衡操作在业务低峰期进行。 观察该告警是否清除。
在Flink客户端的bin目录下,执行命令sh generate_keystore.sh <password>,表3中的配置项会被默认赋值,用户也可以手动配置。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 表3 参数描述
conf”文件中配置以下参数。 在spark-sql模式下配置:登录Spark客户端节点,在“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”文件中配置表5相关参数。 表5 spark-sql模式下的配置参数 参数 配置值 描述 spark
以omm用户登录主管理节点。 用户只需在主管理节点执行此操作,不支持在备管理节点上配置定时备份。 执行以下命令,切换目录。 cd ${BIGDATA_HOME}/om-server/om/sbin 执行以下命令,配置定时备份Manager告警、审计或者服务审计信息。 ./setNorthBound
Hudi常见配置参数 本章节介绍Hudi重要配置的详细信息,更多配置请参考Hudi官网http://hudi.apache.org/cn/docs/configurations.html。 写入操作配置 表1 写入操作重要配置项 参数 描述 默认值 hoodie.datasource