检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当前操作系统用户登录。 beeline 执行以下命令关闭客户端日志: set hive.server2.logging.operation.enabled=false; 执行以下命令查看客户端日志是否已关闭,如下图所示即为关闭成功。 set hive.server2.logging
当前操作系统用户登录。 beeline 执行以下命令关闭客户端日志: set hive.server2.logging.operation.enabled=false; 执行以下命令查看客户端日志是否已关闭,如下图所示即为关闭成功。 set hive.server2.logging
关闭HetuEngine数据类型隐式转换 在Session级别关闭隐式转换 登录HetuEngine客户端。 执行以下命令,关闭隐式转换功能。 set session implicit_conversion=false; 在Session级别关闭UDF函数运算结果的隐式转换 登录HetuEngine客户端。
配置SparkSQL支持Hudi Schema演进 Schema演进开启后不能关闭。 本章节仅适用于MRS 3.2.0及之前版本。 使用spark-beeline时,需要登录Manager页面,选择“集群 > 服务 > Spark2x > 配置 > 全部配置”。 在搜索栏中搜索参数“spark
readHostLocalDisk=true,本地磁盘读取shuffle数据,减少网络传输的开销。 开启spark.io.encryption.enabled=false,关闭shuffle过程写加密磁盘,提升shuffle效率。 开启spark.shuffle.service.enabled=true,启动sh
配置”,打开Kafka服务配置页面。 开启Token认证机制。 查找配置项“delegation.token.master.key”,该配置指定用于生成和验证Token的主密钥。先查看是否已经配置,如果已配置且不为null,则表示Token认证机制是开启的,不用重新配置(重新配置会导致之前生产的Token无法使用)。
配置”,打开Kafka服务配置页面。 开启Token认证机制。 查找配置项“delegation.token.master.key”,该配置指定用于生成和验证Token的主密钥。先查看是否已经配置,如果已配置且不为null,则表示Token认证机制是开启的,不用重新配置(重新配置会导致之前生产的Token无法使用)。
如果被勾选,账户的密码会使用随机生成的新密码进行重置。 说明: 仅MRS 3.1.2及之后版本支持该参数。 单击“确定”。 在弹出窗口输入当前登录用户密码验证身份,单击“确定”,在确认重启的对话框中单击“确定”。 修改oldap配置 在oldap所在行,单击“修改配置”。 根据表2所示的说明修改参数。
配置LDAP防火墙策略 在双平面组网的集群中,由于LDAP部署在业务平面中,为保证LDAP数据安全,建议通过配置整个集群对外的防火墙策略,关闭LDAP相关端口。 登录FusionInsight Manager。 选择“集群 > 服务 > LdapServer > 配置”。 查看“
调整HDFS SHDFShell客户端日志级别 临时调整,关闭该shell客户端窗口后,日志会还原为默认值。 执行export HADOOP_ROOT_LOGGER命令可以调整客户端日志级别。 执行export HADOOP_ROOT_LOGGER=日志级别,console,可以调整shell客户端的日志级别。
添加Spark2x的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为Spark2x用户进行相关的权限设置。 Spark2x开启或关闭Ranger鉴权后,需要重启Spark2x服务。 需要重新下载客户端,或手动刷新客户端配置文件“客户端安装目录/Spark2x/spark
添加Spark2x的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为Spark2x用户进行相关的权限设置。 Spark2x开启或关闭Ranger鉴权后,需要重启Spark2x服务。 需要重新下载客户端,或手动刷新客户端配置文件“客户端安装目录/Spark2x/spark
HBase如何关闭HDFS多路读功能 现象描述 MRS 3.3.1及之后版本,HBase默认适配开启HDFS多路读功能(HDFS多路读相关介绍请参见配置HDFS多路读)以降低读取延迟及适应网络变化,相关参数如表1所示。 表1 HBase适配HDFS多路读相关参数 参数名称 参数描述
在“连接”后单击“添加”,配置连接参数。 参数介绍具体可参见Loader连接配置说明。 单击“确定”。 如果连接配置,例如IP地址、端口、访问用户等信息不正确,将导致验证连接失败无法保存。 用户可以直接单击“测试”立即检测连接是否可用。 查看连接 在Loader页面,单击“新建作业”。 单击“连接”后的下拉列表框,可以查看已创建的连接。
tls_require_cert:SSL/TLS对端证书校验行为。 接受的值是:'never'、'allow'、'try'、'require'(默认值)。 tls_cert_file:证书文件。 tls_key_file:证书密钥文件。 tls_ca_cert_file:CA证书文件。 tls_ca_cert_dir:CA证书所在的目录。
tls_require_cert SSL/TLS对端证书校验行为。 接受的值是: 'never'、'allow'、'try'、'require'(默认值)。 tls_cert_file 证书文件。 tls_key_file 证书密钥文件。 tls_ca_cert_file CA证书文件。 tls_ca_cert_dir
选择是否开启“使用外部数据源存储元数据”功能。 开启:使用外置的MySQL数据库存储Ranger组件的User/Group/Policy等数据。 关闭:Ranger组件的User/Group/Policy等数据默认存放在当前集群本地数据库中。 当“使用外部数据源存储元数据”开启时,选择数
否,节点间网络互通,检查结束。 检查弹性伸缩是否关闭 登录华为云MRS管理控制台界面,选择对应集群,单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态 否,请跟业务方确认是否可以关闭,如果可以请关闭弹性伸缩,否则请另择时间进行补丁升级。 是,弹性伸缩关闭,检查结束。 检查是否有正在运行的任务
否,节点间网络互通,检查结束。 检查弹性伸缩是否关闭 登录华为云MRS管理控制台界面,选择对应集群,单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否,请跟业务方确认是否可以关闭,如果可以请关闭弹性伸缩,否则请另择时间进行补丁升级。 是,弹性伸缩关闭,检查结束。 检查是否有正在运行的任务
对接OBS场景中,spark-beeline登录后指定loaction到OBS建表失败 问题 对接OBS ECS/BMS集群,spark-beeline登录后,指定location到OBS建表报错失败。 图1 错误信息 回答 HDFS上ssl.jceks文件权限不足,导致建表失败。