正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Impala常见配置参数 本章节适用于MRS 3.x及后续版本。 参数入口 在Manager系统中,选择“集群 > 服务 > Impala > 配置”,选择“全部配置”。在搜索框中输入参数名称。 参数说明 下表仅列举了部分常用参数,实际参数以Manager页面为准,参数详情请参见官网https://docs
对接OBS场景中,spark-beeline登录后指定loaction到OBS建表失败 问题 对接OBS ECS/BMS集群,spark-beeline登录后,指定location到OBS建表报错失败。 图1 错误信息 回答 HDFS上ssl.jceks文件权限不足,导致建表失败。 解决方法 使用omm用户登录Spark2x所在节点,执行如下命令:
”配置组中可以修改。 单击页面空白处完成编辑,MRS Manager将根据集群硬件资源与分配情况,在“详细配置”生成服务池参数的正确配置值。 如果根据业务需要,可以单击“详细配置”右侧的编辑按钮修改服务池的参数值。 在“服务池配置”单击指定的服务名,“详细配置”将只显示此服务的参
如何查看Kudu日志? 登录集群的Master节点。 执行su - omm命令,切换到omm用户。 执行cd /var/log/Bigdata/kudu/命令,进入到“/var/log/Bigdata/kudu/”目录,即可查看Kudu日志信息。 父主题: 组件配置类
操作步骤 读数据服务端调优 参数入口:登录FusionInsight Manager,选择“集群 > 服务 > HBase > 配置 > 全部配置”,进入HBase服务参数“全部配置”界面,具体操作请参考修改集群服务配置参数章节。 表1 影响实时读数据配置项 配置参数 描述 默认值
答: 登录FusionInsight Manager。 选择“集群 > 服务 > ZooKeeper > 配置 > 全部配置”。 在左侧导航栏选择“quorumpeer > 自定义”添加参数名称和值:zookeeper.sasl.disable = false。 保存配置后,重启ZooKeeper服务。
在“入方向规则”页签,选择“添加规则”,在“添加入方向规则”窗口配置Windows的IP和21007、21730TCP、21731TCP/UDP、21732TCP/UDP端口。 图3 添加入方向规则 在Manager界面选择“集群 > 服务 > Kafka > 配置 > 全部配置”,搜索“kafka.config
据。 操作步骤 读数据服务端调优 参数入口:登录FusionInsight Manager,选择“集群 > 服务 > 配置 > 全部配置”,进入HBase服务参数“全部配置”界面,配置以下相关参数以提升HBase读数据性能。 表1 影响实时读数据配置项 配置参数 描述 默认值 GC_OPTS
配置Flume加密传输 操作场景 该操作指导安装工程师在集群安装完成后,设置Flume服务(Flume角色)的服务端和客户端参数,使其可以正常工作。 本章节适用于MRS 3.x及之后版本。 前提条件 已成功安装集群及Flume服务。 操作步骤 分别生成Flume角色服务端和客户端的证书和信任列表。
配置SparkSQL支持Hudi Schema演进 Schema演进开启后不能关闭。 本章节仅适用于MRS 3.2.0及之前版本。 使用spark-beeline时,需要登录Manager页面,选择“集群 > 服务 > Spark2x > 配置 > 全部配置”。 在搜索栏中搜索参数“spark
创建对接ECS/BMS云服务委托 登录华为云管理控制台,选择“统一身份认证服务”。 在左侧导航栏选择“委托”,单击右上角的“创建委托”,设置相关参数,单击“下一步”。 参数选择如下: 委托名称:例如“lakeformation_test” 委托类型:选择“云服务” 云服务:选择“ECS
使用root用户登录集群的Master节点。 执行su - omm命令,切换到omm用户。 执行cd /var/log/Bigdata/hbase/命令,进入到“/var/log/Bigdata/hbase/”目录,即可查看HBase日志信息。 父主题: 组件配置类
默认: 以Hetu_user用户登录FusionInsight Manager页面。 选择“集群 > 服务 > HetuEngine > 配置 > 全部配置 > QAS(角色) > SQL诊断“,参数“qas.sql.auto.diagnosis.enabled”为“true”表
配置HetuEngine SQL防御规则 操作场景 用户可以在Manager界面配置HetuEngine的SQL防御规则,根据业务调整对应SQL防御规则的参数。 前提条件 已安装包含HetuEngine服务的集群客户端,安装目录如“/opt/hadoopclient”。 Hetu
conf”中的“spark.driver.memory”配置项或者“spark-env.sh”中的“SPARK_DRIVER_MEMORY”配置项设置为合适大小。 在使用spark-submit命令时,添加“--driver-memory MEM”参数设置内存。 配置Executor个数。 每个Exe
HDFS常用配置参数 参数入口 请参考修改集群服务配置参数进入HDFS服务配置页面。 参数说明 表1 HDFS参数说明 参数 参数说明 默认值 fs.obs.security.provider 指定获取访问OBS文件系统密钥的实现方式。 参数取值: com.huawei.mrs.
WebUI】新用户修改完密码后无法登录Ranger WebUI界面 问题 使用新建用户登录Ranger页面,为什么在修改完密码后登录报401错误? 回答 由于UserSync同步用户数据有时间周期,默认是5分钟,因此在Manager上新创建的用户在用户同步成功前无法登录Ranger,因为Ra
为Hive@123。 前提条件 已安装Ranger服务且服务运行正常。 已创建用户需要配置权限的用户、用户组或Role。 用户加入hive组。 操作步骤 使用Ranger管理员用户rangeradmin登录Ranger管理页面,具体操作可参考登录Ranger WebUI界面。 在首页中单击“HADOOP
配置Hive SQL防御规则 操作场景 用户可以在Manager界面配置Hive的SQL防御规则,根据业务调整对应SQL防御规则的参数。 前提条件 已安装包含Hive服务的集群客户端,例如安装目录为“/opt/hadoopclient”。 集群中Hive服务运行状态正常。 对于开
配置JobHistory本地磁盘缓存 配置场景 JobHistory可使用本地磁盘缓存spark应用的历史数据,以防止JobHistory内存中加载大量应用数据,减少内存压力,同时该部分缓存数据可以复用以提高后续对相同应用的访问速度。 配置参数 登录FusionInsight Manager系统,选择“集群