检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
r节点。 进入客户端安装目录，配置环境变量。 cd 客户端安装目录 source bigdata_env 如果集群采用安全版本，要执行以下命令进行安全认证： kinit hbase 按提示输入密码（向MRS集群管理员获取密码）。 执行以下命令查看目前负载均衡功能是否打开，结果显示
删除。 若“数据连接”页面没有关联连接，单击“配置数据连接”进行增加。 一种模块类型只能配置一个数据连接，如在Hive元数据上配置了数据连接后，不能再配置其他的数据连接。当没有可用的模块类型时，“配置数据连接”按钮不可用。 表2 配置Hive数据连接 参数 说明 组件名称 Hive
配置Flume通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，Flume即可运行OBS作业。 本章节适用于MRS 3.x及之后的版本。 Flume对接OBS 创建用于存放数据的OBS文件夹。 登录OBS控制台。 单击“并行文件系统”进入并行文件系统页面。
Hudi自定义配置项样例程序 HoodieDeltaStreamer 自定义排序器 父主题： 开发Spark应用
默认情况下，系统会将container日志收集到HDFS中。如果您不需要将container日志收集到HDFS中，可以配置参数见表3。具体配置操作请参考修改集群服务配置参数。 表3 参数说明 配置参数 说明 默认值 yarn.log-aggregation-enable 设置是否将container日志收集到HDFS中。
等待几分钟后，在告警列表中查看该告警是否清除。 是，处理完毕。 否，执行12。 检查RegionServer配置。 在FusionInsight Manager首页，选择“集群 > 服务 > HBase > 配置 > 全部配置”，查看配置项“hbase.wal.hsync”和“hbase.hfile.hsync”参数值是否都为“true”。
配置Spark Python3样例工程 操作场景 为了运行MRS产品Spark2x组件的Python3接口样例代码，需要完成下面的操作。 操作步骤 客户端机器必须安装有Python3，其版本不低于3.6。 在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3
检查RegionServer配置。 在FusionInsight Manager首页，选择“集群 > 服务 > HBase > 配置 > 全部配置”，查看“hbase.bucketcache.size”配置是否合理，该值越大读缓存越大，有助于提升读取性能，在节点剩余内存前提下适当调大该配置，单击“保存”保存配置。单击“概览”，选择“更多
录。 是，执行9。 否，执行3。 图1 HBase的WebUI 负载均衡 以root用户登录HBase客户端所在节点，用户密码为安装前用户自定义，请咨询系统管理员。进入客户端安装目录，设置环境变量： cd 客户端安装目录 source bigdata_env 如果集群采用安全版本，要进行安全认证。执行kinit
等待几分钟后，在告警列表中查看该告警是否清除。 是，处理完毕。 否，执行12。 检查RegionServer配置。 在FusionInsight Manager首页，选择“集群 > 服务 > HBase > 配置 > 全部配置”，查看“hbase.wal.hsync”和“hbase.hfile.hsync”的参数值是否都为“true”。
index相关配置 参数 描述 默认值 hoodie.index.class 用户自定义索引的全路径名，索引类必须为HoodieIndex的子类，当指定该配置时，其会优先于hoodie.index.type配置。 "" hoodie.index.type 使用的索引类型，默认为布隆过滤器。可能的选项是[BLOOM
选择滚动重启时可以根据实际需要参考表1配置相关参数。（不同版本参数略有差异，请以实际界面显示为准） 图1 通过Manager滚动重启服务 表1 滚动重启配置参数 参数名称 示例 描述 只重启配置过期的实例 - 是否只重启集群内修改过配置的实例。 部分版本该参数名称为“仅重启配置过期的实例”，请以实际显示为准。
efaults.conf配置文件中，在spark.driver.extraJavaOptions和spark.executor.extraJavaOptions配置项中添加参数："-verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps"
ALM-12062 OMS参数配置同集群规模不匹配 告警解释 系统每一个小时，整点检查一次OMS参数配置和集群规模是否匹配，如果检查OMS配置的参数不足以支撑当前的集群规模，系统将发送此告警。待用户修改OMS参数配置，该告警会自动清除。 告警属性 告警ID 告警级别 是否自动清除
compaction&cleaning配置 参数 描述 默认值 hoodie.clean.automatic 是否执行自动clean。 true hoodie.cleaner.policy 要使用的清理策略。Hudi将删除旧版本的parquet文件以回收空间。 任何引用此版本文件
其他Kafka配置，可以接受任意Kafka支持的生产配置，配置需要加前缀 .kafka。 Thrift Sink Thrift Sink把events转化为Thrift events并发送到配置的主机的监测端口。常用配置如下表所示： 表20 Thrift Sink常用配置 参数 默认值
存储配置 参数 描述 默认值 hoodie.parquet.max.file.size Hudi写阶段生成的parquet文件的目标大小。对于DFS，这需要与基础文件系统块大小保持一致，以实现最佳性能。 120 * 1024 * 1024 byte hoodie.parquet.block
以omm用户登录故障RegionServer节点。 进入客户端安装目录，设置环境变量。 cd 客户端安装目录 source bigdata_env 如果集群采用安全版本，要进行安全认证。执行kinit hbase命令，按提示输入密码（向MRS集群管理员获取密码）。 执行以下命令查看目前负载均衡功能是否打开。 hbase
以omm用户登录故障RegionServer节点。 进入客户端安装目录，设置环境变量。 cd 客户端安装目录 source bigdata_env 如果集群采用安全版本，要进行安全认证。执行kinit hbase命令，按提示输入密码（向MRS集群管理员获取密码）。 执行以下命令查看目前负载均衡功能是否打开。 hbase
Hudi常见配置参数 本章节介绍Hudi重要配置的详细信息，更多配置请参考Hudi官网http://hudi.apache.org/cn/docs/configurations.html。 写入操作配置 表1 写入操作重要配置项 参数 描述 默认值 hoodie.datasource
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
