检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据。 原理：每次poll的数据处理完后才提交offset，如果poll数据后的处理时长超出了session.timeout.ms的设置时长，此时发生rebalance导致本次消费失败，已经消费数据的offset无法正常提交，所以下次重新消费时还是在旧的offset消费数据，从而导致消费数据重复。
AUTHORIZATION”区域的组件插件名称“OBS”。 单击“Add New Policy”，为新建的用户组添加相应OBS路径的“Read”和“Write”权限。 例如，为用户组“obs_hadoop”添加“obs://OBS并行文件系统名称/hadoop”的“Read”和“Write”权限：
ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS NameNode内存使用率过高，会影响HDFS的数据读写性能。 可能原因
ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS DataNode内存使用率过高，会影响到HDFS的数据读写性能。 可能原因
AUTHORIZATION”区域的组件插件名称“OBS”。 单击“Add New Policy”，为1新建的用户组添加相应OBS路径的“Read”和“Write”权限。 例如，为用户组“obs_hadoop1”添加“obs://OBS并行文件系统名称/hadoop1”的“Read”和“Write”权限：
Kakfa消费者读取单条记录过长问题 问题背景与现象 和“Kafka生产者写入单条记录过长问题”相对应的，在写入数据后，用户开发一个应用，以消费者调用新接口（org.apache.kafka.clients.consumer.*）到Kafka上读取数据，但读取失败，报异常大致如下：
SparkSQL天然与Hive集成，无需考虑元数据问题。该条建议针对的是通过Spark Datasource API或者Flin写Hudi表的场景，通过这两种方式写Hudi时需要增加向Hive同步元数据的配置项；该配置的目的是将Hudi表的元数据统一托管到Hive元数据服务中，为后续的跨引擎操作数据以及数据管理提供便利。
Xmx最大内存数/4GB * 1500000 ClickHouse在ZooKeeper上的顶层目录的节点数量配额。 数量配额的单位是个，最小值是-1（无限制），不能等于0。 注意： 设置的数量配额值，如果小于当前ZooKeeper目录的实际值，保存配置可成功，但是配置值不会生效，并且界面会上报告警。 clickhouse
2020-08-04 解决的问题 MRS Manager 优化补丁机制 解决executor内存溢出问题 解决executor作业状态不一致问题 优化executor日志打印 MRS大数据组件 增加Hbase region处在RIT状态的时长超过阈值的告警 解决presto日志回滚问题
3补丁安装后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端（即用户自行搭建的客户端）。如果集群之前安装了1.9.2.2补丁，不需要做此操作。 主备Master节点的原始客户端全量更新，请参见更新客户端配置（2.x及之前版本）。 自行搭建的客户端全量安装方法，请参见安装客户端（3
服务解析token的project_id与集群的project_id不符合。 处理步骤 在使用AK/SK认证方式调用接口前，请参见表1收集对应信息，详细的签名方法和SDK使用方法请参见API签名指南。 在构造API请求前，需要获取以下信息，包括组成请求URL的Endpoint和U
Xmx最大内存数/4GB * 1500000 ClickHouse在ZooKeeper上的顶层目录的节点数量配额。 数量配额的单位是个，最小值是-1（无限制），不能等于0。 注意： 设置的数量配额值，如果小于当前ZooKeeper目录的实际值，保存配置可成功，但是配置值不会生效，并且界面会上报告警。 clickhouse
codec”，值为“org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec”的配置项。 单击“保存”，在弹出的对话框中单击“确定”，保存配置。 单击“概览”，选择“更多 > 重启服务”，输入当前用户密码，单击“确定”，重启HBase服务。
ace、debug、information、warning、error、fatal，程序会打印高于或等于所设置级别的日志，设置的日志等级越低，打印出来的日志就越详细。 ClickHouse支持日志文件大小和文件数目的调整。 登录FusionInsight Manager界面，访问“集群
告警级别 是否自动清除 45431 紧急 否 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 部分ClickHouseServer实例不可用。 可能原因 安装或扩容过程中，实例数或分配方式不能满足拓扑要求。
参考使用ClickHouse数据迁移工具，使用迁移工具时产生的错误日志。 /var/log/Bigdata/tomcat/clickhouse/auto_balance/数据迁移任务名/balance_manager.log 参考使用ClickHouse数据迁移工具，勾选一键均衡产生的运行日志。 clickhouse-tomcat日志
补丁基本信息 补丁号 MRS 2.0.1.2 发布时间 2019-09-30 解决的问题 MRS 2.0.1.2 修复问题列表： MRS Manager 解决RM执行refreshNodes超时导致的偶现扩容失败问题 MRS 2.0.1.1 修复问题列表： MRS Manager 解决反复扩缩容导致MRS
t overwrite的load partition阶段出现找不到文件问题、HIVE-22373:Container重用时文件合并任务失败的问题 MRS 2.0.1.2 修复问题列表： MRS Manager 解决RM执行refreshNodes超时导致的偶现扩容失败问题 MRS
表1 补丁基本信息 补丁号 MRS 1.8.10.1 发布时间 2020-01-07 解决的问题 MRS大数据组件 MRS Kafka优化健康检查及滚动重启逻辑 补丁兼容关系 无。 安装补丁的影响 安装MRS 1.8.10.1补丁期间会重启MRS Manager和Kafka服务，重启服务期间会引起服务暂时不可用。
Manager创建的人机用户，需要具有正在使用的Topic的生产消费权限。 密码为用户manager_user的密码。 如果使用开源kafka-client Jar包，密码中的特殊字符会被限定只能使用“$”。 如果使用MRS kafka-client Jar包，密码中支持的特殊字符为Manager支持的特殊字符，例如~`
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
