检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
更新内容 服务模块 主要变更点 ClickHouse 升级到22.3.2.2版本。 ClickHouse支持多租户，通过CPU优先级和内存限额分配资源。 Flink 升级到1.15.0版本。 FlinkServer支持审计日志。 Hadoop 升级到3.3.1版本。 HetuEngine
据操作。否则会丢失从备份时刻到恢复时刻之间的ClickHouse元数据。 ClickHouse元数据恢复和业务数据恢复不能同时进行操作，否则会导致业务数据恢复失败。建议元数据恢复完成后再进行业务数据恢复。 对系统的影响 元数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 元数据
在“连接”后单击“添加”，配置连接参数。 参数介绍具体可参见Loader连接配置说明。 单击“确定”。 如果连接配置，例如IP地址、端口、访问用户等信息不正确，将导致验证连接失败无法保存。 用户可以直接单击“测试”立即检测连接是否可用。 查看连接 在Loader页面，单击“新建作业”。 单击“连接”后的下拉列表框，可以查看已创建的连接。
HDFS WebUI无法正常刷新损坏数据的信息 问题 当DataNode的“dfs.datanode.data.dir”所配置的目录因权限或者磁盘损坏发生错误时，HDFS Web UI没有显示损坏数据的信息。 当此错误被修复后，HDFS Web UI没有及时移除损坏数据的相关信息。
Hudi性能调优 性能调优方式 当前版本Hudi写入操作主推Spark，因此Hudi的调优和Spark比较类似，可参考Spark Core性能调优。 推荐资源配置 mor表： 由于其本质上是写增量文件，调优可以直接根据hudi的数据大小（dataSize）进行调整。 dataSize如果只有几个
Hudi性能调优 性能调优方式 当前版本Hudi写入操作主推Spark，因此Hudi的调优和Spark比较类似。 推荐资源配置 mor表： 由于其本质上是写增量文件，调优可以直接根据Hudi的数据大小（dataSize）进行调整。 dataSize如果只有几个G，推荐跑单节点运行
Tez WebUI界面无法展示Tez任务详情 问题 登录Manager界面，跳转Tez WebUI界面，已经提交的Tez任务未展示，如何解决。 回答 Tez WebUI展示的Tez任务数据，需要Yarn的TimelineServer支持，确认提交任务之前TimelineServer已经开启且正常运行。
委托的账号：填写本用户的云账号，即使用手机号开通的账号，不能是联邦用户或者IAM用户。 持续时间：选择“永久”。 在弹出授权页面的搜索框内，搜索3新建的自定义策略，并勾选该策略，例如“clickhouse-policy”。 单击“下一步”，在“选择授权范围”中勾选“全局服务资源”，单击“确定”。 创建完成后
ink元数据。 Flink元数据恢复和业务数据恢复不能同时进行操作，否则会导致业务数据恢复失败。建议元数据恢复完成后再进行业务数据恢复。 对系统的影响 元数据恢复前，需要停止Flink服务，在这期间所有上层应用都会受到影响，无法正常工作。 元数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。
false)，numPartitions小于父RDD切片数。 当输入切片个数太大，导致程序无法正常运行时使用。 当任务数过大时候Shuffle压力太大导致程序挂住不动，或者出现linux资源受限的问题。此时需要对数据重新进行分区，使用coalesce(numPartitions,
false)，numPartitions小于父RDD切片数。 当输入切片个数太大，导致程序无法正常运行时使用。 当任务数过大时候Shuffle压力太大导致程序挂住不动，或者出现linux资源受限的问题。此时需要对数据重新进行分区，使用coalesce(numPartitions,
～64位，不能与系统中已有的用户组名相同。 在“角色”，单击“添加”选择指定的角色并添加。 对于已启用Ranger授权的组件（HDFS与Yarn除外），Manager上非系统默认角色的权限将无法生效，需要通过配置Ranger策略为用户组赋权。 HDFS与Yarn的资源请求在Ran
服务 > Yarn > 实例 > ResourceManager（对应上报告警实例IP地址）”，单击图表区域右上角的下拉菜单，选择“定制 > 资源”，勾选“ResourceManager内存使用详情”。查看直接内存使用情况。 图1 定制ResourceManager内存使用详情 查看
进入到其他ClickHouse节点也发现了同样的报错日志，由此可知Kafka消息堆积是因为ClickHouse解析Kafka数据时出现异常。 解决办法 使用以下命令修改表的“kafka_skip_broken_messages”属性： # ALTER test.user_log MODIFY
Options”配置topic相关高级参数，通常保持默认即可。 安全模式集群下，执行Create Topic操作的用户需属于“kafkaadmin”用户组，否则将会由于鉴权失败导致无法创建。 非安全模式集群下，执行Create Topic操作不作鉴权，即任意用户都可执行Create Topic操作。 父主题： 使用Kafka
系统”。将“GC_OPTS”参数中“-Xmx”的值根据实际情况调大，并保存配置。 出现此告警时，说明当前RangerAdmin设置的堆内存无法满足当前RangerAdmin进程所需的堆内存，建议根据2查看“RangerAdmin堆内存使用率”，调整“GC_OPTS”参数中“-Xm
c > 系统”。将“GC_OPTS”参数中“-Xmx”的值根据实际情况调大，并保存配置。 出现此告警时，说明当前TagSync设置的堆内存无法满足当前TagSync进程所需的堆内存，建议根据2查看“TagSync堆内存使用率”，调整“GC_OPTS”参数中“-Xmx”的值为“Ta
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 发生连接数告警时，表示连接到HiveServer的session数过多，将会导致无法建立新的连接，导致新任务失败，甚至服务异常重启。 可能原因 连接HiveServer的客户端过多。 处理步骤 增加Hive最大连接数配置。 在FusionInsight
MRS用户无法同步至Ranger管理界面 问题 在MRS Manager界面创建了一个账户，在Ranger管理界面无法查看到该用户，重启UserSync后，可以查看到该用户。 回答 需要修改UserSync进程的GC内存默认为“-Xms1G -Xmx1G”，需要根据业务实际情况调整该参数值：
false)，numPartitions小于父RDD切片数。 当输入切片个数太大，导致程序无法正常运行时使用。 当任务数过大时候Shuffle压力太大导致程序挂住不动，或者出现linux资源受限的问题。此时需要对数据重新进行分区，使用coalesce(numPartitions,
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
