检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SlapdServer进程连接数”，查看告警的平滑次数和告警阈值是否设置合理。 是，执行7。 否，执行5。 根据实际进程连接数情况修改平滑次数和告警阈值，并应用修改后的规则。 等待2分钟，查看告警是否自动恢复。 是，处理完毕。 否，执行7。 收集故障信息 在FusionInsight Manager界面，选择“运维
ZooKeeper垃圾回收（GC）时间 查看ZooKeeper每分钟的垃圾回收时间统计值是否大于告警阈值（默认12秒）。 是，执行4。 否，执行8。 请先排查应用程序是否存在内存泄露等问题。 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > ZooKeeper
system.processes ORDER BY query_id; 是，操作结束。 否，执行4。 检查SQL语句执行是否耗时较长 查看告警对象所属的逻辑集群。登录Manager页面，选择“集群 > 服务 > ClickHouse > 逻辑集群 > 查询管理 > 正在进行的慢查询”
a高可靠性功能，防止当Kafka发生故障或者Kafka重启时传输的数据丢失。 表1 使用MRS Kafka同步数据的CDL任务 数据源 目的端 描述 MySQL Hudi 该任务支持从MySQL同步数据到Hudi。 Kafka 该任务支持从MySQL同步数据到Kafka。 PgSQL
replica.fetch.max.bytes进行检索。 单击“保存”，并重启Kafka服务，使得Kafka相关配置生效。 修改消费者业务应用中fetch.message.max.bytes，使得fetch.message.max.bytes >= message.max.bytes，确保消费者可以消费到全部消息。
配置当前策略适用的job名，可以填写多个值。这里支持通配符，例如：test、test*、*。 “Include”策略适用于当前输入的对象，“Exclude”表示策略适用于除去当前输入内容之外的其他对象。 Description 策略描述信息。 Audit Logging 是否审计此策略。 Allow Conditions
KerberosServer所有请求数”，查看告警的平滑次数和告警阈值是否设置合理。 是，执行7。 否，执行5。 根据实际请求数情况修改平滑次数和告警阈值，并应用修改后的规则。 等待2分钟，查看告警是否自动恢复。 是，处理完毕。 否，执行7。 收集故障信息 在FusionInsight Manager界面，选择“运维
包和业务表在同一个OBS桶下偶现OBS 403认证过期问题，开启方法（若之前有设置过，则跳过）：在Master节点通过ps -ef | grep executor命令确定executor进程ID，并添加参数executor.spark.launcher.obs.user-agency
批处理应用更关注原始数据处理的吞吐量，因此，目前已有的HDFS模型都运作良好。 然而，随着技术的发展，Hadoop逐渐被用于以随机I/O访问模式的操作为主的上层应用上，如Hive、HBase等，而这种时延要求较高的场景中，低时延的高速磁盘（如SSD磁盘）可以得到广泛的应用。为了支
输入数据文件。 指定输入的文件或者输入的目录，输入的目录中如果存在当前格式则解析，如果不存在则跳过。可以指定本地文件或者目录，也可以指定HDFS/OBS文件或者目录。 input-directory 输入数据文件所在的目录，子文件多个的情况下使用。 例如，执行以下命令排查orc文件“hdf
存不足时在排序阶段会将数据溢出到磁盘，在连接阶段因数据有序，在内存中只保留当前相同key的数据，使用的内存较小。 配置描述 参数入口： 在应用提交时通过“--conf”设置这些参数，或者在客户端的“spark-defaults.conf”配置文件中调整如下参数。 表1 参数说明 参数
SlapdServer CPU使用率”，查看告警的平滑次数和告警阈值是否设置合理。 是，执行4。 否，执行2。 根据实际CPU使用情况修改平滑次数和告警阈值，并应用修改后的规则。 等待2分钟，查看告警是否自动恢复。 是，处理完毕。 否，执行4。 检查CPU使用率是否达到上限。 在FusionInsight
存不足时在排序阶段会将数据溢出到磁盘，在连接阶段因数据有序，在内存中只保留当前相同key的数据，使用的内存较小。 配置描述 参数入口： 在应用提交时通过“--conf”设置这些参数，或者在客户端的“spark-defaults.conf”配置文件中调整如下参数。 表1 参数说明 参数
登录认证用户必须与所加载环境变量（component_env）一 一对应，否则使用storm命令提交拓扑任务出错。 加载客户端环境变量且对应用户登录成功后，该用户可以在任意storm客户端下执行storm命令来提交拓扑任务，但提交拓扑命令执行完成后，提交成功的拓扑仍然在用户所对应
Maximum password life: 0 days 00:00:00 …… 执行以下命令，将新的策略“streampol”应用到Storm用户“testpol”。 modprinc -policy streampol testpol 其中“streampol”是策略名称，“testpol”是用户名。
使用多级agent串联从本地采集静态日志保存到HDFS 操作场景 该任务指导用户使用Flume从本地采集静态日志保存到HDFS上如下目录“/flume/test”。 本章节适用于MRS 3.x及之后版本。 前提条件 已成功安装集群、HDFS及Flume服务、Flume客户端。 已
配置MRS集群弹性伸缩 应用场景 本入门指导以如下业务场景为例，介绍弹性伸缩规则与资源计划均叠加使用的操作： 某项实时处理业务数据量在周一、周二和周六7:00~13:00出现规律性变化，但是数据量变化并非非常平稳。假设在周一、周二和周六7:00~13:00期间，需要Task节点的
使用多级agent串联从本地采集静态日志保存到HDFS 该任务指导用户使用Flume从本地采集静态日志保存到HDFS上如下目录“/flume/test”。 前提条件 已成功安装集群、HDFS及Flume服务、Flume客户端。 已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。
表1中“权限名称”列为IoTDB开源支持的相关权限，如果MRS用户需要使用对应的权限进行相关操作，则需参考表1中“用户需要的权限”列在Manager上赋予对应用户相应的权限，相关操作请参见创建IoTDB权限角色。 表1 IoTDB权限一览 权限名称 说明 用户需要的权限 示例 SET_STORAGE_GROUP
HDFS客户端使用NameNode黑名单特性。配置成org.apache.hadoop.hdfs.server.namenode.ha.ObserverReadProxyProvider，可使用从NameNode支持读的特性。 org.apache.hadoop.hdfs.server
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
