检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据量变化前提前完成集群的扩缩容，可以使用MRS的资源计划特性。 MRS服务支持规则和时间计划两种弹性伸缩的策略： 弹性伸缩规则：根据集群实时负载对Task节点数量进行调整，数据量变化后触发扩缩容，有一定的延后性。 资源计划：若数据量变化存在周期性规律，则可通过资源计划在数据量变
都并行化为多个Subtask，这里只是演示了2个并行度，Sink算子是1个并行度。 Flink关键特性 流式处理 高吞吐、高性能、低时延的实时流处理引擎，能够提供毫秒级时延处理能力。 丰富的状态管理 流处理应用需要在一定时间内存储所接收到的事件或中间结果，以供后续某个时间点访问并
证书或者Gaussdb用户证书等）剩余有效期小于30天。 处理步骤 查看告警原因。 打开FusionInsight Manager页面，在实时告警列表中，单击此告警所在行的。 查看“附加信息”，获取告警附加信息。 告警附加信息中显示“CA Certificate”，以omm用户登录主OMS管理节点，执行2。
排查LdapServer节点是否故障，例如业务IP不可达、网络延时过长等；若故障为阶段性，则需在故障时排查，并尝试执行top命令查看是否存在异常软件。 检查是否NodeAgent进程内存不足。 以root用户登录故障节点，执行以下命令查看NodeAgent进程日志。 vi /var/l
务卡住则不会报错。 180000 否 taskmanager.network.detailed-metrics 启用网络队列长度的详细指标监控。 false 否 taskmanager.network.memory.buffers-per-channel 每个传出/传入通道（子分
信。 Hive表操作 如果需使用Doris读取Hive存储在OBS中的数据，需执行以下操作。 登录华为云管理控制台，在“控制台”页面，鼠标移动至右上方的用户名，在下拉列表中选择“我的凭证”。 单击“访问密钥”页签，单击“新增访问密钥”，输入验证码或密码。单击“确定”，生成并下载访问密钥。
NettySource算子各个并发度的subtaskIndex信息。 NettySource算子的并发度。 当NettySource算子进入run阶段后，平台内部会不断监控其NettyClient状态是否健康，一旦发现其出现异常，即会重启NettyClient，重新与NettyServer建立连接并接收数据，以防接收的数据混乱。
return flag; } 多次重复登录会导致后建立的会话对象覆盖掉之前登录建立的，将会导致之前建立的会话无法被维护监控，最终导致会话超期后部分功能不可用。 父主题： HDFS应用开发规范
static_log_source.type = spooldir client.sources.static_log_source.spoolDir = 监控目录 client.sources.static_log_source.fileSuffix = .COMPLETED client.sources
否，执行5。 执行lsblk命令，是否可以查到“磁盘名”字段值与磁盘设备的映射关系。 是，执行6。 否，执行21。 以root用户登录上报告警的节点，执行lsscsi | grep "/dev/sd[x]"命令查看磁盘的设备信息，判断磁盘是否建立了RAID。 其中/dev/sd[x]为1中获取到的上报告警的磁盘名称。
任务，用户将任务移动到叶子队列test21上。在将任务移动到叶子队列test21后，任务继续运行，此时RM重启，重启后显示提交队列为lost_and_found队列，而不是test21队列。 发生上述情况的原因是，任务未完成时，RM状态存储中存储的还是应用程序移动前的队列状态。唯
任务，用户将任务移动到叶子队列test21上。在将任务移动到叶子队列test21后，任务继续运行，此时RM重启，重启后显示提交队列为lost_and_found队列，而不是test21队列。 发生上述情况的原因是，任务未完成时，RM状态存储中存储的还是应用程序移动前的队列状态。唯
/srv/BigData/hadoop/data1/tracker batchSize Flume一次发送的事件个数（数据条数）。增大会提升性能，降低实时性；反之降低性能，提升实时性。 61200 dataDirs 缓冲区数据保存目录，默认为运行目录。配置多个盘上的目录可以提升传输效率，多个目录使用逗号分
/srv/BigData/hadoop/data1/tracker batchSize Flume一次发送的事件个数（数据条数）。增大会提升性能，降低实时性；反之降低性能，提升实时性。 61200 dataDirs 缓冲区数据保存目录，默认为运行目录。配置多个盘上的目录可以提升传输效率，多个目录使用逗号分
Gaussdb用户证书等）、导入证书失败、证书文件失效。 处理步骤 查看告警原因。 打开FusionInsight Manager页面，在实时告警列表中，单击此告警所在行的。 查看“附加信息”，获取告警附加信息。 告警附加信息中显示“CA Certificate”，以omm用户登录主OMS管理节点，执行2。
一个副本是存储在HDFS中的一些文件块拷贝件。同一个文件块存储多个拷贝件主要用于系统的可用性和容错。 NodeManager 负责执行应用程序的容器，同时监控应用程序的资源使用情况（CPU、内存、硬盘、网络）并且向ResourceManager汇报。 ResourceManager 集群的资源管
num-live-versions true 监测实时版本的数量。版本是内部数据结构，版本太多说明RocksDB可能会因为查询或者Compaction而不能删除旧版本 state.backend.rocksdb.metrics.estimate-live-data-size true 监测实时数据量，单位：字节
收集周期最小可设定为3600秒。当设置为大于0秒且小于3600秒时，收集周期将使用3600秒。 定义NodeManager唤醒并上传日志的间隔周期。设置为-1或0表示禁用滚动监控，应用任务结束后日志汇聚。取值范围大于等于-1。 -1 yarn.nodemanager.disk-health-checker.log-dirs
的副本数。本特性可以手工设置HDFS目录的存储策略，或者根据HDSF文件最近访问时间和最近修改时间，自动调整文件存储策略、修改文件副本数、移动文件所在目录、自动删除文件，以便充分利用存储的性能和容量。 MR引擎。用户执行Hive SQL可以选择使用MR引擎执行。 可靠性增强。Hu
配置HDFS冷热数据迁移 配置场景 冷热数据迁移工具根据配置的策略移动HDFS文件。配置策略是条件或非条件规则的集合。如果规则匹配文件集，则该工具将对该文件执行一组行为操作。 冷热数据迁移工具支持以下规则和行为。 迁移规则： 根据文件的最后访问时间迁移数据 根据年龄时间迁移数据（修改时间）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
