检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Streaming接收Kafka中数据,生成请求流、展示流、点击流。 对请求流、展示流、点击流的数据进行关联查询。 统计结果写入kafka。 应用中监控流处理任务的状态。 运行前置操作 安全模式下Spark Core样例代码需要读取两个文件(user.keytab、krb5.conf)。user
NettySource算子各个并发度的subtaskIndex信息。 NettySource算子的并发度。 当NettySource算子进入run阶段后,平台内部会不断监控其NettyClient状态是否健康,一旦发现其出现异常,即会重启NettyClient,重新与NettyServer建立连接并接收数据,以防接收的数据混乱。
return flag; } 多次重复登录会导致后建立的会话对象覆盖掉之前登录建立的,将会导致之前建立的会话无法被维护监控,最终导致会话超期后部分功能不可用。 父主题: HDFS应用开发规范
static_log_source.type = spooldir client.sources.static_log_source.spoolDir = 监控目录 client.sources.static_log_source.fileSuffix = .COMPLETED client.sources
否,执行11。 检查Kafka数据规划。 选择上报告警实例主机名对应的角色“Broker”。单击图表区域右上角的下拉菜单,选择“定制”,来自定义监控项。 在弹出的“定制”对话框中,选择“磁盘 > Broker磁盘使用率”,并单击“确定”。 关于Kafka磁盘使用情况信息会被显示。 图1
收集周期最小可设定为3600秒。当设置为大于0秒且小于3600秒时,收集周期将使用3600秒。 定义NodeManager唤醒并上传日志的间隔周期。设置为-1或0表示禁用滚动监控,应用任务结束后日志汇聚。取值范围大于等于-1。 -1 yarn.nodemanager.disk-health-checker.log-dirs
static_log_source.type = spooldir client.sources.static_log_source.spoolDir = 监控目录 client.sources.static_log_source.fileSuffix = .COMPLETED client.sources
able(Int8)类型的列可以存储Int8类型值,而没有值的行将存储NULL。 嵌套类型 nested nested 嵌套的数据结构就像单元格内的表格。嵌套数据结构的参数(列名和类型)的指定方式与CREATE TABLE查询中的指定方式相同。每个表行都可以对应于嵌套数据结构中的任意数量的行。
收集周期最小可设定为3600秒。当设置为大于0秒且小于3600秒时,收集周期将使用3600秒。 定义NodeManager唤醒并上传日志的间隔周期。设置为-1或0表示禁用滚动监控,应用任务结束后日志汇聚。取值范围大于等于-1。 -1 yarn.nodemanager.disk-health-checker.log-dirs
(Int8) 类型的列可以存储 Int8 类型值,而没有值的行将存储 NULL。 嵌套类型 nested nested 嵌套的数据结构就像单元格内的表格。嵌套数据结构的参数(列名和类型)的指定方式与CREATE TABLE查询中的指定方式相同。每个表行都可以对应于嵌套数据结构中的任意数量的行。
ALM-12034 周期备份任务失败 ALM-12035 恢复任务失败后数据状态未知 ALM-12037 NTP服务器异常 ALM-12038 监控指标转储失败 ALM-12039 OMS数据库主备不同步 ALM-12040 系统熵值不足 ALM-12041 关键文件权限异常 ALM-12042
务卡住则不会报错。 180000 否 taskmanager.network.detailed-metrics 启用网络队列长度的详细指标监控。 false 否 taskmanager.network.memory.buffers-per-channel 每个传出/传入通道(子分
该分组的权重,见schedulingPolicy,默认为1。 jmxExport 可选 如果为true,则组统计信息将被导出到JMX中进行监控,默认为false。 subGroups 可选 子分组列表。 killPolicy 可选 当查询提交给Worker后,如果总内存使用量超过
务卡住则不会报错。 180000 否 taskmanager.network.detailed-metrics 启用网络队列长度的详细指标监控。 false 否 taskmanager.network.memory.buffers-per-channel 每个传出/传入通道(子分区/输入通道)使用的最大网络缓冲区数
径。 daemonlog 获取或者设置服务LOG级别。 CLASSNAME 运行一个名字为CLASSNAME的类。 top 运行集群利用率监控工具。 -Dmapreduce.job.hdfs-servers 如果对接了OBS,而服务端依然使用HDFS,那么需要显式在命令行使用该参
径。 daemonlog 获取或者设置服务LOG级别。 CLASSNAME 运行一个名字为CLASSNAME的类。 top 运行集群利用率监控工具。 -Dmapreduce.job.hdfs-servers 如果对接了OBS,而服务端依然使用HDFS,那么需要显式在命令行使用该参
径。 daemonlog 获取或者设置服务LOG级别。 CLASSNAME 运行一个名字为CLASSNAME的类。 top 运行集群利用率监控工具。 -Dmapreduce.job.hdfs-servers 如果对接了OBS,而服务端依然使用HDFS,那么需要显式在命令行使用该参
径。 daemonlog 获取或者设置服务LOG级别。 CLASSNAME 运行一个名字为CLASSNAME的类。 top 运行集群利用率监控工具。 -Dmapreduce.job.hdfs-servers 如果对接了OBS,而服务端依然使用HDFS,那么需要显式在命令行使用该参
节点标签。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 node_detail NodeDetail object 参数解释: 节点监控信息。需要IAM同步后才能返回。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 node_status String 参数解释:
细粒度策略的用户)、CES Administrator和KMS Administrator权限。 暂不绑定 指标共享 用于采集大数据组件的监控指标,当用户使用集群过程中出现问题时,供华为云支持人员定位问题。 关闭 系统盘加密 是否对MRS集群节点所挂载的系统盘中的数据进行加密,默认关闭。