检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建Storm Bolt 功能介绍 所有的消息处理逻辑都被封装在各个Bolt中。Bolt包含多种功能：过滤、聚合等等。 如果Bolt之后还有其他拓扑算子，可以使用OutputFieldsDeclarer.declareStream定义Stream，使用OutputCollector
/jobs/<jobid>/config Job使用用户定义的执行配置。 /jobs/<jobid>/exceptions Job探察到不可恢复的异常。截取的标识提示是否存在更多异常，但不列出这些异常，否则回复会太大。 /jobs/<jobid>/accumulators 聚合用户累加器加上Job累加器。
数据类型转换失败，当前行成为脏数据。 剪切字符串 传入数据为NULL值，不做转换处理。 配置输入字段列数，大于原始数据实际包含的字段列数，全部数据成为脏数据。 字符截取的起点位置或终点位置，大于输入字段的长度时，当前行成为脏数据。 EL操作转换 传入数据为NULL值，不做转换处理。 输入一个或多个字段的值，输出计算结果。
程，每个工作进程又可创建多个线程，每个线程可以执行多个任务，任务是并发进行数据处理。 高容错 如果在消息处理过程中有节点、进程等出现异常，提供重新部署该处理单元的能力。 可靠的消息保证 支持At-Least Once、At-Most Once、Exactly Once的数据处理模式。
Kafka的consumer端配置信息。 producer.properties Kafka的producer端配置信息。 server.properties Kafka的服务端的配置信息。 复制解压目录下的“hosts”文件中的内容到本地hosts文件中。 在应用开发过程中，如需在本地Windows系统中调测应
Kafka样例程序开发思路 使用Producer API向安全Topic生产消息 使用Consumer API订阅安全Topic并消费 使用多线程Producer发送消息 使用多线程Consumer消费消息 使用KafkaStreams统计数据 使用SpringBoot生产消费Kafka集群数据
/jobs/<jobid>/config Job使用用户定义的执行配置。 /jobs/<jobid>/exceptions Job探察到不可恢复的异常。截取的标识提示是否存在更多异常，但不列出这些异常，否则回复会太大。 /jobs/<jobid>/accumulators 聚合用户累加器加上Job累加器。
/jobs/<jobid>/config Job使用用户定义的执行配置。 /jobs/<jobid>/exceptions Job探察到不可恢复的异常。截取的标识提示是否存在更多异常，但不列出这些异常，否则回复会太大。 /jobs/<jobid>/accumulators 聚合用户累加器加上Job累加器。
数据类型转换失败，当前行成为脏数据。 剪切字符串 传入数据为NULL值，不做转换处理。 配置输入字段列数，大于原始数据实际包含的字段列数，全部数据成为脏数据。 字符截取的起点位置或终点位置，大于输入字段的长度时，当前行成为脏数据。 EL操作转换 传入数据为NULL值，不做转换处理。 输入一个或多个字段的值，输出计算结果。
查询主机列表 功能介绍 该接口用于查询输入集群的主机列表详情。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id}/hosts 表1 路径参数 参数 是否必选 参数类型 描述 cluster_id
VERIFY 语法 VERIFY MATERIALIZED VIEW MVNAME (mvname1,mvname2...) ORIGINALSQL query 描述 给定一条SQL查询语句，验证它是否可以被指定的物化视图重写。 示例 验证指定SQL是否能被物化视图mv.tpcds
前提条件 已成功安装集群、HDFS及Flume服务、Flume客户端。 已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。 操作步骤 分别生成Flume角色服务端和客户端的证书和信任列表。 以omm用户登录Flume服务端所在节点。进入“${BIGDATA_HO
占满时Spout暂停消息发送。增加pending值可提高Spout的每秒消息吞吐量，提高性能，但延时同步增加。 topology.transfer.buffer.size 32 每个worker进程Distuptor消息队列大小，建议在4到32之间，增大消息队列可以提升吞吐量，但延时可能会增加。
查询用户（组）与IAM委托的映射关系 功能介绍 获取用户（组）与IAM委托之间的映射关系的详细信息。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/agency-mapping 表1 路径参数
HDFS性能差导致HBase服务不可用告警 问题现象 HBase组件不断上报服务不可用告警。 原因分析 该问题多半为HDFS性能较慢，导致健康检查超时，从而导致监控告警。可通过以下方式判断： 首先查看HMaster日志（“/var/log/Bigdata/hbase/hm/hbase-omm-xxx
管理MRS集群作业 停止删除MRS集群作业 克隆MRS集群作业 配置MRS集群作业消息通知 父主题： 管理MRS集群
原因分析 通过Storm WebUI查看拓扑DAG图，发现DAG图与拓扑定义一致。 查看KeyWordFilter Bolt输出流字段定义和发送消息字段发现一致。 查看Oracle数据库中表定义，发现字段名为大写，与流定义字段名称不一致。 单独调试execute方法，发现抛出字段不存在。
API向安全Topic生产消息。 单线程消费数据，相关样例请参考使用Consumer API订阅安全Topic并消费。 多线程生产数据，相关样例请参考使用多线程Producer发送消息。 多线程消费数据，相关样例请参考使用多线程Consumer消费消息。 基于KafkaStrea
Kafka用户权限管理 Kafka客户端使用实践 快速使用Kafka生产消费数据 创建Kafka Topic 在Kafka Topic中接入消息 管理Kafka Topic Kafka企业级能力增强 Kafka性能调优 Kafka运维管理 Kafka常见问题
API向安全Topic生产消息。 单线程消费数据，相关样例请参考使用Consumer API订阅安全Topic并消费。 多线程生产数据，相关样例请参考使用多线程Producer发送消息。 多线程消费数据，相关样例请参考使用多线程Consumer消费消息。 基于KafkaStrea
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
