检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Storm样例程序开发思路 通过典型场景，可以快速学习和掌握Storm拓扑的构造和Spout/Bolt开发过程。 场景说明 一个动态单词统计系统，数据源为持续生产随机文本的逻辑单元，业务处理流程如下： 数据源持续不断地发送随机文本给文本拆分逻辑，如“apple orange apple”。
ive操作权限的用户。 配置Hive SQL防御使用约束 防御规则默认动态生效时间为5秒，修改队列后Hive防御规则重新加载时间为10分钟。 拦截和熔断规则会中断SQL任务，请根据实际业务配置合理的值。 动态规则dynamic_0001（SQL语句扫描的文件数超过阈值），当Spa
0及之后版本支持。 前提条件 待连接Doris数据库的节点与MRS集群网络互通。 FE和BE实例状态正常。 已安装MySQL客户端。 使用约束 防御规则默认动态生效时间为5分钟。 拦截和熔断规则会中断SQL查询，请根据实际业务配置合理的值。 MRS 3.5.0版本，静态规则“static_0001
可视化运维，包含安装、卸载、一键启动和停止、配置、客户端、监控、告警、健康检查、日志。 可视化权限管理，无需后台命令行操作，支持库表级别读写权限控制。 日志级别的可视化配置动态生效、可视化下载、可视化检索、审计日志等功能。 IoTDB开源增强特性：安全加固 用户认证支持Kerberos、通道SSL加密，兼容社区方式。
资源浪费和资源不合理的调度。 动态资源调度就是为了解决这种场景，根据当前应用任务的负载情况，实时的增减Executor个数，从而实现动态分配资源，使整个Spark系统更加健康。 可通过如下方法开启动态资源分配功能，其他相关配置可参考Yarn模式下动态资源调度。 登录FusionInsight
实例动态扩缩容存在一定滞后性，旨在实现长时间周期内资源消耗的平滑调整，不能实时响应当前正在运行SQL任务对可用资源的需求。 实例进行动态扩缩容后，HSConsole页面上实例配置处显示的Worker个数会保持初始设置的值，不随动态扩缩容个数变化而改变。 实例开启动态扩缩容后，
例如“主机内存使用率”，界面显示此阈值的信息： 发送告警开关开启时表示将触发告警。 “分级告警开关”开启时启用分级告警，系统会根据实时监控指标值和分级阈值，动态上报相应级别的告警。（MRS 3.3.0及之后版本支持该功能） “告警ID”和“告警名称”包含阈值将触发的告警信息。 Manager会检查
Group资源软限制方案实现，Workload Group只是限制组内任务在单个BE节点上的计算资源和内存资源的使用，所以租户没有整体资源池的概念，而是在执行查询任务时，动态的在各个BE节点上进行资源分配。 因此，Doris多租户的监控和告警是节点粒度的，在服务和租户粒度上，会进行适当的聚合处理。 Doris多租户监控
transactionCapacity 事务大小：即当前channel支持事务处理的事件个数，建议和Source的batchSize设置为同样大小，不能小于batchSize。 61200 hdfs.path 写入HDFS的目录，此参数不能为空。 hdfs://hacluster/flume/test
SDK概述 本文介绍了MRS服务提供的SDK语言版本，列举了最新版本SDK的获取地址。 在线生成SDK代码 API Explorer能根据需要动态生成SDK代码功能，降低您使用SDK的难度，推荐使用。 您可以在API Explorer中具体API页面的“代码示例”页签查看对应编程语言类型的SDK代码，如图1所示。
tor”角色。 多租户使用流程概述 在实际业务中，管理员需要先明确使用集群资源的业务场景，规划租户。然后再通过MRS添加租户，并配置租户的动态资源、存储资源以及所关联的服务。 创建租户的具体操作流程如表2所示。 图1 创建租户流程 表2 创建租户的操作说明 操作 说明 添加租户
DFS进行超时控制。当“hdfs.batchSize”大于0时，配置此参数可以提升写入HDFS性能。 说明： “hdfs.batchCallTimeout”设置多长时间需要考虑“hdfs.batchSize”的大小，“hdfs.batchSize”越大，“hdfs.batchCa
如何对insert overwrite自读自写场景进行优化 场景说明 对于需要使用动态分区插入（使用历史分区更新）数据到目的表中，且和数据源表是同一张表时，由于直接在原表上执行insert overwrite可能会导致数据丢失或数据不一致的风险，建议先使用一个临时表来处理数据，再执行insert
消减Spark Insert Overwrite自读自写风险 场景说明 对于目的表，需要使用动态分区插入（使用历史分区更新），且目的表和数据源表都是同一张表。 由于直接在原表上执行insert overwrite可能会导致数据丢失或数据不一致的风险，建议首先使用一个临时表来处理数据。
MRS集群Task节点弹性伸缩概述 在大数据应用，尤其是实时分析处理数据的场景中，常常需要根据数据量的变化动态调整集群节点数量以增减资源。MRS的弹性伸缩规则功能支持根据集群负载对集群的Task节点进行弹性伸缩。如果数据量是按照周期进行有规律的变化，用户可以按照固定时间段来自动调
数。建议和Source的batchSize设置为同样大小，不能小于batchSize。 61200 table HBase表名，此参数不能为空。 flume_test columnFamily HBase列族名，此参数不能为空。 cf batchSize Flume一次写入HBase中的最大事件数。
数。建议和Source的batchSize设置为同样大小，不能小于batchSize。 61200 table HBase表名，此参数不能为空。 flume_test columnFamily HBase列族名，此参数不能为空。 cf batchSize Flume一次写入HBase中的最大事件数。
如何对insert overwrite自读自写场景进行优化 场景说明 对于需要使用动态分区插入（使用历史分区更新）数据到目的表中，且和数据源表是同一张表时，由于直接在原表上执行insert overwrite可能会导致数据丢失或数据不一致的风险，建议先使用一个临时表来处理数据，再执行insert
transactionCapacity 事务大小：即当前channel支持事务处理的事件个数，建议和Source的batchSize设置为同样大小，不能小于batchSize。 61200 hdfs.path 写入HDFS的目录，此参数不能为空。 hdfs://hacluster/flume/test
operations are not allowed. (state=42000,code=40000) 设置Hive动态分区表精准拦截 针对涉及动态分区的自读自写场景，由于动态分区在编译阶段获取不到输出的分区信息，无法判断是否存在自读自写场景，为了实现拦截功能，提供了nonstrict
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
