检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置积压告警规则 操作场景 通过KafkaUI可查看并配置需要上报积压告警的规则,当达到配置的积压告警规则要求时,会上报“ALM-38018 Kafka消息积压”告警。 本章节内容仅适用于MRS 3.5.0及之后版本。 配置积压告警规则 进入KafkaUI界面。
图1 查看SQL防御规则 MRS SQL防御规则 表1 MRS SQL防御规则 规则ID 规则描述 规则适用引擎 规则变量参数 SQL语句示例 static_0001 SQL中count(distinct)出现次数超限。
更多ClickHouse SQL防御规则可参考MRS SQL防御规则。 父主题: 管理MRS集群SQL防御规则
配置弹性伸缩规则 功能介绍 对弹性伸缩规则进行编辑。 在创建集群并执行作业接口中也可以创建弹性伸缩规则。 接口约束 无 调用方法 请参见如何调用API。
配置Hive SQL防御规则 配置Hive SQL防御操作场景 用户可以在Manager界面配置Hive的SQL防御规则,根据业务调整对应SQL防御规则的参数。
如集群已启用Kerberos认证,需提前创建HetuEngine的用户并授予相关权限,且需要通过Ranger为该用户配置操作数据源的数据库、表、列的管理权限。 配置HetuEngine SQL防御使用约束 防御规则默认动态生效时间为5分钟。
配置Spark SQL防御规则 配置Spark SQL防御操作场景 用户可以在Manager界面配置Spark的SQL防御规则,根据业务调整对应SQL防御规则的参数。
IoTDB应用开发规则 设置合理数量的存储组 设置合理数量的存储组可以带来性能的提升。既不会因为产生过多的存储文件(夹)导致频繁切换IO降低系统速度(并且会占用大量内存且出现频繁的内存-文件切换),也不会因为过少的存储文件夹(降低了并发度从而)导致写入命令阻塞。
父主题: ClickHouse数据库运维
Hive应用开发规则 Hive JDBC驱动的加载 客户端程序以JDBC的形式连接HiveServer时,需要首先加载Hive的JDBC驱动类org.apache.hive.jdbc.HiveDriver。 故在客户端程序的开始,必须先使用当前类加载器加载该驱动类。
Kafka应用开发规则 调用Kafka API(AdminZkClient.createTopic)创建Topic 对于Java开发语言,正确示例: import kafka.zk.AdminZkClient; import kafka.zk.KafkaZkClient; import
管理MRS集群SQL防御规则 SQL防御概述 添加MRS SQL防御规则 配置Hive SQL防御规则 配置ClickHouse SQL防御规则 配置HetuEngine SQL防御规则 配置Spark SQL防御规则 配置Doris SQL防御 父主题: 管理MRS集群
示例代码可参考上一个规则的示例。
Spark应用开发规则 Spark应用中,需引入Spark的类 对于Java开发语言,正确示例: // 创建SparkContext时所需引入的类。 import org.apache.spark.api.java.JavaSparkContext // RDD操作时引入的类。
Impala应用开发规则 创建集群时只需指定一个Catalog和一个StoreStore 如果已经创建了两个Catalog和StateStore,Impalad角色需要指定--catalog_service_host和--state_store_host,Catalog角色需要指定
Hadoop类库中最终面向用户提供的接口类是FileSystem,该类是个抽象类,只能通过来类的get方法得到具体类。
Flink任务开发规则 对有更新操作的数据流进行聚合计算时要注意数据准确性问题 在针对更新数据进行聚合需要选择合适的解决方案,否则聚合结果会是错误的。
如下: Class.forName("org.apache.hive.jdbc.HiveDriver").newInstance(); 获取数据库连接 使用JDK的驱动管理类java.sql.DriverManager来获取一个Impalad的数据库连接。
如下: Class.forName("org.apache.hive.jdbc.HiveDriver").newInstance(); 获取数据库连接 使用JDK的驱动管理类java.sql.DriverManager来获取一个Impalad的数据库连接。
算子数据处理规则 在Loader导入或导出数据的任务中,每个算子对于原始数据中NULL值、空字符串定义了不同的处理规则;在算子中无法正确处理的数据,将成为脏数据,无法导入或导出。 在转换步骤中,算子数据处理规则请参见下表。