检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置弹性伸缩规则 功能介绍 对弹性伸缩规则进行编辑。 在创建集群并执行作业接口中也可以创建弹性伸缩规则。 接口约束 无 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/autoscaling-policy/{cluster_id} 表1 路径参数
参考添加MRS SQL防御规则添加针对Hive的SQL防御规则。 Hive SQL引擎支持的各类型SQL防御规则可参考MRS SQL防御规则。 例如添加一条规则ID为“static_0001”，SQL语句中count distinct出现次数超过2就进行“提示”的规则。 图1 添加Hive
配置HetuEngine SQL防御使用约束 防御规则默认动态生效时间为5分钟。 拦截和熔断规则会中断SQL查询，请根据实际业务配置合理的值。 熔断规则由系统Session级别参数控制，配置熔断规则需要业务用户具有set session的权限。 静态规则static_0003中查询总的Join个数不包含Semi
SQL防御规则添加针对ClickHouse的SQL防御规则。 ClickHouse SQL引擎支持的各类型SQL防御规则可参考MRS SQL防御规则。 例如添加一条规则ID为“static_0008”，SQL语句执行ClickHouse集群级别的表更新操作就进行“提示”的规则。 图1
配置积压告警规则 操作场景 通过KafkaUI可查看并配置需要上报积压告警的规则，当达到配置的积压告警规则要求时，会上报“ALM-38018 Kafka消息积压”告警。 本章节内容仅适用于MRS 3.5.0及之后版本。 配置积压告警规则 进入KafkaUI界面。 使用具有Kafk
配置Spark SQL防御规则 登录FusionInsight Manager，选择“集群 > SQL防御”，打开SQL防御页面。 参考添加MRS SQL防御规则添加针对Spark的SQL防御规则。 Spark SQL引擎支持的各类型SQL防御规则可参考MRS SQL防御规则。 例如添加一条
QL防御规则，系统支持“熔断”操作。 规则添加成功后，可以在“SQL防御”界面查看已添加的防御规则。防御规则动态生效。 如需对当前规则进行调整，可单击对应规则所在“操作”列的“修改”，验证用户密码后可修改规则相关参数。 图1 查看SQL防御规则 MRS SQL防御规则 表1 MRS
Hive应用开发规则 Hive JDBC驱动的加载 客户端程序以JDBC的形式连接HiveServer时，需要首先加载Hive的JDBC驱动类org.apache.hive.jdbc.HiveDriver。 故在客户端程序的开始，必须先使用当前类加载器加载该驱动类。 如果clas
算子数据处理规则 在Loader导入或导出数据的任务中，每个算子对于原始数据中NULL值、空字符串定义了不同的处理规则；在算子中无法正确处理的数据，将成为脏数据，无法导入或导出。 在转换步骤中，算子数据处理规则请参见下表。 表1 数据处理规则一览表 转换步骤 规则描述 CSV文件输入
_{processId}/copier.log”。 日志归档规则 ClickHouse日志启动了自动压缩归档功能，缺省情况下，当日志大小超过100MB的时（此日志文件大小可进行配置），会自动压缩。 压缩后的日志文件名规则为：“<原有日志名>.[编号].gz”。 默认最多保留最近的
Kafka应用开发规则 调用Kafka API（AdminZkClient.createTopic）创建Topic 对于Java开发语言，正确示例： import kafka.zk.AdminZkClient; import kafka.zk.KafkaZkClient; import
} Table实例写数据的异常处理 尽管在前一条规则中提到了提倡Table实例的重构，但是，并非提倡一个线程自始至终要沿用同一个Table实例，当捕获到IOException时，依然需要重构Table实例。示例代码可参考上一个规则的示例。 另外，请谨慎调用如下两个方法： Configuration#clear：
Impala应用开发规则 创建集群时只需指定一个Catalog和一个StoreStore 如果已经创建了两个Catalog和StateStore，Impalad角色需要指定--catalog_service_host和--state_store_host，Catalog角色需要指
HDFS应用开发规则 HDFS NameNode元数据存储路径 NameNode元数据信息的默认存储路径为“${BIGDATA_DATA_HOME}/namenode/data”，该参数用于确定HDFS文件系统的元数据信息的保存路径。 HDFS需要开启NameNode镜像备份 NameNode的镜像备份参数为“fs
Spark应用开发规则 Spark应用中，需引入Spark的类 对于Java开发语言，正确示例： // 创建SparkContext时所需引入的类。 import org.apache.spark.api.java.JavaSparkContext // RDD操作时引入的类。 import
Flink性能调优规则 及时对Hudi表进行compaction防止Hudi Source算子Checkpoint完成时间过长 当Hudi Source算子Checkpoint完成时间长时，可检查该Hudi表compaction是否正常。因为当长时间不做compaction时list性能会变差。
Impala开发规则 Hive JDBC驱动的加载 客户端程序以JDBC的形式连接Impalad时，需要首先加载Hive的JDBC驱动类org.apache.hive.jdbc.HiveDriver。 所以在客户端程序开始前，必须先使用当前类加载器加载该驱动类。 如果classp
Flink任务开发规则 对有更新操作的数据流进行聚合计算时要注意数据准确性问题 在针对更新数据进行聚合需要选择合适的解决方案，否则聚合结果会是错误的。 例如： Create table t1( id int, partid int, value int );
Impala开发规则 Hive JDBC驱动的加载 客户端程序以JDBC的形式连接Impalad时，需要首先加载Hive的JDBC驱动类org.apache.hive.jdbc.HiveDriver。 所以在客户端程序开始前，必须先使用当前类加载器加载该驱动类。 如果classp
Flink SQL逻辑开发规则 维表lookup join场景维度表个数不超过五个 Hudi维度表都在TM heap中，当维表过多时heap中保存的维表数据过多，TM会不断GC，导致作业性能下降。 【示例】lookup join维表数5个： CREATE TABLE table1(id
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
