检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FlinkSQL Kafka表开发规则 Kafka作为sink表时必须指定“topic”配置项 【示例】向Kafka的“test_sink”主题插入一条消息: CREATE TABLE KafkaSink( `user_id` VARCHAR, `user_name`
表输出 HBase输出 原始数据包含NULL值,如果“NULL值处理方式”设置为“true”,将转换为空字符串并保存。如果“NULL值处理方式”设置为“false”,不保存数据。 配置输入字段列数,大于原始数据实际包含的字段列数,全部数据成为脏数据。
日志归档规则 ClickHouse日志启动了自动压缩归档功能,缺省情况下,当日志大小超过100MB的时(此日志文件大小可进行配置),会自动压缩。 压缩后的日志文件名规则为:“<原有日志名>.[编号].gz”。
FlinkSQL Hive表开发规则 提前在Hive中创建表 Flink作业在Hive中找不到对应表会报错,所以需要提前在Hive客户端创建好对应的表。 FlinkServer对接Hive使用对接MetaStore的方式,故需要Hive开启MetaStore功能。
管理MRS集群SQL防御规则 SQL防御概述 添加MRS SQL防御规则 配置Hive SQL防御规则 配置ClickHouse SQL防御规则 配置HetuEngine SQL防御规则 配置Spark SQL防御规则 配置Doris SQL防御 父主题: 管理MRS集群
cartesian join = false “拦截”信息如下: ERROR ... detailMessage = static_0001 number of count(distinct) in the query 6 more than the allowed limit 3 若SQL防御规则中设置的动作是
Flink流式读Hudi表规则 Flink流式读Hudi表参数规范如下所示: 表1 Flink流式读Hudi表参数规范 参数名称 是否必填 参数描述 示例 Connector 必填 读取表类型。 hudi Path 必填 表存储的路径。
FlinkSQL Redis表开发规则 Flink Redis作业参数规范 Flink Redis作业参数配置规范如下表所示。
FlinkSQL DWS表开发规则 提前在DWS中创建表 若开发FlinkSQL DWS表作业,需要在DWS中创建数据表。 由于Flink作业在DWS中找不到对应表会报错,所以需要提前在DWS中创建好用于接收数据的空表。 父主题: FlinkSQL Connector开发规范
FlinkSQL JDBC表开发规则 提前在对应数据库中创建表: JDBC作为sink表时,需要提前在对应数据库(如MySQL)中创建好用于接收数据的空表。 JDBC作为维表时,需要提前在对应数据库(如MySQL)中创建好维度表。
Flink on Hudi作业参数规则 Flink作业参数配置规范 Flink作业参数配置规范如下表所示。 表1 Flink作业参数配置规范 参数名称 是否必填 参数描述 建议值 -c 必填 指定主类名。 根据实际情况而定 -ynm 必填 Flink Yarn作业名称。
Flink流式写Hudi表规则 Flink流式写Hudi表参数规范 Flink流式写Hudi表参数规范如下表所示。 表1 Flink流式写Hudi表参数规范 参数名称 是否必填 参数描述 建议值 Connector 必填 读取表类型。 hudi Path 必填 表存储的路径。
Mapreduce应用开发规则 继承Mapper抽象类实现 在Mapreduce任务的Map阶段,会执行map()及setup()方法。
SQL防御规则按照租户进行配置,同一条规则支持关联多个租户,防御规则只对规则所关联租户对应的SQL请求生效。 父主题: 管理MRS集群SQL防御规则
选择“告警管理 > 消息订阅规则”。 在待修改的规则所在行的“操作”列单击“编辑”,在“订阅规则”中取消对应风险告警。 单击“确定”完成修改。 父主题: 集群管理类
FlinkSQL Elasticsearch表开发规则 Flink支持1.12.2及以后版本,Elasticsearch支持7.10.2及以后版本。
在SQL防御中配置了自读自写拦截规则,对于涉及动态分区场景默认情况下是按照nonstrict模式拦截的,如果需要按照分区精准拦截,还需要将表1的“hive-ext.lakeformation.transform.role”参数的值设置为“strict”。
FlinkSQL ClickHouse表开发规则 提前在ClickHouse中创建表 Flink作业在ClickHouse中找不到对应表会报错,所以需提前在ClickHouse中创建好对应的表。
FlinkSQL HBase数据表开发规则 提前在HBase中创建表 Flink作业在HBase中找不到对应表会报错,所以需要提前在HBase中创建好对应的表。
FlinkSQL Doris数据表开发规则 提前在Doris中创建表: Flink作业在Doris中找不到对应表会报错,所以需要提前在Doris中创建好对应的表。