检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink SQL逻辑开发规则 维表lookup join场景维度表个数不超过五个 Hudi维度表都在TM heap中，当维表过多时heap中保存的维表数据过多，TM会不断GC，导致作业性能下降。 【示例】lookup join维表数5个： CREATE TABLE table1(id
SQL防御规则添加针对Doris的SQL防御规则。 Doris SQL引擎支持的各类型SQL防御规则可参考MRS SQL防御规则。 例如添加一条规则ID为“static_0001”，SQL语句中count distinct出现次数超过1就进行“提示”，超过6就进行“拦截”的规则。 图2
SQL防御规则包含以下类型： 静态拦截规则：基于纯粹的SQL语法规则进行拦截或提示。 动态拦截规则：基于与数据表的统计信息、元数据信息等内容有关的规则进行拦截或提示。 运行熔断规则：基于SQL语句运行时的系统动态信息（如CPU、内存、IO等）的规则进行阻断。 对于静态拦截规则、动态拦
Flink流式读Hudi表规则 Flink流式读Hudi表参数规范如下所示： 表1 Flink流式读Hudi表参数规范 参数名称 是否必填 参数描述 示例 Connector 必填 读取表类型。 hudi Path 必填 表存储的路径。 根据实际情况填写 table.type 必填
FlinkSQL Kafka表开发规则 Kafka作为sink表时必须指定“topic”配置项 【示例】向Kafka的“test_sink”主题插入一条消息： CREATE TABLE KafkaSink( `user_id` VARCHAR, `user_name`
Flink on Hudi作业参数规则 Flink作业参数配置规范 Flink作业参数配置规范如下表所示。 表1 Flink作业参数配置规范 参数名称 是否必填 参数描述 建议值 -c 必填 指定主类名。 根据实际情况而定 -ynm 必填 Flink Yarn作业名称。 根据实际情况而定
Flink性能调优规则 及时对Hudi表进行compaction防止Hudi Source算子Checkpoint完成时间过长 当Hudi Source算子Checkpoint完成时间长时，可检查该Hudi表compaction是否正常。因为当长时间不做compaction时list性能会变差。
Loader算子数据处理规则 在Loader导入或导出数据的任务中，每个算子对于原始数据中NULL值、空字符串定义了不同的处理规则；在算子中无法正确处理的数据，将成为脏数据，无法导入或导出。 在转换步骤中，算子数据处理规则请参见下表。 表1 数据处理规则一览表 转换步骤 规则描述 CSV文件输入
Flink流式写Hudi表规则 Flink流式写Hudi表参数规范 Flink流式写Hudi表参数规范如下表所示。 表1 Flink流式写Hudi表参数规范 参数名称 是否必填 参数描述 建议值 Connector 必填 读取表类型。 hudi Path 必填 表存储的路径。 根据实际填写
Mapreduce应用开发规则 继承Mapper抽象类实现 在Mapreduce任务的Map阶段，会执行map()及setup()方法。 正确示例： public static class MapperClass extends Mapper<Object, Text, Text
FlinkSQL ClickHouse表开发规则 提前在ClickHouse中创建表 Flink作业在ClickHouse中找不到对应表会报错，所以需提前在ClickHouse中创建好对应的表。 Flink写ClickHouse不支持删除操作 由于不支持删除操作，Flink无法对
FlinkSQL Doris数据表开发规则 提前在Doris中创建表： Flink作业在Doris中找不到对应表会报错，所以需要提前在Doris中创建好对应的表。 Doris作为Sink表时需开启CheckPoint： Flink作业在触发CheckPoint时才会往Doris表中写数据。
FlinkSQL HBase数据表开发规则 提前在HBase中创建表 Flink作业在HBase中找不到对应表会报错，所以需要提前在HBase中创建好对应的表。 HBase与Flink不在同一集群时只支持Flink和HBase均为普通模式集群的对接 当HBase与Flink为同一
SQL防御”，单击“添加规则”，输入当前用户密码并单击“确定”，进入添加规则界面。 在添加规则界面配置以下参数并单击“确定”： 规则名称：输入SQL防御规则名称，例如：test。 规则ID：选择“dynamic_0004”。 租户：单击“添加”选择可适用当前防御规则的租户名称，例如：default。
库对象过滤，匹配规则如下，具体示例可参考SHOW TABLES： 规则1：_可以用来匹配单个任意字符。 规则2：%可以用来匹配0个或者任意个任意字符。 规则3：* 可以用来匹配0个或者任意个任意字符。 规则4：|可以用来配置多种规则，规则之间用“|”分隔。 规则5：当想将“_”作
配置MRS集群用户密码策略 根据业务安全需要，管理员可以在Manager设置密码安全规则、用户登录安全规则及用户锁定规则。 密码策略涉及用户管理的安全性，请根据企业安全要求谨慎修改，否则会有安全性风险。 修改密码策略之后，再修改用户密码，此时新的密码策略才会生效。 此密码策略适用
ne/”。 日志归档规则： 日志归档规则采用FixedWindowRollingPolicy策略，可配置项为单个文件最大值、日志归档的最大保留数目，具体规则如下： 当单个文件超过默认单个文件最大值时，就会生成一个新的归档压缩文件，归档后的日志压缩文件命名规则为<原有日志名>.[编号]
具体请参见申请弹性公网IP。 配置集群安全组规则。 在集群“概览”界面，选择“添加安全组规则 > 管理安全组规则”。 在“入方向规则”页签，选择“添加规则”，在“添加入方向规则”配置ECS节点的IP和放开所有端口。 安全组规则添加完成后，可以直接下载并安装客户端到集群外ECS节点，具体请参考安装客户端。
idempotent属性：指定当策略中有多个规则时，如果满足当前规则，是否检查下一个规则。 示例：<policy name ="policy2" idempotent ="true">。 其默认值为“true”，表示其中的规则和行为操作是幂等的，可以继续检查下一个规则。如果值为“false”，则将在当前规则处停止评估。
如何取消MRS集群风险告警的消息通知？ 登录MRS服务控制台。 单击集群名称进入集群详情页面。 选择“告警管理 > 消息订阅规则”。 在待修改的规则所在行的“操作”列单击“编辑”，在“订阅规则”中取消对应风险告警。 单击“确定”完成修改。 父主题： 集群管理类
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
