检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表1 参数说明 参数 是否必选 说明 connector.type 是 数据源类型,‘jdbc’表示使用JDBC connector,必须为jdbc connector.url 是 数据库的URL connector.table 是 读取数据库中的数据所在的表名 connector.driver
一般通过调整这个参数来调整每次Clustering计划合并的数据量(max.bytes.per.group * max.num.groups)。
命令格式 rank() over ([partition_clause] [orderby_clause]) 参数说明 表1 参数说明 参数 是否必选 说明 partition_clause 否 指定分区。分区列的值相同的行被视为在同一个窗口内。
表1 参数说明 参数 是否必选 说明 connector.type 是 connector的类型,只能为hbase connector.version 是 该值只能为1.4.3 connector. table-name 是 hbase中的表名 connector.zookeeper.quorum
“用户名”参数处填写具体要被授权的IAM用户名,并勾选需要赋权给该用户的对应权限。 单击“确定”,完成新用户的权限的设置。 待设置的参数说明如表1所示。 图1 弹性资源池权限授权 表1 参数说明 参数名称 描述 用户名 被授权的用户名称。
Flink Opensource SQL作业单击“自定义配置”,配置动态扩缩容参数。 Flink Jar作业单击“优化参数”框,配置动态扩缩容参数。
参数说明 表1 参数说明 参数名称 是否必选 参数说明 table_name 是 需要设置生命周期的表名。 dli.lifecycle.days 是 设置的生命周期时间,只能为正整数,单位为天。 external.table.purge 否 仅OBS表支持配置该参数。
通过API提交作业请参考《数据湖探索API参考》>《创建批处理作业》中“表2-请求参数说明”关于“modules”参数的说明。
表1 SQL防御规则参数配置 参数 说明 规则名称 自定义SQL防御规则名称。 系统规则 选择防御规则,DLI支持的系统防御规则请参考DLI支持的SQL防御系统规则。 队列 选择绑定规则的队列。 描述信息 输入规则描述信息。 防御规则动作 配置当前SQL防御规则动作的阈值参数。
SQL编辑器功能概览 SQL作业参数设置 单击SQL编辑器页面右上方的“设置”按钮。可以设置SQL作业运行参数和作业标签。 参数设置:以“key/value”的形式设置提交SQL作业的配置项。 详细内容请参见《数据湖探索SQL语法参考》。
在“运行时配置”页面配置以下参数。 图3 运行时配置 表1 作业运行参数说明 参数 参数说明 名称 作业的名称。 作业异常告警 设置是否将作业异常告警信息,如作业出现运行异常或者欠费情况,以SMN的方式通知用户。
NOT ENFORCED) ) with ( 'connector' = 'hbase-2.2', 'table-name' = '', 'zookeeper.quorum' = '' ); 参数说明 表1 参数说明 参数 是否必选 默认值 数据 说明 connector
NOT ENFORCED) ) with ( 'connector' = 'hbase-2.2', 'table-name' = '', 'zookeeper.quorum' = '' ); 参数说明 表1 参数说明 参数 是否必选 默认值 数据 说明 connector
如需调整上报周期,请参考DLI对接AOM Prometheus监控的配置项章节metrics.reporter.remote.interval参数进行配置。 不建议将该参数设置过低,否则上报过于频繁,推荐配置为30秒。
配置方式为设置调优参数: table.optimizer.aggphase-strategy=TWO_PHASE count distinct优化 在count distinct关联key比较稀疏场景下,即使使用Local-Global,单点问题依然非常严重,此时可以通过配置以下调优参数进行分桶拆分优化
通过API提交作业请参考《数据湖探索API参考》>《创建批处理作业》中“表2-请求参数说明”关于“modules”参数的说明。
命令格式 row_number() over([partition_clause] [orderby_clause]) 参数说明 表1 参数说明 参数 是否必选 说明 partition_clause 否 指定分区。分区列的值相同的行被视为在同一个窗口内。
图4 在DLI的SQL编辑器查看配置的参数 父主题: 使用BI工具连接DLI分析数据
set 参数 示例: set dli.sql.current.database=tpch set dli.sql.shuffle.partitions=10 图6 FineBI参数配置示例 在DLI的SQL编辑器的执行效果:Set参数会修改为注释提交到DLI侧执行。
表1 参数说明 参数 是否必选 说明 connector.type 是 connector类型,对于kafka,需配置为'kafka'。