检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
min、minute等。 为0则表示不根据时间刷新 connector.write.max-retries 否 3 Integer 写数据失败时的最大尝试次数，默认值为：3。 示例 从Kafka中读取数据，并将数据插入到数据库为flink、表名为order的ClickHouse数
ts 成功完成的checkpoint的数量 flink_jobmanager_job_numberOfFailedCheckpoints 失败的checkpoint的数量 flink_jobmanager_job_totalNumberOfCheckpoints 所有checkpoint的总数
使用CTS审计DLI服务 通过云审计服务，您可以记录与DLI服务相关的操作事件，便于日后的查询、审计和回溯。 表1 云审计服务支持的DLI操作列表 操作名称 资源类型 事件名称 创建数据库 database createDatabase 删除数据库 database deleteDatabase
obs_path OBS存储路径。 注意事项 向表中添加分区时，此表和分区列（建表时PARTITIONED BY指定的列）必须已存在，而所要添加的分区不能重复添加，否则将出错。已添加的分区可通过IF NOT EXISTS避免报错。 若分区表是按照多个字段进行分区的，添加分区时需要指定所有的分区字段，指定字段的顺序可任意。
持date、short、timestamp数据类型。 对于JSON格式OBS表，MAP的键类型只支持STRING类型。 由于MAP类型的键不能为NULL，MAP键不支持对插入数据进行可能出现NULL值类型之间的隐式转换，如：STRING类型转换为其他原生类型、FLOAT类型转换为
Prometheus实例后将新提交运行的作业监控指标上报到AOM，并按照AOM计费规则收费。 绑定Prometheus需具备访问AOM Prometheus的权限，否则绑定失败。 具体权限内容包括： aom:prometheusInstances:list aom:metric:list aom:metric:get
partition(provice = 'hebei', city= 'baoding') select name,age from test_p_1; 注意事项 无法对外部表（external）插入数据。 父主题： DML 语法
ME_ZONE。 TIMESTAMP_WITH_LOCAL_TIME_ZONE，和 MULTISET。 Flink的INTERVAL类型还不能映射到Hive INTERVAL类型。 示例 在Flink OpenSource SQL作业中，创建名为myhive的catalog，并使用它用于管理元数据。
如果是新建队列，在该队列提交作业后，如果立即单击FlinkUI，因为后台大约需要10分钟创建集群，会导致缓存空的projectID，从而导致无法查看FlinkUI。 建议作业选择使用专属队列，后台集群不会被释放，避免上述问题产生。或者等待作业运行中时再查看FlinkUI，确保集群已经拉好了，不要立即单击FlinkUI。
Top-N 需要 PARTITION BY 子句包含窗口表值函数或窗口聚合产生的 window_start 和 window_end。 否则优化器无法翻译。 更多介绍和使用请参考开源社区文档：窗口Top-N。 语法格式 SELECT [column_list] FROM ( SELECT
4GMem。不同规格的计算资源对应的计算能力不一样，规格越高计算能力越好。 常量与变量 环境变量中，常量与变量的区别如下： 常量在程序运行过程中，所表示的值是无法被改变的。 变量是“可读、可写”，而常量是“只读”的。变量是在程序运行过程中，内部存储的值，随时可以被改变的一段内存地址。比如：int a
U数。 在全天的任意一个时间段内，弹性资源池中任意一个队列的最大CU必须小于等于弹性资源池的最大CU。 同一队列不同扩缩容策略的时间段区间不能有交集。 弹性资源池队列中的扩缩容策略时间段仅支持整点的时间段设置，并且包含设置的开启时间，不包含设置的结束时间，例如设置时间段00-09
Kafka源表 功能描述 创建source流从Kafka获取数据，作为作业的输入数据。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka是
助用户实现功能扩展。 用户使用自定义镜像功能需要具备Docker相关的基础知识。 使用限制 创建自定义镜像必须使用DLI提供的基础镜像。 不能随意修改基础镜像中DLI相关组件及目录。 仅支持Spark jar作业、Flink jar作业，即jar包作业。 使用流程 图1 自定义镜像使用流程
ze”表示数据库规模的大小，能够反映出系统在处理查询时的能力。TPC-H 是根据真实的生产运行环境来建模的,这使得它可以评估一些其他测试所不能评估的关键性能参数。总而言之，TPC组织颁布的TPC-H 标准满足了数据仓库领域的测试需求,并且促使各个厂商以及研究机构将该项技术推向极限。
下载并安装JDBC驱动包 操作场景 JDBC用于连接DLI服务，您可以在Maven获取JDBC安装包，或在DLI管理控制台下载JDBC驱动文件。 本文介绍通过JDBC连接DLI并提交SQL作业。 获取服务端连接地址 连接DLI服务的地址格式为：jdbc:dli://<endPoi
ttl（所有分区作为临时表）设置一个相对较大的值。否则，作业容易出现性能问题，避免表更新和重新加载过于频繁。 缓存刷新需加载整个Hive表。无法区分新数据和旧数据。 参数说明 在执行与最新的Hive表的时间关联时，Hive表将被缓存到Slot内存中，然后通过键将流中的每条记录与表进
若需要指定Redis中的key，则需要在flink的Redis结果表中定义主键，该主键的值即为key。 Redis结果表若定义主键，则不能够定义复合主键，即主键只能是一个字段，不能是多个字段。 schema-syntax取值约束： 当schema-syntax为map或array时，非主键字段最多
connect timed out A：应考虑是跨源没有绑定，或者跨源没有绑定成功。 参考增强型跨源连接章节，重新配置跨源。参考DLI跨源连接DWS失败进行问题排查。 Q：如果该DWS表在某schema下，则应该如何配置？ A：如下示例是使用schema为dbuser2下的表area_info：
境变量中密文存放，使用时解密，确保安全。Flink Opensource SQL使用DEW管理访问凭据 with参数中字段只能使用单引号，不能使用双引号。 语法格式 1 2 3 4 5 6 7 8 9 10 11 create table dwsSource (
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
