检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
cross join （笛卡儿积）以致查询失败。 流查询中可能会因为不同行的输入数量导致计算结果的状态无限增长。请提供具有有效保留间隔的查询配置，以防止出现过多的状态。 示例 SELECT * FROM Orders INNER JOIN Product ON Orders.productId
datasource.css。 如果选择Spark版本为3.1.1时，无需选择Module模块， 需在 “Spark参数（--conf)” 配置 spark.driver.extraClassPath=/usr/share/extension/dli/spark-jar/datasource/css/*
方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭证。配置文件或者环境变量中密文存放，使用时解密，确保安全。Flink Opensource SQL使用DEW管理访问凭据 Upsert Kafka
OBS表必选参数。 data_path 否 String 新增OBS表数据的存储路径，必须是OBS的路径。 说明： OBS表必选参数。 data_path配置的OBS桶路径不建议为根目录，否则清空表数据的时候，就会把根目录内的数据全部清除，导致数据丢失。 with_column_header 否
方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭证。配置文件或者环境变量中密文存放，使用时解密，确保安全。Flink Opensource SQL使用DEW管理访问凭据 语法格式 create table
和分组操作中可以被重写的操作。对于流式查询，该操作在 join 和分组操作中被重写。根据输入行的数量计算查询结果所需的状态可能会无限增长。 请提供具有有效保留间隔的查询配置，以防止状态过大。 value IN (sub-query) BOOLEAN 如果 value 等于子查询结果集中的一行则返回 TRUE。
Connector允许接收所有输入记录，常用于高性能测试和UDF 输出，其不是实质性Sink。Blackhole结果表是系统内置的Connector。 例如，如果您在注册其他类型的Connector结果表时报错，但您不确定是系统问题还是结果表WITH参数错误，您可以将WITH参数修改为'connector'
则新的 watermark 不会被发出。 Watermark 根据 pipeline.auto-watermark-interval 中所配置的间隔发出。 若 watermark 的间隔是 0ms ，那么每条记录都会产生一个 watermark，且 watermark 会在不为空并大于上一个发出的
NAME primary-keys ARRAY<STRING> NULL 保存源表的主键的列名的数组。 如果includePrimaryKeys配置属性设置为true，则仅在JSON输出中包含primary-keys字段。 ingestion-timestamp TIMESTAMP_LTZ(6)
则新的 watermark 不会被发出。 Watermark 根据 pipeline.auto-watermark-interval 中所配置的间隔发出。 若 watermark 的间隔是 0ms ，那么每条记录都会产生一个 watermark，且 watermark 会在不为空并大于上一个发出的
数据库。 根因分析 global_temp数据库是Spark3.x默认内置的数据库，是Spark的全局临时视图。 通常在Spark作业执行注册viewManager时，会校验该数据库在metastore是否存在，如果该数据库存在则会导致Spark作业执行失败。 因此当Spark3
用户为作业选择的CU数。默认值为“2”。 CU数量为DLI的计算单元数量和管理单元数量总和，CU也是DLI的计费单位，1CU=1核4G。当前配置的CU数量为运行作业时所需的CU数，不能超过其绑定队列的CU数量。管理单元参数设置详见：manager_cu_number。 parallel_number
fka写入重复的改动消息，Flink将获得重复的消息。这可能会导致Flink查询得到错误的结果或意外的异常。因此，在这种情况下，建议将作业配置table.exec.source.cdc-events-duplicate设置为true，并在源表上定义PRIMARY KEY。Fram
系统中存储的函数和信息。 数据处理最关键的方面之一是管理元数据。 元数据可以是临时的，例如临时表、或者通过TableEnvironment注册的UDF。 元数据也可以是持久化的，例如Hive Metastore中的元数据。Catalog 提供了一个统一的API，用于管理元数据，并使其可以从Table
管理（如创建集群）时，需要使用成对的AK/SK进行加密签名，确保请求的机密性、完整性和请求双方身份的正确性。获取AK/SK操作步骤如下： 注册并登录华为云管理控制台。 将鼠标移动到右上角用户名上，在下拉列表中单击“我的凭证”。 在左侧导航栏单击“访问密钥”。 单击“新增访问密钥”，进入“新增访问密钥”页面。
如何获取项目ID？ 项目ID是系统所在区域的ID。用户在调用API接口进行云资源管理（如创建集群）时，需要提供项目ID。 查看项目ID步骤如下： 注册并登录华为云管理控制台。 将鼠标移动到右上角用户名上，在下拉列表中单击“我的凭证”。 在“我的凭证”页面的项目列表中查看项目ID。例如pr
障数据的持久性和可靠性。 流量限制：DLI通过设置流量控制机制，防止服务过载并保持服务的稳定性。 跨AZ容灾：DLI云服务采用跨可用区容灾部署，减少单点故障的风险，提高系统的可用性和弹性。 备份恢复：DLI自动化的备份策略和恢复计划，确保在发生故障时可以迅速恢复服务和数据。 父主题：
基本概念 账号 用户注册华为账号并开通华为云。账号对其所拥有的资源及云服务具有完全的访问权限，可以重置用户密码、分配用户权限等。由于账号是付费主体，为了确保账号安全，建议您不要直接使用账号进行日常管理工作，而是创建用户并使用他们进行日常管理工作。 用户 由账号在IAM中创建的用户
使用JDBC提交SQL作业 本文介绍通过JDBC连接DLI并提交SQL作业。 下载并安装JDBC驱动包 使用JDBC连接DLI并提交SQL作业 DLI JDBC Driver支持的API列表 父主题： 使用客户端工具连接DLI
db/{table_name}，其中{lakeformation_catalog_url}对接的lakeformation catalog配置的location，{schema_name}为建表时使用的schema，{table_name}为表名。 不允许向托管表（表属性external
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
