检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ee8fe fail.the subnet could not be found."} 原因分析 DLI跨源连接需要使用VPC、子网、路由、对等连接、端口功能，因此需要获得VPC（虚拟私有云）的VPC Administrator权限。 客户未给VPC服务授权导致DLI跨源连接报错找不到子网。
postgresql.Driver。 connector.username 否 数据库认证用户名，需要和'connector.password'一起配置 connector.password 否 数据库认证密码，需要和'connector.username'一起配置 connector.write
ic，该语法支持CloudTable服务的OpenTSDB和MRS服务的OpenTSDB。 前提条件 创建DLI表关联OpenTSDB之前需要创建跨源连接。管理控制台操作请参考增强型跨源连接。 语法格式 1 2 3 4 5 CREATE TABLE [IF NOT EXISTS]
overwrite语句覆盖分区表的数据时，如果发现它覆盖了全量数据而不是预期的分区数据，这可能是因为动态分区覆盖功能没有被启用。 如果需要动态覆盖DataSource表指定的分区数据，您需要先配置参数 dli.sql.dynamicPartitionOverwrite.enabled=true，然后通过insert
Hudi锁配置说明 提交Spark jar作业时需要手动配置Hudi锁。 当使用DLI托管的元数据服务时，必须配置Hudi锁开启，且配置使用DLI提供的Hudi锁实现类： 配置项 配置值 hoodie.write.lock.provider com.huawei.luxor.hudi
和下划线，但不能是纯数字，且不能以下划线开头。长度限制：1~128个字符。 队列名称不区分大小写，系统会自动转换为小写。 类型：队列类型选择“通用队列”。“按需计费”时需要勾选“专属资源模式”。 AZ策略、CPU架构、规格：保持默认即可。 企业项目：当前选择为“default”。
avro.codec 否 （none） String 仅用于文件系统，avro 压缩编解码器。默认不压缩。目前支持：deflate、snappy、bzip2、xz。 数据类型映射 目前，Avro schema 通常是从 table schema 中推导而来。尚不支持显式定义 Avro
regexp_position('I have 23 apples, 5 pears and 13 oranges', '\b\d+\b', 5); -- 8 SELECT regexp_position('I have 23 apples, 5 pears and 13 oranges'
driver 否 无 String 连接数据库所需要的驱动。若未配置，则会自动通过URL提取。 username 否 无 String 数据库认证用户名，需要和'password'一起配置。 password 否 无 String 数据库认证密码，需要和'username'一起配置。 sink
time) and UpperBound(L.time) 带有时间属性(L.time/R.time)的比较表达式。 注意事项 时间窗口join需要至少一个 equi-join 谓词和一个限制了双方时间的 join 条件。 例如使用两个适当的范围谓词（<, <=, >=, >），一个 BETWEEN
202103241606060001 appShop 2021-03-24 16:06:06 200 180 2021-03-24 16:10:06 0001 Alice 330106 202103251202020001 miniAppShop 2021-03-25 12:02:02
DLI创建跨源连接，绑定队列一直在创建中怎么办？ 跨源连接创建慢，有以下几种可能： 购买DLI队列后，第一次进行绑定队列。通常需要等待5~10分钟，待后台拉起集群后，即可创建成功。 若刚刚对队列进行网段修改，立即进行绑定队列。通常需要等待5~10分钟，待后台重建集群后，即可创建成功。 父主题： 增强型跨源连接类
连接条件匹配上的进行UPDATE或DELETE，无法匹配的执行INSERT。这个语法仅需要一次全表扫描就完成了全部同步工作，执行效率要高于INSERT＋UPDATE。 注意事项 分区表合并需要设置参数spark.sql.forcePartitionPredicatesOnPartitionedTable
DOUBLE或DECIMAL类型。 排在第nth位的值，当不存在隐式转换时返回值同输入参数数据类型。 当有类型转换时，DOUBLE、BIGINT、STRING之间的转换返回DOUBLE类型；STRING、DATETIME之间的转换返回DATETIME类型。不允许其他的隐式转换。 NULL为最小值。 示例代码 返回2。
怎样将老版本的Spark队列切换成通用型队列 当前DLI服务包括“SQL队列”和“通用队列”两种队列类型。 其中，“SQL队列”用于运行SQL作业，“通用队列”兼容老版本的Spark队列，用于运行Spark作业和Flink作业。 通过以下步骤，可以将老版本的“Spark队列”转换为新的“通用队列”。
Formats默认的策略是根据Part文件大小进行滚动，需要指定文件打开状态最长时间的超时以及文件关闭后的非活动状态的超时时间。对于Bulk Formats在每次创建Checkpoint时进行滚动，并且用户也可以添加基于大小或者时间等的其他条件。 在STREAMING模式下使用FileSink需要开启Checkpoi
to_char函数用于将日期按照指定格式转换为字符串。 命令格式 to_char(string date, string format) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 date 是 DATE 或 STRING 代表需要处理的日期。 格式为： yyyy-mm-dd
支持的Connector Kafka Filesystem 注意事项 Maxwell应用允许将每个变动消息精确地传递一次。在这种情况下，Flink在消费Maxwell生成的消息时处理得很好。如果Maxwell应用程序在at-least-once模式处理，它可能向Kafka写入重复的改动消
sql import SparkSession 创建会话 1 sparkSession = SparkSession.builder.appName("datasource-css").getOrCreate() 通过DataFrame API 访问 连接配置 1 2 resource
ble-checkpoint为true，与checkpoint-app-name需要同时配置。 connector. checkpoint-app-name 否 DIS服务的消费者标识，当不同作业消费相同通道时，需要区分不同的消费者标识，以免checkpoint混淆。 勿与off
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
