-
DataGen源表 - 数据湖探索 DLI
rows-per-second 否 10000 Long 每秒生成的行数,用以控制数据发出速率。 fields.#.kind 否 random String 指定 '#' 字段的生成器。 '#' 字段必须是DataGen表中的字段,实际使用时需要将'#'替换为相应字段名。
-
DCS输出流 - 数据湖探索 DLI
key_value 是 设置具体的key和value,key_value对必须与value_type所指定的类型数相对应,用“;”分隔,且key和value均支持参数化,动态列名采用${列名}表示。 注意事项 当配置项支持参数化时,表示将记录中的一列或者多列作为该配置项的一部分。
-
Elasticsearch结果表 - 数据湖探索 DLI
connector.bulk-flush.max-actions 否 批量写入时的每次最大写入记录数 connector.bulk-flush.max-size 否 批量写入时的最大数据量,当前只支持MB,请带上单位 mb connector.bulk-flush.interval
-
Elasticsearch结果表 - 数据湖探索 DLI
connector.bulk-flush.max-actions 否 批量写入时的每次最大写入记录数 connector.bulk-flush.max-size 否 批量写入时的最大数据量,当前只支持MB,请带上单位 mb connector.bulk-flush.interval
-
SQL模板下TPC-H样例数据说明 - 数据湖探索 DLI
TPC-H 基准测试的度量单位是每小时执行的查询数( QphH@size),其中“H”表示每小时系统执行复杂查询的平均次数,“size”表示数据库规模的大小,能够反映出系统在处理查询时的能力。
-
字符串函数 - 数据湖探索 DLI
此外,正则表达式匹配组索引不应超过定义的组数。 例如 REGEXP_EXTRACT('foothebar', 'foo(.*?)(bar)', 2) 返回 "bar"。
-
JDBC维表 - 数据湖探索 DLI
scan.fetch-size 否 每次从数据库拉取数据的行数。默认值为0,表示忽略该提示。 lookup.cache.max-rows 否 维表配置,缓存的最大行数,超过该值时,最先添加的数据将被标记为过期。-1表示不使用缓存。
-
JDBC维表 - 数据湖探索 DLI
scan.fetch-size 否 每次从数据库拉取数据的行数。默认值为0,表示忽略该提示。 lookup.cache.max-rows 否 维表配置,缓存的最大行数,超过该值时,最先添加的数据将被标记为过期。-1表示不使用缓存。
-
CSS Elasticsearch输出流 - 数据湖探索 DLI
max_record_num_cache 否 记录最大缓存数。 es_certificate_name 否 跨源认证信息名称。 创建跨源认证请参考跨源认证。 若es集群开启安全模式且开启https,则使用证书进行访问,创建的跨源认证类型需要为“CSS”。
-
ClickHouse结果表 - 数据湖探索 DLI
connector.write.flush.max-rows 否 写数据时刷新数据的最大行数,默认值为:5000。
-
迁移Kafka数据至DLI - 数据湖探索 DLI
抽取并发数:设置同时执行的抽取任务数。这里保持默认值“1”。 是否写入脏数据:如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中,以便后面查看,可通过该参数配置,写入脏数据前需要先配置好OBS连接。这里保持默认值“否”即可,不记录脏数据。
-
CSS Elasticsearch输出流 - 数据湖探索 DLI
max_record_num_cache 否 记录最大缓存数。 es_certificate_name 否 跨源认证信息名称。 创建跨源认证请参考跨源认证。 若es集群开启安全模式且开启https,则使用证书进行访问,创建的跨源认证类型需要为“CSS”。
-
DWS源表 - 数据湖探索 DLI
connector.read.partition.column、connector.read.partition.upper-bound、 connector.read.partition.upper-bound必须同时存在或者同时不存在 connector.read.fetch-size 否 每次从数据库拉取数据的行数。
-
SELECT - 数据湖探索 DLI
注意事项 无 示例 先利用substring函数取字段name的子字符串,并按照该子字符串进行分组,返回每个子字符串及对应的记录数。
-
SELECT - 数据湖探索 DLI
注意事项 无 示例 先利用substring函数取字段name的子字符串,并按照该子字符串进行分组,返回每个子字符串及对应的记录数。
-
SELECT - 数据湖探索 DLI
注意事项 无 示例 先利用substring函数取字段name的子字符串,并按照该子字符串进行分组,返回每个子字符串及对应的记录数。
-
SELECT - 数据湖探索 DLI
注意事项 无 示例 先利用substring函数取字段name的子字符串,并按照该子字符串进行分组,返回每个子字符串及对应的记录数。
-
存储计费 - 数据湖探索 DLI
表2 计费公式 资源类型 计费公式 资源单价 计算资源 计算费用=单价*CU数*小时数 请参见数据湖探索价格详情价格。 存储资源 存储费用=单价*存储数据量(GB)*小时数。 请参见数据湖探索价格详情价格。
-
SELECT - 数据湖探索 DLI
注意事项 无 示例 先利用substring函数取字段name的子字符串,并按照该子字符串进行分组,返回每个子字符串及对应的记录数。
-
DWS源表 - 数据湖探索 DLI
connector.read.partition.column、connector.read.partition.upper-bound、 connector.read.partition.upper-bound必须同时存在或者同时不存在 connector.read.fetch-size 否 每次从数据库拉取数据的行数。