检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
UPDATE_BEFORE 和 UPDATE_AFTER 分别编码为 DELETE 和 INSERT 类型的 Canal 消息。 参数说明 表1 参数说明 参数 是否必选 默认值 类型 说明 format 是 (none) String 指定要使用的格式，此处应为 'canal-json'. canal-json
schema 中自动推导而得的。 支持的Connector Kafka Upsert Kafka Elasticsearch 参数说明 表1 参数 是否必选 默认值 类型 说明 format 是 (none) String 声明使用的格式，这里应为'json'。 json.fail-on-missing-field
查询语句无需付费。 取消的查询，按取消查询时扫描的总数据量计费。 若计算任务超时或失败，则当次计算不收取费用。 数据的存储方式（包括格式，是否压缩）对计算费用有直接的影响。 假设Parquet格式文件为原CSV文件大小的1/4，则数据扫描费用为原CSV文件扫描费用的1/4。 计费规则
schema 中自动推导而得的。 支持的Connector Kafka Upsert Kafka Elasticsearch 参数说明 表1 参数 是否必选 默认值 类型 说明 format 是 (none) String 声明使用的格式，这里应为'json'。 json.fail-on-missing-field
UPDATE_BEFORE 和 UPDATE_AFTER 分别编码为 DELETE 和 INSERT 类型的 Canal 消息。 参数说明 表1 参数说明 参数 是否必选 默认值 类型 说明 format 是 (none) String 指定要使用的格式，此处应为 'canal-json'. canal-json
); insert into printSink select * from dataGenSource; 查看default数据库中，是否含有dataGenSource、printSink 表。 Hive Metastore 以小写形式存储所有元数据对象名称。 图1 查看default数据库
路径同时支持文件和文件夹。 obs://DLI/sampledata.csv 表头:无/有 当“文件格式”为“CSV”时该参数有效。设置导入数据源是否含表头。 选中“高级选项”，勾选“表头:无”前的方框，“表头:无”显示为“表头:有”，表示有表头；取消勾选即为“表头:无”，表示无表头。 -
写入数据时，每一批次写入数据的记录数，默认值1000。设置越大性能越好，但占用内存越多，该值设置过大会有内存溢出的风险。 truncate 执行overwrite时是否不删除原表，直接执行清空表操作，取值范围： true false 默认为“false”，即在执行overwrite操作时，先将原表删除再重新建表。
schema-registry.subject 参数来制定。 支持的connector kafka upsert kafka 参数说明 表1 参数说明 参数 是否必选 默认值 类型 说明 format 是 (none) String 指定使用格式，这里应该是'avro-confluent'。 avro-confluent
schema-registry.subject 参数来指定。 支持的connector kafka upsert kafka 参数说明 表1 参数说明 参数 是否必选 默认值 类型 说明 format 是 (none) String 指定使用格式，这里应该是'avro-confluent'。 avro-confluent
TUMBLE(TABLE data, DESCRIPTOR(timecol), size [, offset ]) 表1 TUMBLE函数参数说明 参数 是否必选 说明 data 是 拥有时间属性列的表。 timecol 是 列描述符，决定数据的哪个时间属性列应该映射到窗口。 size 是 窗口的大小（时长）
(timepoint, temporal) OVERLAPS (timepoint, temporal) BOOLEAN 确定两个时间间隔是否重叠。时间点和时间被转换成在两个时间点（开始，结束）定义的范围之内，该计算函数是leftEnd >= rightStart && rightEnd
(timepoint, temporal) OVERLAPS (timepoint, temporal) BOOLEAN 确定两个时间间隔是否重叠。时间点和时间被转换成在两个时间点（开始，结束）定义的范围之内，该计算函数是leftEnd >= rightStart && rightEnd
SON Format。 支持的Connector Kafka Upsert Kafka Elasticsearch 参数说明 表1 参数 是否必选 默认值 类型 说明 format 是 (none) String 声明使用的格式，这里应为'json'。 json.fail-on-missing-field
watermark-strategy_expression) ) with ( 'connector' = 'datagen' ); 参数说明 表2 参数说明 参数 是否必选 默认值 数据类型 参数说明 connector 是 无 String 指定要使用的连接器，这里是'datagen'。 rows-per-second
'dew.projectId'='', 'dew.csms.version'='' ); 参数说明 表1 参数说明 参数 是否必选 默认值 数据类型 参数说明 dew.endpoint 是 无 String 指定要使用的DEW服务所在的endpoint信息。 获取地区和终端节点。
=CACHE_TIME spark.dli.job.agency.name=USER_AGENCY_NAME 参数说明 表1 参数说明 参数 是否必选 默认值 数据类型 参数说明 spark.hadoop.fs.obs.bucket.USER_BUCKET_NAME.dew.access
数字、空格和_ . : =+-@ ,但首尾不能含有空格。 单击“确定”，创建增强型跨源连接。 创建完成后，增强型跨源连接的链接状态显示“已激活”，代表该链接创建成功。 数据源所在安全组放通弹性资源池的网段 在DLI管理控制台，获取弹性资源池/队列的网段。 单击“资源管理 > 队列
DELETE 和 INSERT 类型的 Ogg 消息。 支持的Connector Kafka FileSystem 参数说明 表1 参数说明 参数 是否必须 默认值 类型 描述 format 是 (none) String 指定要使用的格式，此处应为 'ogg-json'。 ogg-json
数据。 参数说明 在执行与最新的Hive表的时间关联时，Hive表将被缓存到Slot内存中，然后通过键将流中的每条记录与表进行关联，以确定是否找到匹配项。将最新的Hive表用作时间表不需要任何额外的配置。使用以下属性配置Hive表缓存的TTL。在缓存过期后，将重新扫描Hive表以加载最新的数据。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
