检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
一个企业有多个部门，多个部门不同业务数据分析的时间段可能有所差异，具体场景如下： A部门：在00:00-09:00时间段内资源请求量大，其他时间段有短时间的资源请求量不大的任务运行。 B部门：在10:00-22:00时间段内资源请求量大，其他时间段内也有固定周期的作业请求也需要保障。 针对上述场景，弹性资
是路径。 说明： 如果需要将OBS上的数据导入OBS表，则建表路径必须是文件夹。建表路径是文件时，会导致数据导入失败。 obs://obs1/sampledata.csv 表头:无/有 当“数据格式”为“CSV”时，该参数有效。设置导入数据源是否含表头。 选中“高级选项”，勾选“
注意事项 创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 创建HBase源表的列簇必须定义为ROW类型，字段名对应列簇名（column f
注意事项 创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 创建HBase源表的列簇必须定义为ROW类型，字段名对应列簇名（column f
ip信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 注意事项 创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。
本节介绍利用Flink来读写Hive的表。Hive源表的定义，以及创建源表时使用的参数和示例代码。详情可参考：Apache Flink Hive Read & Write Flink支持在BATCH 和 STREAMING模式下从Hive读取数据。当作为BATCH应用程序运行时，Flink将在执行查询的时间点对表的
15及以上版本在创建作业时仅支持配置OBS中的程序包，不支持读取DLI程序包。 Flink版本 Flink版本是选择作业运行时所使用的Flink的版本。不同版本的Flink支持不同的特性。 了解更多Flink版本的信息请参考DLI Flink版本说明。 选择使用Flink1.15版本时请在作业中配置允许DLI访问的云服务的委托信息。
对作业进行自定义调度 。 使用DataArts Studio服务进行作业开发请参考《数据治理中心用户指南》。 Spark SQL语法创建表时是否支持定义主键 Spark SQL语法不支持定义主键。 DLI Spark jar作业是否能访问DWS跨源表？ 可以访问。 详细操作请参考访问DWS和访问SQL库表。
Key。该参数仅用于查询时使用。查询redis数据时与“table”参数二选一。 key.column 指定列为key值（非必选）。如果写入数据时指定了key，则查询时必须指定key，否则查询时会异常加载key。 partitions.number 读取数据时，并发task数。 scan.count 每批次读取的
数据库postgres中的数据表。 partitionColumn 读取数据时，用于设置并发使用的数值型字段。 说明： “partitionColumn”，“lowerBound”，“upperBound”，“numPartitions”4个参数必须同时设置，不支持仅设置其中一部分。 为了提升并发读取的性能，建议使用自增列。
当data-type为set时，flink中定义的非主键字段的类型必须相同。 当data-type为sorted-set且schema-syntax为fields和array时，只能读取redis的sorted set中的值，而不能读取score。 当data-type为string时，只能有一个非主键字段。
当data-type为set时，flink中定义的非主键字段的类型必须相同。 当data-type为sorted-set且schema-syntax为fields和array时，只能读取redis的sorted set中的值，而不能读取score。 当data-type为string时，只能有一个非主键字段。
注意事项 创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 所有 HBase 表的列簇必须定义为ROW类型，字段名对应列簇名（column
注意事项 创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 所有 HBase 表的列簇必须定义为ROW类型，字段名对应列簇名（column
ip信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 注意事项 创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。
分隔符，默认为 ‘,’。string3 是键值分隔符，默认为 ‘=’。 pair 分隔符与键值分隔符均为正则表达式，当使用特殊字符作为分隔符时请提前进行转义，例如 <([{\^-=$!|]})?*+.>。 SUBSTR(string[, integer1[, integer2]])
string2) STRING 将string2字符串拼接到string1字符串的左端，直到新的字符串达到指定长度integer为止 任意参数为null时，返回null 若integer为负数，则返回null 若integer不大于string1的长度，则返回string1裁剪为integer长度的字符串
string2) STRING 将string2字符串拼接到string1字符串的左端，直到新的字符串达到指定长度integer为止 任意参数为null时，返回null 若integer为负数，则返回null 若integer不大于string1的长度，则返回string1裁剪为integer长度的字符串
string2) STRING 将string2字符串拼接到string1字符串的左端，直到新的字符串达到指定长度integer为止 任意参数为null时，返回null 若integer为负数，则返回null 若integer不大于string1的长度，则返回string1裁剪为integer长度的字符串
string2) STRING 将string2字符串拼接到string1字符串的左端，直到新的字符串达到指定长度integer为止 任意参数为null时，返回null 若integer为负数，则返回null 若integer不大于string1的长度，则返回string1裁剪为integer长度的字符串
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
