检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据。 CSV 存储路径 输入或选择OBS路径。路径可以是文件夹,也可以是路径。 说明: 如果需要将OBS上的数据导入OBS表,则建表路径必须是文件夹。建表路径是文件时,会导致数据导入失败。 obs://obs1/sampledata.csv 表头:无/有 当“数据格式”为“CS
明说明。 说明: 以下规则优先级按照顺序从高到低。 不允许json_string和json_path为NULL json_string格式必须为合法的json串,否则函数返回NULL json_string为空字符串,则函数返回空字符串 json_path为空字串或路径不存在,则函数返回NULL
fallback-mapred-reader=true Reading Hive Views Flink 能够从 Hive 定义的视图中读取数据,但存在一些限制: 必须先将 Hive 目录设置为当前目录,然后才能查询视图。这可以通过表 API 中的 tableEnv.useCatalog(...) 或 USE
明说明。 说明: 以下规则优先级按照顺序从高到低。 不允许json_string和json_path为NULL json_string格式必须为合法的json串,否则函数返回NULL json_string为空字符串,则函数返回空字符串 json_path为空字串或路径不存在,则函数返回NULL
说明: “partitionColumn”,“lowerBound”,“upperBound”,“numPartitions”4个参数必须同时设置,不支持仅设置其中一部分。 为了提升并发读取的性能,建议使用自增列。 lowerBound partitionColumn设置的字段数据最小值,该值包含在返回结果中。
Key。该参数仅用于查询时使用。查询redis数据时与“table”参数二选一。 key.column 指定列为key值(非必选)。如果写入数据时指定了key,则查询时必须指定key,否则查询时会异常加载key。 partitions.number 读取数据时,并发task数。 scan.count 每批次读
明说明。 说明: 以下规则优先级按照顺序从高到低。 不允许json_string和json_path为NULL json_string格式必须为合法的json串,否则函数返回NULL json_string为空字符串,则函数返回空字符串 json_path为空字串或路径不存在,则函数返回NULL
Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 所有 HBase 表的列簇必须定义为ROW类型,字段名对应列簇名(column family),嵌套的字段名对应列限定符名(column qualifier)。用户只需
件或者环境变量中密文存放,使用时解密,确保安全。Flink Opensource SQL使用DEW管理访问凭据 所有 HBase 表的列簇必须定义为ROW类型,字段名对应列簇名(column family),嵌套的字段名对应列限定符名(column qualifier)。用户只需
SQL”:用户通过编辑SQL语句来启动作业。 名称 作业名称,只能由字母、中文、数字、中划线和下划线组成,并且长度为1~57字节。 说明: 作业名称必须是唯一的。 描述 作业的相关描述,长度为0~512字节。 模板名称 用户可以选择样例模板或自定义的作业模板。关于模板的详细信息,请参见管理Flink作业模板。
link版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 创建的HBase结果表的列簇必须定义为ROW类型,字段名对应列簇名(column family),嵌套的字段名对应列限定符名(column qualifier)。用户只需
= 'fields-scores' ); data-type取值约束: 当data-type为set时,flink中定义的非主键字段的类型必须相同。 当data-type为sorted-set且schema-syntax为fields和array时,只能读取redis的sorted
确保本地编译环境可以正常访问公网。 约束与限制 需要在DLI控制台下“全局配置 > 服务授权”开启Tenant Adminstrator(全局服务)。 写入数据到OBS的桶必须为主账号下所创建的OBS桶。 使用Flink1.15版本的计算引擎时,需要用户自行配置委托,否则可能影响作业运行。 详细操作请参考自定义DLI委托权限。
'(topic-a|topic-b|topic-[0-9]*)' properties.* 否 无 String 设置和传入任意的Kafka原生配置文件。 注意: 后缀名必须匹配在Apache Kafka中的配置键。 例如关闭自动创建topic:'properties.allow.auto.create.topics'
该功能公测阶段,如需使用请提交工单申请开通“使用Spark作业访问DLI元数据”的使用权限。 约束限制 如果使用Spark 3.1访问元数据,则必须新建队列。 不支持的场景: 在SQL作业中创建了数据库(database),编写程序代码指定在该数据库下创建表。 例如在DLI的SQL编辑
A:fields和array的不同不会导致结果不同。只是在flink建表语句中不同,fields可以是多个字段,而array需要该字段为array类型,且array中的数据类型必须相同,因此fields会更加灵活。 对于fields: 对于fields而言,创建的Flink作业运行脚本如下: CREATE TABLE
A:fields和array的不同不会导致结果不同。只是在flink建表语句中不同,fields可以是多个字段,而array需要该字段为array类型,且array中的数据类型必须相同,因此fields会更加灵活。 对于fields: 对于fields而言,创建的Flink作业运行脚本如下: CREATE TABLE
消费组名称 properties.* 否 无 String 设置和传入任意的Kafka原生配置文件。 注意: “properties.”中的后缀名必须是Apache Kafka中的配置键。 例如关闭自动创建topic:'properties.allow.auto.create.topics'
生命周期和多版本。 对接LakeFormation实例场景,LOAD DATA语句不支持datasource表,且LOAD DATA分区表必须指定分区。 在LakeFormation控制台创建的数据库和表中包含中文字符时,不支持在DLI执行相关数据库和表的操作。 对接LakeFo
步骤5:创建跨源认证 使用跨源认证保存DLI读写RDS数据的访问凭证。 步骤6:提交SQL作业 使用标准SQL语句进行数据的查询和分析。 准备工作 已注册华为账号并开通华为云,且在使用DLI前检查账号状态,账号不能处于欠费或冻结状态。 配置DLI委托访问授权 DLI使用过程中涉及到OBS、V