检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SQL,支持多种接入方式,并兼容主流数据格式。数据无需复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。 产品介绍 图说DLI 立即使用 成长地图 由浅入深,带您玩转DLI 01 了解 初步认识
Join表函数(UDTF) 功能描述 将表与表函数的结果进行 join 操作。左表(outer)中的每一行将会与调用表函数所产生的所有结果中相关联行进行 join 。 注意事项 针对横向表的左外部联接当前仅支持文本常量 TRUE 作为谓词。 示例 如果表函数返回了空结果,左表(outer)的行将会被删除
作业列表信息。请参见表4。 表4 job_list参数说明 参数名称 是否必选 参数类型 说明 total_count 否 Integer 作业查询结果条数。 jobs 否 Array of Objects 作业信息。请参见表5。 表5 Jobs参数说明 参数名称 是否必选 参数类型 说明 job_id
Spark作业。 DLI支持的SDK分为SDK V3和DLI服务自行开发的SDK。 (推荐)DLI SDK V3:是根据定义API的YAML文件统一自动生成,其接口参数与服务的API一致。 具体操作请参考SDK V3版本开发指南。 DLI SDK(服务自研):是DLI服务自行开发的SDK,本手册介绍DLI
Join表函数(UDTF) 功能描述 将表与表函数的结果进行 join 操作。左表(outer)中的每一行将会与调用表函数所产生的所有结果中相关联行进行 join 。 注意事项 针对横向表的左外部联接当前仅支持文本常量 TRUE 作为谓词。 示例 若表函数返回了空结果,左表(outer)的行将会被删除
但是可以不包含对应的值,系统会匹配上对应的分区。单表分区数最多允许100000个。 select_statement 源表上的SELECT查询(支持DLI表、OBS表)。 values_row 想要插入到表中的值,列与列之间用逗号分隔。 注意事项 表必须已经存在。 如果动态分区不
当前作业返回的结果总条数或insert作业插入的总条数。 database_name 否 String 记录其操作的表所在的数据库名称。类型为Import和Export作业才有“database_name”属性。 table_name 否 String 记录其操作的表名称。类型为Import和Expor
数据泄露,保证您的个人数据安全。 数据销毁机制 用户删除DLI队列后,存储在集群上的用户个人敏感数据会随之删除。 用户在控制台上删去填写的手机号、邮箱,并关闭消息通知功能后,数据库中会同步删除用户的手机号、邮箱信息。 数据传输安全 用户个人敏感数据将通过TLS 1.2、TLS1.
(电池、发动机,轮胎胎压、安全气囊等健康状态)的采集和分析,及时将维保建议回馈给车主。 优势 多源数据分析免搬迁:关系型数据库RDS中存放车辆和车主基本信息,表格存储CloudTable中存放实时的车辆位置和健康状态信息,数据仓库DWS中存放周期性统计的指标。通过DLI无需数据搬迁,对多数据源进行联邦分析。
Flink作业”,进入Flink作业列表页面。 单击“创建作业”,弹出“创建作业”对话框。 本例选择Flink Jar作业类型,作业名称为Flink_Jar_for_test。 图4 新建Flink Jar作业 单击“确定”进入作业配置页面。 配置作业的基本信息。 参考表5配置作业的基本信息。 表5 参数说明
Join表函数(UDTF) 功能描述 将表与表函数的结果进行 join 操作。左表(outer)中的每一行将会与调用表函数所产生的所有结果中相关联行进行 join 。 注意事项 针对横向表的左外部联接当前仅支持文本常量 TRUE 作为谓词。 示例 若表函数返回了空结果,左表(outer)的行将会被删除
输入为ARRAY数组 表1 参数说明 参数 是否必选 参数类型 说明 a、b 是 STRING ARRAY数组。 array<T>中的T指代ARRAY数组元素的数据类型,数组中的元素可以为任意类型。 a和b中元素的数据类型必须一致。数组中的元素为NULL值时会参与运算。 输入为字符串 表2 参数说明
[ maxRepeat ] } '}' ['?'] | '{' repeat '}' 注意事项 Flink SQL 对于标识符(表、属性、函数名)有类似于 Java 的词法约定: 不管是否引用标识符,都保留标识符的大小写。 且标识符需区分大小写。 与 Java 不一样的
[ maxRepeat ] } '}' ['?'] | '{' repeat '}' 注意事项 Flink SQL 对于标识符(表、属性、函数名)有类似于 Java 的词法约定: 不管是否引用标识符,都保留标识符的大小写。 且标识符需区分大小写。 与 Java 不一样的
[ maxRepeat ] } '}' ['?'] | '{' repeat '}' 注意事项 Flink SQL 对于标识符(表、属性、函数名)有类似于 Java 的词法约定: 不管是否引用标识符,都保留标识符的大小写。 且标识符需区分大小写。 与 Java 不一样的
Boolean 作业的流图是否可编辑。“true”表示作业的流图可以编辑,“false”表示作业的流图不可以编辑。 has_savepoint 否 Boolean 作业是否有保存点。“true”表示作业有保存点,“false”表示作业没有保存点。 edge_group_ids 否
Python SDK列表 表1 Python SDK列表 类型 说明 队列相关 介绍查询所有队列的Python SDK使用说明。 资源相关 介绍上传资源包、查询所有资源包、查询制定资源包、删除资源包的Python SDK使用说明。 SQL作业相关 介绍数据库相关、表相关、作业相关的Python
输入为ARRAY数组 表1 参数说明 参数 是否必选 参数类型 说明 a、b 是 STRING ARRAY数组。 array<T>中的T指代ARRAY数组元素的数据类型,数组中的元素可以为任意类型。 a和b中元素的数据类型必须一致。数组中的元素为NULL值时会参与运算。 输入为字符串 表2 参数说明
[ maxRepeat ] } '}' ['?'] | '{' repeat '}' 注意事项 Flink SQL 对于标识符(表、属性、函数名)有类似于 Java 的词法约定: 不管是否引用标识符,都保留标识符的大小写。 且标识符需区分大小写。 与 Java 不一样的
JOIN,在使用UDTF时需要带上 LATERAL 和TABLE 两个关键字。 CROSS JOIN:对于左表的每一行数据,假设UDTF不产生输出,则这一行不进行输出。 LEFT JOIN:对于左表的每一行数据,假设UDTF不产生输出,这一行仍会输出,UDTF相关字段用null填充。 1 2 3