检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
示例 下面的示例展示了一个经典的业务流水线,维度表来自 Hive,每天通过批处理流水线作业或 Flink 作业更新一次,kafka流来自实时在线业务数据或日志,需要与维度表连接以扩充流。 使用spark sql 创建 hive obs 外表,并插入数据。 CREATE TABLE if
配置DLI作业桶 使用DLI服务前需配置DLI作业桶,该桶用于存储DLI作业运行过程中产生的临时数据,例如:作业日志、作业结果。 本节操作指导您在DLI管理控制台的“全局配置 > 工程配置”页面配置DLI作业桶。 操作前准备 配置前,请先购买OBS桶或并行文件系统。 大数据场景推
欠费说明 用户在使用DLI服务时,账户的可用额度小于待结算的账单,即被判定为账户欠费。欠费后,可能会影响云服务资源的正常运行,请及时充值。 欠费原因 已购买套餐包,但使用量超出套餐包额度,进而产生按需费用,同时账户中的余额不足以抵扣产生的按需费用。请参考已购买套餐包,为什么仍然产
储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用云服务的Region;专属Region指只承载同一类业务或只面向特定租户提供业务服务的专用Region。 详情请参见区域和可用区。 可用区
partition_clause 否 指定分区。分区列的值相同的行被视为在同一个窗口内。 orderby_clause 否 指定数据在一个窗口内如何排序。 返回值说明 返回DOUBLE类型的值。 a为NULL,则返回NULL。 示例代码 为便于理解函数的使用方法,本文为您提供源数据,基
hudi.keygen.ComplexKeyGenerator 同步Hive表配置 由DLI提供的元数据服务是一种Hive Metastore服务(HMS),因此下列参数与同步元数据服务相关。 表2 同步Hive表参数配置 参数 描述 默认值 hoodie.datasource.hive_sync
DLI SDK DLI SDK功能矩阵 DLI SDK与API的对应关系
SQL作业相关 数据库相关 表相关 作业相关 父主题: Java SDK
续费 续费概述 手动续费 自动续费
计费相关问题 DLI的计费模式有哪些? 包年/包月计费模式的DLI资源可以和按需计费模式相互转换吗? 数据湖队列什么情况下是空闲状态? 怎样排查DLI计费异常? 已购买套餐包,为什么仍然产生按需计费? 怎样查看套餐包资源的使用情况? 怎样查看DLI的数据扫描量? 按需计费的弹性资源池,如果没提交作业运行就不计费?
output_format_classname partition_col_name partition_col_value partition_specs property_name property_value regex_expression result_expression row_format
attr_expr 格式 说明 语法 描述 attr_expr 属性表达式。 attr 表的字段,与col_name相同。 const_value 常量值。 case_expr case表达式。 math_func 数学函数。 date_func 日期函数。 string_func
attrs_value_set_expr 格式 说明 语法 描述 attrs_value_set_expr 属性值集合。 sub_query 子查询语句。 ( 指定子查询表达式开始。 ) 指定子查询表达式结束。 父主题: 标示符
condition_list 格式 说明 语法 描述 condition_list 逻辑判断条件列表。 and 逻辑运算符:与。 or 逻辑运算符:或。 not 逻辑运算符:非。 ( 子逻辑判断条件开始。 ) 子逻辑判断条件结束。 condition 逻辑判断条件。 父主题: 标示符
运算符 关系运算符 算术运算符 逻辑运算符
查看表 查看所有表 查看建表语句 查看表属性 查看指定表所有列 查看指定表所有分区 查看表统计信息 父主题: 表相关
视图相关 创建视图 删除视图
数据权限相关 数据权限列表 创建角色 删除角色 绑定角色 解绑角色 显示角色 分配权限 回收权限 显示已授权限 显示所有角色和用户的绑定关系
排序 ORDER BY SORT BY CLUSTER BY DISTRIBUTE BY 父主题: SELECT
CASE...WHEN 简单CASE函数 CASE搜索函数 父主题: SELECT