检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SQL作业的基本流程： 操作步骤 登录DLI管理控制台。 在DLI管理控制台，选择“作业模板 > SQL模板”。 在“tpchQuery”下找到适合您业务场景的样例模板，单击操作列的“执行”进入SQL编辑器页面。 在SQL编辑器页面右侧的编辑窗口上方，“执行引擎”选择“spark
db://${ip}:${port}/${dbName}。 connector.table 是 操作的表名。如果该DWS表在某schema下，则格式为：'schema\".\"具体表名'，具体可以参考示例说明。 connector.driver 否 jdbc连接驱动，默认为: org
compositeType.* 返回 Flink 复合类型（例如，Tuple，POJO）的平面表示，将其每个直接子类型转换为单独的字段。在大多数情况下，平面表示 的字段与原始字段的命名类似，但使用 $ 分隔符（例如 mypojo$mytuple$f0）。 父主题： 内置函数
参数类型 说明 seed 否 INT类型。 参数seed的格式包括浮点数格式、整数格式、字符串格式。 如果指定种子seed，在相同运行环境下，将会得到一个稳定的随机数序列。 返回值说明 返回DOUBLE类型的值。 示例代码 返回0.3668915240363728。 select
用。本示例将会生成到：“D:\DLITest\MyUDF\target”下名为“MyUDF-1.0-SNAPSHOT.jar”。 图10 生成Jar包 登录OBS控制台，将生成的Jar包文件上传到OBS路径下。 Jar包文件上传的OBS桶所在的区域需与DLI的队列区域相同，不可跨区域执行操作。
inary，timestamp，date，char，array，row，map，struct。其余的类型在数据查询和运算时支持。 通常情况下，大部分非复合数据类型都可以通过字面量加字符串的方式来输入，示例为添加了一个json格式的字符串： select json '{"name":
28个字符。 修改组下的资源包拥有者，则该参数为必选参数。 “group_name”和“resource_name”可以单独使用，也可以组合使用。 修改组的拥有者：使用“group_name”。 修改资源包拥有者：使用“resource_name”。 修改组下的资源包的拥有者：同
定时转换对象的存储类别。 DLI的作业桶设置后请谨慎修改，否则可能会造成历史数据无法查找。 Spark日志分割规则： 按大小分割：默认情况下，每个日志文件最大为128MB。 按时间分割：每过一小时自动创建新的日志文件。 前提条件 配置前，请先购买OBS桶或并行文件系统。大数据场景
计费相关问题 DLI的计费模式有哪些？ 包年/包月计费模式的DLI资源可以和按需计费模式相互转换吗？ 数据湖队列什么情况下是空闲状态？ 怎样排查DLI计费异常？ 已购买套餐包，为什么仍然产生按需计费？ 怎样查看套餐包资源的使用情况？ 怎样查看DLI的数据扫描量？ 按需计费的弹性资源池，如果没提交作业运行就不计费？
scalar.query.enabled false 该参数设置为true： 当子查询中数据不重复的情况下，执行关联子查询，不需要对子查询的结果去重。 当子查询中数据重复的情况下，执行关联子查询，会提示异常，必须对子查询的结果做去重处理，比如max(),min()。 该参数设置为false：
显示函数详情：显示当前函数详情。 只适用于“用户授权”的权限包括： 显示所有表：显示当前数据库下的所有表。 说明： 没有授权“显示所有表”权限，则该数据库在库表管理中不显示该数据库下的所有表。 显示数据库：显示当前数据库的信息。 说明： 没有授权“显示数据库”权限，则该数据库在库表管理中不显示。
设置Flink Opensource SQL作业优先级 登录DLI管理控制台。 单击“作业管理 > Flink作业”。 选择要待配置的作业，单击操作列下的编辑。 单击“自定义配置”。 在“自定义配置”中输入如下语句，先开启动态扩缩容功能，再设置作业优先级。 对于Flink作业，必须先设置flink
DBPROPERTIES (property_name=property_value, ...); 描述 这条命令并不会将SCHEMA当前的内容移动到修改后的路径下，也不会修改与指定schema关联的表或分区，它只会修改新添加进数据库的表的上级目录。 示例 Create schema foo; --修改schema
/作业id开头的目录”为固定格式。 在作业列表中，单击对应的作业名称，然后在“运行日志”页签，可以单击页面提供的OBS链接跳转至对应的路径下。 关于如何创建Flink SQL作业或者Flink Jar作业，请参考《数据湖探索用户指南》。 父主题： Flink作业咨询类
学习成本高，需要了解上百个调优参数。 支持数据源 云上：OBS、RDS、DWS、CSS、MongoDB、Redis。 云下：自建数据库、MongoDB、Redis。 云上：OBS。 云下：HDFS。 生态兼容 DLV、永洪BI、帆软。 大数据生态工具。 自定义镜像 支持，满足业务多样性。 无。
LakeCatMetastoreBasedLockProvider 关闭Hudi锁，或者使用其他的锁实现类时，存在数据丢失/异常的风险。 在任何情况下，DLI不对因关闭Hudi锁，或者使用与元数据服务不匹配的锁实现类，而直接或间接导致的任何形式的损失或损害承担责任，包括但不限于商业利润损失、业务中断、数据丢失或其他财务损失。
arkUI。 归档SQL运行日志 单击SQL编辑器页面，执行历史中SQL作业操作列下的“更多 > 归档日志”，系统自动跳转至日志存储的OBS路径。您可以按需下载对应的日志使用。 default队列下运行的作业或者该作业为同步作业时不支持归档日志操作。 SQL编辑器快捷功能 表3 快捷键说明
配置筛选条件查看详细的监控指标 默认情况下会展示当前prometheus下的所有指标数据，若需查看某个弹性资源池、某个作业甚至某个作业某次提交的指标信息，则需要根据实际进行筛选。 表2 监控指标 筛选条件 说明 Prometheus实例 基于Prometheus实例进行过滤，表示查看该实例下的所有指标信息。
创建OBS表需要指定OBS路径，且该路径需要提前创建。 完整样例代码和依赖包说明请参考：Python SDK概述。 删除表 DLI提供删除表的接口。您可以使用该接口删除数据库下的所有表。示例代码如下： 1 2 3 4 5 6 7 8 def delete_tbls(dli_client, db_name):
进行授权。配置该参数，可以在作业异常失败后，将作业日志保存到用户的OBS桶下，方便用户定位故障原因。 图3 保存作业日志 勾选“作业异常告警”，选择1中创建的“SMN主题”。配置该参数，可以在作业异常情况下，向用户指定邮箱或者手机发送消息通知，方便客户及时感知异常。 图4 作业异常告警
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
