检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
integer2 ]) STRING 返回string中从integer1位置开始的长度为integer2的子字符串。若integer2未配置，则默认返回从integer1开始到末尾的子字符串 REPLACE(string1, string2, string3) STRING 用
流生态作业开发指引 概述 流生态系统基于Flink和Spark双引擎，完全兼容Flink/Storm/Spark开源社区版本接口，并且在此基础上做了特性增强和性能提升，为用户提供易用、低时延、高吞吐的数据湖探索。 数据湖探索的流生态开发包括云服务生态、开源生态和自拓展生态： 云服务生态
使用JDBC提交SQL作业 本文介绍通过JDBC连接DLI并提交SQL作业。 下载并安装JDBC驱动包 使用JDBC连接DLI并提交SQL作业 DLI JDBC Driver支持的API列表 父主题： 使用客户端工具连接DLI
导出DLI表数据至OBS中 支持将数据从DLI表中导出到OBS服务中，导出操作将在OBS服务新建文件夹，或覆盖已有文件夹中的内容。 注意事项 支持导出json格式的文件，且文本格式仅支持UTF-8。 只支持将DLI表（表类型为“Managed”）中的数据导出到OBS桶中，且导出的路径必须指定到文件夹级别。
integer2 ]) STRING 返回string中从integer1位置开始的长度为integer2的子字符串。若integer2未配置，则默认返回从integer1开始到末尾的子字符串 REPLACE(string1, string2, string3) STRING 用
integer2 ]) STRING 返回string中从integer1位置开始的长度为integer2的子字符串。若integer2未配置，则默认返回从integer1开始到末尾的子字符串 REPLACE(string1, string2, string3) STRING 用
DLI自定义策略 如果系统预置的DLI权限，不满足您的授权要求，可以创建自定义策略。自定义策略中可以添加的授权项（Action）请参考权限策略和授权项。 目前华为云支持以下两种方式创建自定义策略： 可视化视图创建自定义策略：无需了解策略语法，按可视化视图导航栏选择云服务、操作、资源、条件等策略内容，可自动生成策略。
使用DLI将CSV数据转换为Parquet数据 应用场景 Parquet是面向分析型业务的列式存储格式，这种格式可以加快查询速度，查询Parquet格式数据时，只检查所需要的列并对它们的值执行计算，也就是说，只读取一个数据文件或表的一小部分数据。Parquet还支持灵活的压缩选项
数组函数和运算符 下标操作符：[] 描述：下标操作符用于访问数组中的元素，并从1开始建立索引。 select myarr[5] from (values array [1,4,6,78,8,9],array[2,4,6,8,10,12]) as t(myarr); _col0
使用Spark SQL作业分析OBS数据 DLI支持将数据存储到OBS上，后续再通过创建OBS表即可对OBS上的数据进行分析和处理。 本指导中的操作内容包括：创建OBS表、导入OBS表数据、插入和查询OBS表数据等内容来帮助您更好的在DLI上对OBS表数据进行处理。 前提条件 已
DLI Hudi元数据 DLI Hudi元数据说明 创建Hudi表时会在元数据仓创建表的相关元数据信息。 Hudi支持对接DLI元数据和Lakeformation元数据（仅Spark 3.3.1及以上版本支持对接Lakeformation元数据），对接方式与Spark一致。 DL
ALTER TABLE 语法 name，new_name，column_name，new_column_name，table_name_*为用户自定义参数。 重命名一个表。 ALTER TABLE name RENAME TO new_name 修改表的列名，为列添加注释（可选项
创建DLI程序包 DLI支持用户通过批处理方式将程序包提交至通用队列中运行。 如果用户需要更新程序包，可以使用相同的程序包或文件上传至DLI的同一个位置（同一个分组），直接覆盖原有的程序包或文件。 前提条件 所使用的程序包需提前上传至OBS服务中保存。 创建程序包步骤 在管理控制
口的周期触发策略； 当lateness_interval为0时，表示没有使用窗口结束后的延迟策略； 当二者都没有填写时，默认两种策略都没有配置，仅使用普通的TUMBLE窗口。 若仅需使用延迟时间策略，则需要将上述period_interval格式中的'10'设置为 '0'。 OVER
DLI Delta元数据 在DLI中提交Spark SQL作业开发Delta的SQL语法请参考Delta SQL语法参考。 在DLI中提交Spark Jar作业开发Delta请参考在DLI使用Delta提交Spark Jar作业。 DLI Delta元数据说明 创建Delta表时会在元数据仓创建表的相关元数据信息。
Canal Format 功能描述 Canal是一个 CDC（ChangeLog Data Capture，变更日志数据捕获）工具，可以实时地将 MySQL 变更传输到其他系统。Canal 为变更日志提供了统一的数据格式，并支持使用 JSON 或 protobuf序列化消息（Canal
口的周期触发策略； 当lateness_interval为0时，表示没有使用窗口结束后的延迟策略； 当二者都没有填写时，默认两种策略都没有配置，仅使用普通的TUMBLE窗口。 若仅需使用延迟时间策略，则需要将上述period_interval格式中的'10'设置为 '0'。 OVER
DLI SDK与API的对应关系 OBS授权 表1 OBS授权相关API&SDK的对应关系表 Class Method Java Method Python Method API Authorize OBS授权 authorizeBucket - POST /v1.0/{proj
计费概述 数据湖探索DLI的计费由不同的计费项组成，不同的计费项有不同的计费模式，如图1所示。 图1 DLI的计费组成 计费项 DLI的计费项包括计算计费、存储计费、扫描量计费。DLI的计费详情请参见DLI产品价格详情。您可以通过DLI提供的价格计算器，快速计算出购买资源的参考价格。
DLI预置的SQL模板中TPC-H样例数据说明 TPC-H样例数据简介 TPC-H（商业智能计算测试） 是交易处理效能委员会（TPC,Transaction Processing Performance Council) 组织制定的用来模拟决策支持类应用的一个测试集。目前，在学术
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
