检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
>=50 and id < 100。 fetchsize 读取数据时，每一批次获取数据的记录数，默认值1000。设置越大性能越好，但占用内存越多，该值设置过大会有内存溢出的风险。 batchsize 写入数据时，每一批次写入数据的记录数，默认值1000。设置越大性能越好，但占用内存越多，该值设置过大会有内存溢出的风险。
命令格式 CONVERT TO DELTA [database_name.]table_name [NO STATISTICS] 参数描述 表1 CONVERT TO DELTA参数描述 参数 描述 database_name Database名称，由字母、数字和下划线（_）组成。 table_name
dli_enhanced_datasource：增强型跨源连接 dli_database：数据库 dli_package_resource：资源包（不支持指定有Module ID的内置资源包） dli_flink_job：Flink作业 请求参数 表2 请求Body参数 参数 是否必选 参数类型
commits=30 // 默认值为30，根据业务场景指定 hoodie.keep.min.commits=20 // 默认值为20，根据业务场景指定 Flink（with属性里设置如下参数，写数据时触发） hoodie.archive.automatic=true archive.max_commits=30
maxPartitionBytes 134217728 读取文件时要打包到单个分区中的最大字节数。 spark.sql.badRecordsPath - Bad Records的路径。 dli.sql.sqlasync.enabled true DDL和DCL语句是否异步执行，值为“true”时启用异步执行。
log) 低 （读取parquet文件性能） COW表查询 实时视图读取（SparkSQL为例）：直接读取元数据服务里面存储的Hudi表即可，${table_name}表示表名称。 select (字段 or 聚合函数) from ${table_name}; 实时视图读取（Spark
请参考创建DLI自定义委托权限和常见场景的委托权限策略。 使用Flink 1.15和Spark 3.3.1(Spark通用队列场景)及以上版本的引擎执行作业时，需自行在IAM页面创建相关委托。 引擎版本低于Flink1.15，执行作业时默认使用dli_admin_agency；引擎版本低于Spark
JDBC版本2.X版本功能重构后，仅支持从DLI作业桶读取查询结果，如需使用该特性需具备以下条件： 在DLI管理控制台“全局配置 > 工程配置”中完成作业桶的配置。 2024年5月起，新用户可以直接使用DLI服务的“查询结果写入桶”功能，无需开通白名单。 对于2024年5月之前首次
增强型跨源连接的优势： 网络连通性：直接打通DLI与目的数据源的VPC网络实现数据互通。 支持多种数据源：支持DLI与多种数据源的网络连通，例如DWS，RDS，CSS，DCS等数据源。 父主题： 增强型跨源连接类
Spark Jar 使用DEW获取访问凭证读写OBS 操作场景 DLI将Spark Jar作业并的输出数据写入到OBS时，需要配置AKSK访问OBS，为了确保AKSK数据安全，您可以通过数据加密服务（Data Encryption Workshop，DEW）、云凭据管理服务（Cloud
本节操作介绍在DLI管理控制台上传并管理程序包的方式。 DLI程序包功能即将停用，使用Spark3.3.1及以上版本、和Flink1.15及以上版本执行作业时，推荐直接选择OBS中的程序包。 打包Spark或Flink jar作业jar包时，请不要上传平台已有的依赖包，以免与平台内置依赖包冲突。内置依赖包信息请参考DLI内置依赖包。
使用DLI分析账单消费数据 以DLI实际消费数据为样例，介绍使用DLI进行账单分析和成本优化的措施。 使用DLI分析电商实时业务数据 使用DLI Flink完成电商业务实时数据的分析处理。 配置DBeaver连接DLI进行数据查询和分析 介绍DBeaver连接DLI并提交SQL查询的操作步骤。
appName("datasource-rds").getOrCreate(); 通过SQL API 访问 创建DLI跨源访问RDS的关联表，填写连接参数。 1 2 3 4 5 6 7 sparkSession.sql( "CREATE TABLE IF NOT EXISTS dli_to_rds USING
用户自定义是否永久运行。当前示例选择为：否。 拉取数据超时时间 持续拉取数据多长时间超时，单位分钟。当前示例配置为：15。 等待时间 可选参数，超出等待时间还是无法读取到数据，则不再读取数据，单位秒。当前示例不配置该参数。 消费组ID 用户指定消费组ID。当前使用MRS Kafka默认的消息组ID：“example-group1”。
删除SQL模板 功能介绍 该接口用于批量删除SQL模板。 调试 您可以在API Explorer中调试该接口。 URI URI格式： POST /v1.0/{project_id}/sqls-deletion 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id
授权DLI读写OBS的权限并不包含在的DLI委托dli_management_agency中。需要您创建自定义委托，并将委托配置在作业中（使用Flink 1.15和Spark 3.3及以上版本的引擎执行作业时需要配置）。 了解dli_management_agency请参考DLI委托概述。
（单位为“GB”）收取计算费用。 SQL类型队列：SQL队列支持提交Spark SQL作业。 通用队列：支持Spark程序、Flink SQL、Flink Jar作业。 不支持队列类型切换，如需使用其他队列类型，请重新购买新的队列。 管理队列 不支持切换队列的计费模式。 队列不支持切换区域。
dli_enhanced_datasource：增强型跨源连接 dli_database：数据库 dli_package_resource：资源包（不支持指定有Module ID的内置资源包） dli_flink_job：Flink作业 表2 Query参数 参数 是否必选 参数类型 描述 limit
y的标识。在插入数据时与参数“table”配合使用。 partitions.number 读取数据时，并发task数。 scan.count 每批次读取的数据记录数，默认为100。如果在读取过程中，redis集群中的CPU使用率还有提升空间，可以调大该参数。 iterator.grouping
maxPartitionBytes 134217728 读取文件时要打包到单个分区中的最大字节数。 spark.sql.badRecordsPath - Bad Records的路径。 spark.sql.legacy.correlated.scalar.query.enabled false
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
