检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
名称 默认值 描述 spark.sql.files.maxRecordsPerFile 0 要写入单个文件的最大记录数。如果该值为零或为负，则没有限制。 spark.sql.shuffle.partitions 200 为连接或聚合过滤数据时使用的默认分区数。 spark.sql.d
Access Management，简称IAM）细粒度鉴权，可以通过在IAM创建策略来管理DLI的权限控制。两种权限控制机制可以共同使用，没有冲突。 发布区域：全部 创建用户并授权使用DLI DLI自定义策略 DLI常用操作与系统权限关系 OBS 2.0支持 弹性资源池和队列 使
按需计费成本更低，无需任何预付款。 包年/包月+按需计费：假设弹性资源池的规格为64CU，实际使用过程中大部分时间CU数在128CU以上，没有规格变更的场景下64CU部分采用包年包月计费，超出的64CU按弹性资源池CU时计费方式计费。 为了满足该场景下更优惠的计费，则可以通过规格
Flink作业开发指南 流生态作业开发指引 Flink OpenSource SQL作业开发 Flink Jar作业开发基础样例 使用Flink Jar写入数据到OBS开发指南 使用Flink Jar连接开启SASL_SSL认证的Kafka 使用Flink Jar读写DIS开发指南
大约在凌晨4点到7点这个数据段，ETL作业任务结束后没有其他作业，因为资源固定一直占用，导致严重的资源浪费。 上午9点到12点以及下午14点16点的两个时段，ETL报表和作业查询的请求量很高，因为当前固定资源不够，导致作业任务排队，任务一直排队。 图2 固定资源场景 场景二：资源相互隔离，没有共享，造成资源浪费的场景
用户自定义的依赖文件。其他依赖文件需要自行在代码中引用。 在选择依赖文件之前需要将对应的文件上传至OBS桶中，并在“数据管理>程序包管理”中创建程序包，包类型没有限制。具体操作请参考创建程序包。 通过在应用程序中添加以下内容可访问对应的依赖文件。其中，“fileName”为需要访问的文件名，“ClassName”为需要访问该文件的类名。
Caused by: java.net.SocketTimeoutException: connect timed out A：应考虑是跨源没有绑定，或者跨源没有绑定成功。 参考增强型跨源连接章节，重新配置跨源。参考DLI跨源连接DWS失败进行问题排查。 Q：如果该DWS表在某schema下，应该如何配置？
符按照DDL中定义的顺序连接所有主键字段，从而为每一行生成一个文档ID字符串。某些类型（例如BYTES、ROW、ARRAY和MAP等）由于没有对应的字符串表示形式，所以不允许其作为主键字段。如果未指定主键，Elasticsearch将自动生成随机的文档ID。 Elasticsea
入门实践 我们整理了从队列网络连通、不同类型的作业分析、数据迁移场景的常用开发指南和最佳实践内容，帮助您更好的使用DLI进行大数据分析和处理。 表1 DLI常用开发指南与最佳实践 场景 操作指导 描述 Spark SQL作业开发 使用Spark SQL作业分析OBS数据 介绍使用Spark
Upsert Kafka源表 功能描述 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 作为 source，upsert-kafka 连接器生产changel
Upsert Kafka结果表 功能描述 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。DLI将Flink作业的输出数据以upsert的模式输出到Kafka中。
生产项目：在此项目下，您的作业相对稳定（经过开发调试再上线），建议您使用包年/包月计费模式，可以更优惠。同时，按需计费的队列，在空闲1小时后（队列空闲是指该队列上没有正在运行的作业），系统会自动释放计算资源，再次使用时，需要重新分配计算资源，可能会耗费5~10min时间。使用包年/包月计费模式则可避免这种情况，节省等待时间。
integer2 位小数的数字。如果 numeric1 或 integer2 为 NULL，则返回 NULL。 如果 integer2 为 0，则结果没有小数点或小数部分。integer2 可以为负数，使值的小数点左边的 integer2 位变为零。 此函数也可以传入只有一个 numeric1
导入到DLI时需要手动选择DLI的分布列，建议按如下顺序选取： 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景，建议设置所有主键作为分布列。 在没有主键的场景下，如果没有选择分布列，DWS会默认第一列作为分布列，可能会有数据倾斜风险。 如果需要转换源端字段内容，可在该步骤配置，详细请参见字段转换，这里选择不进行字段转换。
的按钮可进入模式选择界面，用户也可以直接输入模式或表空间名称。 本示例因为DWS集群上创建数据库和表中没有创建SCHEMA，则本参数为默认的“public”。 如果选择界面没有待选择的模式或表空间，请确认对应连接里的账号是否有元数据查询的权限。 说明： 该参数支持配置通配符（*）
本文将介绍按需计费的DLI数据扫描量计费的计费规则。 适用场景 DLI服务预置了名为default的队列供用户体验。用户在不确定所需队列容量或没有可创建队列空间的情况下，可以使用该队列执行作业。队列资源按需分配，按扫描量计费，适用于测试项目场景，资源消耗不高，按需计费成本更低，无需任何预付款。
向表中插入新的数据行。 如果指定了列名列表，那么这些列名列表必须与query语句产生列列表名完全匹配。表中不在列名列表中的每一列，其值会设置为null。 如果没有指定列名列表，则query语句产生的列必须与将要插入的列完全匹配。 使用insert into时，会往表中追加数据，而使用insert o
导入数据源的文件格式。导入支持CSV，Parquet，ORC，JSON，Avro格式。编码格式仅支持UTF-8。 CSV 数据源路径 直接输入路径或单击选择OBS的路径，如果没有合适的桶可直接跳转OBS创建。 创建OBS表时指定的路径必须是文件夹，如果建表路径是文件将导致导入数据失败。 当OBS的目录下有同名文件夹
安全 责任共担 资产识别与管理 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 故障恢复 更新管理 认证证书
al_temp_view"); // 注册为spark临时表 // 结果必须根据startTime和endTime进行过滤，如果没有指定endTime，则只需要根据startTime进行过滤 spark.sql("select * from hudi_incremental_temp_view
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
