检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark Jar 使用DEW获取访问凭证读写OBS 操作场景 DLI将Spark Jar作业并的输出数据写入到OBS时，需要配置AKSK访问OBS，为了确保AKSK数据安全，您可以通过数据加密服务（Data Encryption Workshop，DEW）、云凭据管理服务（Cloud
Kafka 功能描述 Kafka 连接器提供从 Kafka topic 中消费和写入数据的能力。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 表1 支持类别
使用Spark SQL作业分析OBS数据 DLI支持将数据存储到OBS上，后续再通过创建OBS表即可对OBS上的数据进行分析和处理。 本指导中的操作内容包括：创建OBS表、导入OBS表数据、插入和查询OBS表数据等内容来帮助您更好的在DLI上对OBS表数据进行处理。 前提条件 已创建
自定义函数类型推导 操作场景 类型推导包含了验证输入值、派生参数和返回值数据类型。从逻辑角度看，Planner需要知道数据类型、精度和小数位数；从 JVM 角度来看，Planner 在调用自定义函数时需要知道如何将内部数据结构表示为JVM对象。 Flink 自定义函数实现了自动的类型推导提取
自定义函数类型推导 操作场景 类型推导包含了验证输入值、派生参数和返回值数据类型。从逻辑角度看，Planner需要知道数据类型、精度和小数位数；从 JVM 角度来看，Planner 在调用自定义函数时需要知道如何将内部数据结构表示为JVM对象。 Flink 自定义函数实现了自动的类型推导提取
典型场景示例：迁移RDS数据至DLI 本文为您介绍如何通过CDM数据同步功能，迁移关系型数据库RDS数据至DLI。其他关系型数据库数据都可以通过CDM与DLI进行双向同步。 前提条件 已创建DLI的SQL队列。创建DLI队列的操作可以参考创建DLI队列。 创建DLI队列时队列类型需要选择为
Flink Jar 使用DEW获取访问凭证读写OBS 操作场景 DLI将Flink Jar作业的输出数据写入到OBS时，需要配置AKSK访问OBS，为了确保AKSK数据安全，您可以通过数据加密服务（Data Encryption Workshop，DEW）、云凭据管理服务（Cloud
使用DLI分析车联网场景驾驶行为数据 应用场景 在车联网领域，云计算与大数据为企业提供了强大的分析挖掘能力，可以帮助企业和车队管理者更加科学、便捷地进行车辆数据管理与分析。 方案架构 根据已有的某货运公司车辆定时上报的详单数据和货运订单数据，DLI可以完成对该货运公司车辆行驶特点分析
典型场景示例：迁移Kafka数据至DLI 本文为您介绍如何通过CDM数据同步功能，迁移MRS Kafka数据至DLI。 前提条件 已创建DLI的SQL队列。创建DLI队列的操作可以参考创建DLI队列。 创建DLI队列时队列类型需要选择为“SQL队列”。 已创建包含Kafka组件的MRS
云容器引擎-成长地图 | 华为云 数据湖探索 数据湖探索（Data Lake Insight，简称DLI）是完全兼容Apache Spark、Apache Flink、HetuEngine生态，提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器
数据保护技术 数据存储安全 为了确保您的个人敏感数据（例如用户名、密码、手机号码等）不被未经过认证、授权的实体或者个人获取，DLI对用户数据的存储和传输进行加密保护，以防止个人数据泄露，保证您的个人数据安全。 数据销毁机制 用户删除DLI队列后，存储在集群上的用户个人敏感数据会随之删除
创建Hive Catalog 简介 Catalog提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。 数据处理最关键的方面之一是管理元数据。 元数据可以是临时的，例如临时表、或者通过TableEnvironment注册的UDF。 元数据也可以是持久化的
在Spark SQL作业中使用UDF 操作场景 DLI支持用户使用Hive UDF（User Defined Function，用户定义函数）进行数据查询等操作，UDF只对单行数据产生作用，适用于一进一出的场景。 约束限制 在DLI Console上执行UDF相关操作时，需要使用自建的
使用Spark Jar作业读取和查询OBS数据 操作场景 DLI完全兼容开源的Apache Spark，支持用户开发应用程序代码来进行作业数据的导入、查询以及分析处理。本示例从编写Spark程序代码读取和查询OBS数据、编译打包到提交Spark Jar作业等完整的操作步骤说明来帮助您在
字符串函数和运算符 字符串运算符 ||表示字符连接 SELECT 'he'||'llo'; --hello 字符串函数 这些函数假定输入字符串包含有效的UTF-8编码的Unicode代码点。不会显式检查UTF-8数据是否有效，对于无效的UTF-8数据，函数可能会返回错误的结果。可以使用
窗口 GROUP WINDOW 语法说明 Group Window定义在GROUP BY里，每个分组只输出一条记录，包括以下几种： 分组函数 表1 分组函数表 分组窗口函数 说明 TUMBLE(time_attr, interval) 定义一个滚动窗口。滚动窗口把行分配到有固定持续时间
窗口 GROUP WINDOW 语法说明 Group Window定义在GROUP BY里，每个分组只输出一条记录，包括以下几种： 分组函数 在流处理表中的 SQL 查询中，分组窗口函数的 time_attr 参数必须引用一个合法的时间属性，且该属性需要指定行的处理时间或事件时间。
在Spark SQL作业中使用UDTF 操作场景 DLI支持用户使用Hive UDTF（User-Defined Table-Generating Functions）自定义表值函数，UDTF用于解决一进多出业务场景，即其输入与输出是一对多的关系，读入一行数据，输出多个值。 约束限制
使用JDBC连接DLI并提交SQL作业 操作场景 在Linux或Windows环境下您可以使用JDBC应用程序连接DLI服务端提交作业。 使用JDBC连接DLI提交的作业运行在Spark引擎上。 JDBC版本2.X版本功能重构后，仅支持从DLI作业桶读取查询结果，如需使用该特性需具备以下条件
使用DLI提交Spark Jar作业 操作场景 DLI允许用户提交编译为Jar包的Spark作业，Jar包中包含了Jar作业执行所需的代码和依赖信息，用于在数据查询、数据分析、机器学习等特定的数据处理任务中使用。在提交Spark Jar作业前，将程序包上传至OBS，并将程序包与数据和作业参数一起提交以运行作业
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
