检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
传参不能为JSON格式。 对应批处理作业提交提供两个接口： 异步 asyncSubmit，提交后直接返回，不等待 同步 submit，提交后会一直等待作业执行结束 删除批处理作业 DLI提供删除批处理作业的接口。您可以使用该接口删除批处理作业。示例代码如下： 1 2 3 4 5 6
ig/producer.properties 上述命令中的“Kafka角色实例所在节点的IP地址”即为4中获取的Kafka实例IP。 发送测试消息内容如下： {"PageViews":5, "UserID":"4324182021466249494", "Duration":146
Hudi表的写任务要开启Hive元数据同步功能。 SparkSQL天然与Hive集成，无需考虑元数据问题。该条建议针对的是通过Spark Datasource API或者Flin写Hudi表的场景，通过这两种方式写Hudi时需要增加向Hive同步元数据的配置项；该配置的目的是将Hudi表的元数据统一托管
什么区别？ DLI和MRS都支持Spark组件，但在服务模式、接口方式、应用场景和性能特性上存在一些差异。 DLI服务的Spark组件是全托管式服务，用户对Spark组件不感知，仅仅可以使用该服务，且接口为封装式接口。 DLI的这种模式减轻了运维负担，可以更专注于数据处理和分析任务本身。
队列相关 约束限制 当前使用SDK创建的作业不支持在default队列上运行。 查询所有队列 DLI提供查询队列列表接口，您可以使用该接口并选择相应的队列来执行作业。示例代码如下： 1 2 3 4 5 6 7 8 9 def list_all_queues(dli_client):
'properties.security.protocol' = 'SASL_SSL'、 'properties.sasl.mechanism' = 'GSSAPI或者PLAIN'、 'properties.sasl.jaas.config' = 'org.apache.kafka.common.security
SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化。 创建队列 DLI提供创建队列的接口，您可以使用该接口创建队列。示例代码如下： 1 2 3 4 5 6 7 8 9 private static void createQueue(DLIClient
如果使用SASL_PLAINTEXT类型，且使用Kerberos认证，则需要同时配置以下参数： 'properties.sasl.mechanism' = 'GSSAPI' 'properties.security.protocol' = 'SASL_PLAINTEXT' 具体的建表操作指导请参考DLI 语法参考。
SQL相关的数据库、表、分区、导入及导出数据、自定义函数、内置函数等语法说明和样例指导。 Spark Jar 相关API 提供Spark Jar相关API的使用说明。 Spark 作业SDK参考 提供执行Spark批处理作业的接口样例说明。
ZK_IP2:ZK_PORT2"。 说明： 访问MRS集群，只支持创建增强型跨源连接并且需要配置主机信息，管理控制台操作请参考增强型跨源连接，相关API信息请参考创建增强型跨源连接。 TableName 指定在HBase集群中已创建的表名。 RowKey 指定作为rowkey的dli关联表
Spark作业编辑页面，选择自定义镜像 图3 Spark作业镜像授权操作 图4 在DLI Flink jar作业编辑页面，选择自定义镜像 在使用API时，在作业参数中指定image参数，即可使用自定义镜像运行作业。Spark作业请参考《创建批处理作业》，Flink jar作业请参考《创建Flink
DLI SDK功能矩阵 SDK开发指南指导您如何安装和配置开发环境、如何通过调用DLI SDK提供的接口函数进行二次开发。 Java、Python SDK功能矩阵请参见表1 表1 SDK功能矩阵 语言 功能 内容 Java OBS授权 介绍将OBS桶的操作权限授权给DLI的Java
lpad('myk',5,'dog'); -- domyk luhn_check(string) → boolean 描述：根据Luhn算法测试数字字符串是否有效。 这种校验和函数，也称为模10，广泛应用于信用卡号码和政府身份证号码，以区分有效号码和键入错误、错误的号码。 select
SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化。 样例代码 用户可以使用OBS授权操作的接口，将OBS桶的操作权限授权给DLI, 用于保存用户作业的数据和作业的运行日志等。 示例代码如下： 1 2 3 4 5 6 7 private
myhuaweicloud.com/jarname.jar" group_name：资源包所属分组名称。 查询所有资源包 DLI提供查询资源列表接口，您可以使用该接口并选择相应的资源来执行作业。示例代码如下： 1 2 3 4 5 6 7 8 9 10 11 12 def lis
流生态作业开发指引 流生态系统基于Flink和Spark双引擎，完全兼容Flink/Storm/Spark开源社区版本接口，并且在此基础上做了特性增强和性能提升，为用户提供易用、低时延、高吞吐的数据湖探索。 数据湖探索的流生态开发包括云服务生态、开源生态和自拓展生态： 云服务生态
{obs域名}/{jarPath}/{jarName}。 description：资源包描述信息。 查询所有资源包 DLI提供查询资源列表接口，您可以使用该接口并选择相应的资源来执行作业。示例代码如下： 1 2 3 4 5 6 7 8 9 10 11 private static
或处理时间（流处理）上。 HOP(time_attr, interval, interval) 定义一个跳跃的时间窗口（在 Table API 中称为滑动窗口）。滑动窗口有一个固定的持续时间（ 第二个 interval 参数 ）以及一个滑动的间隔（第一个 interval 参数
li_management_agency的委托信息。 步骤1：开发Jar包并上传数据至OBS DLI控制台不提供Jar包的开发能力，您需要在线下完成Jar包的开发。Jar包的开发样例请参考Flink Jar开发基础样例。 参考Flink作业样例代码开发Flink Jar作业程序，
Flink 能够从 Hive 定义的视图中读取数据，但存在一些限制： 必须先将 Hive 目录设置为当前目录，然后才能查询视图。这可以通过表 API 中的 tableEnv.useCatalog（...） 或 USE CATALOG ...在 SQL 客户端中。 Hive 和 Flink
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
