正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
切换到Binlog读取上,保证数据的完整读取。 前提条件 MySQL CDC要求MySQL版本为5.7或8.0.x。 该场景作业需要DLI与MySQL建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。
怎样删除表数据? 可通过使用TRUNCATE清除DLI表或者OBS表的数据。 详情请参考清空数据。 父主题: 作业开发
S路径,例如:obs://桶名/包名。 Spark3.3.x及以上版本仅支持选择OBS路径下的程序包。 主类(--class) 输入主类名称。当应用程序类型为“.jar”时,主类名称不能为空。 应用程序参数 用户自定义参数,多个参数请以Enter键分隔。 应用程序参数支持全局变量
据最大值,该值不包含在返回结果中。 numPartitions 读取数据时并发数。 说明: 实际读取数据时,会根据“lowerBound”与“upperBound”,平均分配给每个task,获取其中一部分的数据。例如: 'partitionColumn'='id', 'lowerBound'='0'
怎样配置DLI队列与数据源的网络连通? 配置DLI队列与内网数据源的网络连通 DLI在创建运行作业需要连接外部其他数据源,如:DLI连接MRS、RDS、CSS、Kafka、DWS时,需要打通DLI和外部数据源之间的网络。 DLI提供的增强型跨源连接功能,底层采用对等连接的方式打通与目的数据
s ≤ p。例如:decimal(10,6),表示数值中共有10位数,其中整数占4位,小数占6位。 BOOLEAN 布尔类型,包括TRUE与FALSE。 SMALLINT/SHORT 有符号整数,存储空间为2字节,范围为-32768~32767。当为NULL情况下,采用计算值默认为0。
计算所有仓库表中的记录数。命令示例如下: select count(*) from warehouse; 返回结果如下: _c0 10 与group by配合使用,对所有商品按照仓库(warehouseId)进行分组,计算各仓库(warehouseId)的商品数。命令示例如下:
如下: select sum(items) from warehouse; 返回结果如下: _c0 55357 与group by配合使用,对所有商品按照仓库(warehouseId)进行分组,计算各仓库商品的总数(items)总和。命令示例如下: select
如下: select sum(items) from warehouse; 返回结果如下: _c0 55357 与group by配合使用,对所有商品按照仓库(warehouseId)进行分组,计算各仓库商品的总数(items)总和。命令示例如下: select
计算所有仓库表中的记录数。命令示例如下: select count(*) from warehouse; 返回结果如下: _c0 10 与group by配合使用,对所有商品按照仓库(warehouseId)进行分组,计算各仓库(warehouseId)的商品数。命令示例如下:
如下: select avg(items) from warehouse; 返回结果如下: _c0 100.0 与group by配合使用,计算每个仓库中所有商品的平均库存。命令示例如下: select warehourseId, avg(items) from
values_row 想要插入到表中的值,列与列之间用逗号分隔。 注意事项 DLI表必须已经存在。 DLI表在创建时不需要指定Schema信息,Schema信息将使用RDS表的信息。如果select子句中选择的字段数量和类型与RDS表的Schema信息不匹配时,系统将报错。
如下: select avg(items) from warehouse; 返回结果如下: _c0 100.0 与group by配合使用,计算每个仓库中所有商品的平均库存。命令示例如下: select warehourseId, avg(items) from
约束与限制 作业相关约束限制 DLI支持的作业类型:Spark SQL、SparkJar、Flink SQL、Flink Jar DLI支持的Spark版本:Spark 3.3.1、Spark 3.1.1(EOM)、Spark 2.4.5(EOM)、Spark 2.3(EOS) DLI支持的Flink版本:Flink
单击“确定”,解除弹性资源池与增强型跨源连接的绑定关系。 方法二: 选择待删除的增强型跨源连接,单击列表中的连接名称,进入连接”。 选择待解绑的弹性资源池,单击操作列“解绑弹性资源池”。 单击“是”,解除弹性资源池与增强型跨源连接的绑定关系。 父主题: 配置DLI与数据源网络连通(增强型跨源连接)
Flink SQL作业消费Kafka后sink到es集群,作业执行成功,但未写入数据 问题现象 客户创建Flink SQL作业,消费Kafka后sink到es集群,作业执行成功,但无数据。 原因分析 查看客户作业脚本内容,排查无问题,作业执行成功,出现该问题可能的原因如下: 数据不准确。
配置DLI与数据源网络连通(增强型跨源连接) 增强型跨源连接概述 创建增强型跨源连接 建立DLI与共享VPC中资源的网络连接 增强型跨源连接权限管理 增强型跨源连接绑定弹性资源池 增强型跨源连接与弹性资源池解绑 添加增强型跨源连接的路由信息 删除增强型跨源连接的路由信息 修改弹性资源池的主机信息
使用DLI进行账单分析与优化 应用场景 本文主要介绍如何使用华为云DLI上的实际消费数据(文中涉及账户的信息已脱敏),在DLI的大数据分析平台上进行分析,找出费用优化的空间,并给出使用DLI过程中降低成本的一些优化措施。 流程介绍 使用DLI进行账单分析与优化的操作过程主要包括以下步骤:
oken之后,您就可以使用Token认证调用其他API。 图1 获取用户Token响应消息头 响应消息体 响应消息体通常以结构化格式返回,与响应消息头中Content-type对应,传递除响应消息头之外的内容。 对于获取用户Token接口,返回如下消息体。为篇幅起见,这里只展示部分内容。
身份认证与访问控制 身份认证 用户访问DLI的方式主要有两种,包括DLI Console界面、DLI Open API等,其本质都是通过DLI提供的REST API接口进行请求。 DLI的接口均需要通过认证鉴权才能访问,控制台发送的请求与调用API接口的请求均支持Token认证鉴权。