检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka结果表 功能描述 DLI将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。 前提条件 Kafka是线下集
对于标识符(表、属性、函数名)有类似于 Java 的词法约定: 不管是否引用标识符,都保留标识符的大小写。 且标识符需区分大小写。 与 Java 不一样的地方在于,通过反引号,可以允许标识符带有非字母的字符(如:"SELECT a AS `my field` FROM t")。 字符串文本常量需要被单引号包起来(如
monitor-interval 无 Duration 设置新文件的监控时间间隔,并且必须设置 > 0 的值。 每个文件都有其路径唯一标识,一旦发现新文件,就会处理一次。 已处理的文件在 source 的整个生命周期内存储在 state 中,因此,source 的 state 在 checkpoint
TUMBLE函数指定每个元素到一个指定大小的窗口中。滚动窗口的大小固定且不重复。 例如:假设指定了一个 5 分钟的滚动窗口。Flink 将每 5 分钟生成一个新的窗口。 图1 滚动窗口示例图 语法描述 TUMBLE 函数通过时间属性字段为每行数据分配一个窗口。 在流计算模式,时间属性字段必须被指定为事件或处理时间属性。
按时间分割:每过一小时自动创建新的日志文件。 前提条件 配置前,请先购买OBS桶或并行文件系统。大数据场景推荐使用并行文件系统,并行文件系统(Parallel File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能
源的访问凭证确保数据源认证的安全性,便于DLI安全访问数据源。数据加密服务(Data Encryption Workshop, DEW)是一个综合的云上数据加密服务,为您解决数据安全、密钥安全、密钥管理复杂等问题。本节操作介绍使用数据加密服务DEW存储数据源的认证信息的操作步骤。
L作业日志的操作方法。 使用须知 请勿将该DLI作业桶绑定的OBS桶用作其它用途,避免出现作业结果混乱等问题。 DLI作业要由用户主账户统一设置及修改,子用户无权限。 不配置DLI作业桶无法查看作业日志。 您可以通过配置桶的生命周期规则,定时删除桶中的对象或者定时转换对象的存储类别。
] } ] } 按需输入策略描述。 新建策略完成后,单击“下一步”,返回委托授权页面。 选择步骤8新建的自定义策略。 单击“下一步”,选择委托的授权范围。本例选择“所有资源”。 了解更多授权操作说明请参考创建用户组并授权。 单击“确定”,完成授权。
”)收取存储费用。 计费周期 按需计费DLI数据存储每一个小时整点结算一次费用(以UTC+8时间为准),结算完毕后进入新的计费周期。 计费的起点以DLI表的创建时间点为准,终点以DLI表删除时间为准。 资源从创建到启动需要一定时长,按需计费的数据存储的起点是DLI表创建成功的时间点,而非创建的时间。您可以在“数据管理
Guest权限。 赋权给项目时,只可以赋权给相同租户下的相同区域的项目。 关于Tenant Guest权限的介绍和开通方法,详细参见权限策略和《统一身份认证服务 用户指南》中的创建用户组。 调试 您可以在API Explorer中调试该接口。 URI URI格式: PUT /v1.0/{
FIELDS:字段表格中的列,每个字段有一个名称和数据类型,表中字段之间以'/'分隔。 COLLECTION ITEMS:集合项指的是一组数据中的元素,可以是数组、列表或集合等,表中集合项以'$'分隔。 MAP KEYS:映射键是一种键值对的数据结构,用于存储一组相关联的数据,表中Map键以'#'分隔。
JOIN/INNER JOIN:只显示参与连接的表中满足JOIN条件的记录。 注意事项 所要进行JOIN连接的表必须是已经存在的表,否则会出错。 在一次查询中可以连接两个以上的表。 示例 通过将student_info与course_info两张表中的课程编号匹配建立JOIN连接,来查看学生姓名及所选课程名称。
40282346638528860e+38,正或负 FLOAT 用法说明: 分布式查询使用高性能硬件指令进行单精度或者双精度运算时,由于每次执行的顺序不一样,在调用聚合函数,比如SUM(),AVG(),特别是当数据规模非常大时,达到数千万甚至数十亿,其运算结果可能会略有不同。这种情况下,建议使用DECIMAL数据类型来运算。
ouse是面向联机分析处理的列式数据库,支持SQL查询,且查询性能好,特别是基于大宽表的聚合分析查询性能非常优异,比其他分析型数据库速度快一个数量级。详细请参考ClickHouse组件操作。 前提条件 该场景需要与ClickHouse建立增强型跨源连接,并根据实际情况设置Clic
给新用户设置表权限时,该用户所在用户组的所属区域需具有Tenant Guest权限。关于Tenant Guest权限的介绍和开通方法,详细参见《权限策略》和《统一身份认证服务用户指南》中的创建用户组。 注意事项 如果需要查看主账号下数据库中的表,需要对当前子账号用户授权(显示权限),具体请参考常用操作与系统权限关系。
本节操作介绍创建SQL防御规则以增加SQL防御能力的配置方法。 DLI SQL防御规则约束与限制 仅Spark 3.3.x及以上版本支持SQL防御功能。 同一个队列,同一个动作的防御规则仅支持创建一条。 每条规则最多可以关联50个SQL队列。 每个项目最多可以创建1000条规则。 创建SQL防御规则 您可以在DLI
错误码 调用API出错后,将不会返回结果数据。调用方可根据每个API对应的错误码来定位错误原因。 当调用出错时,HTTP 请求返回一个 4xx 或 5xx 的 HTTP 状态码。返回的消息体中是具体的错误代码及错误信息。在调用方找不到错误原因时,可以联系企业技术人员,并提供错误码,以便我们尽快帮您解决问题。
failure”错误。 将原有跨源连接删除重新创建。再次创建时,必须确保所选“安全组”、“虚拟私有云”、“子网””和“目的地址”与RDS中的设置完全一致。 请选择正确的“服务类型”,本示例中为“RDS”。 图1 创建经典型跨源连接-RDS 检查安全组网络(vpc)配置。 若按照步骤1重建跨
DLI中的Spark组件与MRS中的Spark组件有什么区别? DLI和MRS都支持Spark组件,但在服务模式、接口方式、应用场景和性能特性上存在一些差异。 DLI服务的Spark组件是全托管式服务,用户对Spark组件不感知,仅仅可以使用该服务,且接口为封装式接口。 DLI的这种模式减
FileSystem结果表用于将数据输出到分布式文件系统HDFS或者对象存储服务OBS等文件系统。数据生成后,可直接对生成的目录创建非DLI表,通过DLI SQL进行下一步处理分析,并且输出数据目录支持分区表结构。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。 语法格式 1 2 3 4 5 6