检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI委托可以确保DLI在跨源分析场景中安全、有效地访问其他云服务。 发布区域:全部 创建DLI自定义委托 OBS 2.0支持自定义镜像 DLI支持容器部署的集群。在容器集群中,Spark作业和Flink作业相关组件都运行在容器中,通过下载DLI提供的自定义镜像,可以改变Spark作业和Fli
创建数据库 功能描述 创建数据库。 语法格式 1 2 3 CREATE [DATABASE | SCHEMA] [IF NOT EXISTS] db_name [COMMENT db_comment] [WITH DBPROPERTIES (property_name=property_value
创建数据库 功能描述 创建数据库。 语法格式 1 2 3 CREATE [DATABASE | SCHEMA] [IF NOT EXISTS] db_name [COMMENT db_comment] [WITH DBPROPERTIES (property_name=property_value
创建DLI表关联OpenTSDB 功能描述 使用CREATE TABLE命令创建DLI表并关联OpenTSDB上已有的metric,该语法支持CloudTable服务的OpenTSDB和MRS服务的OpenTSDB。 前提条件 创建DLI表关联OpenTSDB之前需要创建跨源连接。管理控制台操作请参考增强型跨源连接。
创建DLI表关联OpenTSDB 功能描述 使用CREATE TABLE命令创建DLI表并关联OpenTSDB上已有的metric,该语法支持CloudTable服务的OpenTSDB和MRS服务的OpenTSDB。 前提条件 创建DLI表关联OpenTSDB之前需要创建跨源连接。管理控制台操作请参考增强型跨源连接。
窗口去重 功能描述 窗口去重是一种特殊的去重,它根据指定的多个列来删除重复的行,保留每个窗口和分区键的第一个或最后一个数据。 对于流式查询,与普通去重不同,窗口去重只在窗口的最后返回结果数据,不会产生中间结果。它会清除不需要的中间状态。 因此,窗口去重查询在用户不需要更新结果时,
integer2 ]) STRING 返回string中从integer1位置开始的长度为integer2的子字符串。若integer2未配置,则默认返回从integer1开始到末尾的子字符串 REPLACE(string1, string2, string3) STRING 用
integer2 ]) STRING 返回string中从integer1位置开始的长度为integer2的子字符串。若integer2未配置,则默认返回从integer1开始到末尾的子字符串 REPLACE(string1, string2, string3) STRING 用
integer2 ]) STRING 返回string中从integer1位置开始的长度为integer2的子字符串。若integer2未配置,则默认返回从integer1开始到末尾的子字符串 REPLACE(string1, string2, string3) STRING 用
创建集群(废弃) 功能介绍 该API用于创建集群,该集群将会绑定用户指定的计算资源。 当前接口已废弃,不推荐使用。 URI URI格式: POST /v2.0/{project_id}/clusters 参数说明 表1 URI参数 名称 是否必选 说明 project_id 是
Canal Format 功能描述 Canal是一个 CDC(ChangeLog Data Capture,变更日志数据捕获)工具,可以实时地将 MySQL 变更传输到其他系统。Canal 为变更日志提供了统一的数据格式,并支持使用 JSON 或 protobuf序列化消息(Canal
使用DLI将CSV数据转换为Parquet数据 应用场景 Parquet是面向分析型业务的列式存储格式,这种格式可以加快查询速度,查询Parquet格式数据时,只检查所需要的列并对它们的值执行计算,也就是说,只读取一个数据文件或表的一小部分数据。Parquet还支持灵活的压缩选项
窗口Top-N 功能描述 窗口 Top-N 是特殊的 Top-N,它返回每个分区键的每个窗口的N个最小或最大值。 与普通Top-N不同,窗口Top-N只在窗口最后返回汇总的Top-N数据,不会产生中间结果。窗口 Top-N 会在窗口结束后清除不需要的中间状态。 窗口 Top-N
基本概念 账号 用户注册华为账号并开通华为云。账号对其所拥有的资源及云服务具有完全的访问权限,可以重置用户密码、分配用户权限等。由于账号是付费主体,为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建用户并使用他们进行日常管理工作。 用户 由账号在IAM中创建的用户
使用Spark SQL作业分析OBS数据 DLI支持将数据存储到OBS上,后续再通过创建OBS表即可对OBS上的数据进行分析和处理。 本指导中的操作内容包括:创建OBS表、导入OBS表数据、插入和查询OBS表数据等内容来帮助您更好的在DLI上对OBS表数据进行处理。 前提条件 已
口的周期触发策略; 当lateness_interval为0时,表示没有使用窗口结束后的延迟策略; 当二者都没有填写时,默认两种策略都没有配置,仅使用普通的TUMBLE窗口。 若仅需使用延迟时间策略,则需要将上述period_interval格式中的'10'设置为 '0'。 辅助函数
口的周期触发策略; 当lateness_interval为0时,表示没有使用窗口结束后的延迟策略; 当二者都没有填写时,默认两种策略都没有配置,仅使用普通的TUMBLE窗口。 若仅需使用延迟时间策略,则需要将上述period_interval格式中的'10'设置为 '0'。 辅助函数
口的周期触发策略; 当lateness_interval为0时,表示没有使用窗口结束后的延迟策略; 当二者都没有填写时,默认两种策略都没有配置,仅使用普通的TUMBLE窗口。 如果仅需使用延迟时间策略,则需要将上述period_interval格式中的'10'设置为 '0'。 辅助函数
Avro Format 功能描述 Avro格式允许基于Avro schema 读取和写入Avro 数据。目前,Avro schema 从表schema 推导。 支持的Connector Kafka Upsert Kafka 参数说明 表1 参数说明 参数 是否必选 默认值 类型 说明
Avro Format 功能描述 Avro格式允许基于Avro schema 读取和写入Avro 数据。目前,Avro schema 从表schema 推导。 支持的Connector Kafka Upsert Kafka 参数说明 表1 参数说明 参数 是否必选 默认值 类型 说明