检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数类型 描述 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 请求示例 无 响应示例 { "is_success" : true, "message" :
创建输出流 MRS HBase输出流 MRS Kafka输出流 开源Kafka输出流 OBS输出流 RDS输出流 创建输出流 SMN输出流 文件系统输出流(推荐) 创建中间流 创建中间流 创建维表 创建Redis表 创建RDS表 自拓展生态 自拓展输入流 自拓展输出流 父主题: Flink
创建输出流 MRS HBase输出流 MRS Kafka输出流 开源Kafka输出流 OBS输出流 RDS输出流 创建输出流 SMN输出流 文件系统输出流(推荐) 创建中间流 创建中间流 创建维表 创建Redis表 创建RDS表 自拓展生态 自拓展输入流 自拓展输出流 父主题: Flink
参数 参数类型 说明 is_success Boolean 执行请求是否成功。“true”表示请求执行成功。 message String 系统提示信息,执行成功时,信息可能为空。 mask Array of strings 授权掩码信息。 示例 请求样例: { "job_id
参数类型 描述 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 请求示例 关联队列lhm_sql到该弹性资源池。 { "queue_name" : "lhm_sql"
DWS Connector概述 数据仓库服务(Data Warehouse Service,简称DWS)是一种基于基础架构和平台的在线数据处理数据库,为用户提供海量数据挖掘和分析服务。DLI将Flink作业从数据仓库服务(DWS)中读取数据。DWS数据库内核兼容PostgreSQ
配置DLI读写外部数据源数据的操作流程 DLI执行作业需要读写外部数据源时需要具备两个条件: 打通DLI和外部数据源之间的网络,确保DLI队列与数据源的网络连通。 妥善保存数据源的访问凭证确保数据源认证的安全性,便于DLI安全访问数据源。 本节操作介绍配置DLI读写外部数据源数据操作流程。
SQL模板分组名称。 响应参数 表3 响应参数 名称 参数类型 说明 is_success Boolean 是否成功。 message String 系统提示信息,执行成功时,信息可能为空。执行失败时,用于显示执行失败的原因。 sql_id String 新增SQL模板的ID。 group String
显示与给定正则表达式或函数名匹配的函数。如果未提供正则表达式或名称,则显示所有函数。如果声明了USER或SYSTEM,那么将分别显示用户定义的Spark SQL函数和系统定义的Spark SQL函数。 示例 查看当前的所有函数。 1 SHOW FUNCTIONS; 父主题: 自定义函数
待删除的sql模板ID列表。 响应参数 表3 响应参数说明 名称 参数类型 说明 is_success Boolean 是否成功。 message String 系统提示信息,执行成功时,信息可能为空。执行失败时,用于显示执行失败的原因。 请求消息 删除ID为27b79c50-4ac6-4050-8b8
Flink Opensource SQL使用DEW管理访问凭据 操作场景 DLI将Flink作业的输出数据写入到Mysql或DWS时,需要在connector中设置账号、密码等属性。但是账号密码等信息属于高度敏感数据,需要做加密处理,以保障用户的数据隐私安全。 数据加密服务(Data
参数 参数类型 说明 is_success Boolean 执行请求是否成功。“true”表示请求执行成功。 message String 系统提示信息,执行成功时,信息可能为空。 请求示例 创建路由,自定义增强型跨源连接的下一跳的路由信息为127.0.0.0。 { "name":
java样例代码 开发说明 redis只支持增强型跨源。只能使用包年包月队列。 前提条件 在DLI管理控制台上已完成创建增强跨源连接,并绑定包年包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或
新建的队列名称,名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。长度限制:1~128个字符。 队列名称不区分大小写,系统会自动转换为小写。 类型:队列类型选择“通用队列”。“按需计费”时需要勾选“专属资源模式”。 AZ策略、CPU架构、规格:保持默认即可。
SQL模板分组信息。 响应参数 表3 响应参数说明 名称 参数类型 说明 is_success Boolean 是否成功。 message String 系统提示信息,执行成功时,信息可能为空。执行失败时,用于显示执行失败的原因。 请求示例 更新SQL模板的信息,包括模板的SQL语句、模板名称、模板的描述信息和分组信息。
窗口去重 功能描述 窗口去重是一种特殊的去重,它根据指定的多个列来删除重复的行,保留每个窗口和分区键的第一个或最后一个数据。 对于流式查询,与普通去重不同,窗口去重只在窗口的最后返回结果数据,不会产生中间结果。它会清除不需要的中间状态。 因此,窗口去重查询在用户不需要更新结果时,
跨源认证概述 什么是跨源认证? 跨源分析场景中,如果在作业中直接配置认证信息会触发密码泄露的风险,因此推荐您使用“数据加密服务DEW”或“DLI提供的跨源认证方式”来存储数据源的认证信息。 数据加密服务(Data Encryption Workshop, DEW)是一个综合的云上
显示与给定正则表达式或函数名匹配的函数。如果未提供正则表达式或名称,则显示所有函数。如果声明了USER或SYSTEM,那么将分别显示用户定义的Spark SQL函数和系统定义的Spark SQL函数。 示例 查看当前的所有函数。 1 SHOW FUNCTIONS; 父主题: 自定义函数
新建的队列名称,名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。长度限制:1~128个字符。 队列名称不区分大小写,系统会自动转换为小写。 类型:队列类型选择“通用队列”。“按需计费”时需要勾选“专属资源模式”。 AZ策略、CPU架构、规格:保持默认即可。
新建的队列名称,名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。长度限制:1~128个字符。 队列名称不区分大小写,系统会自动转换为小写。 类型:队列类型选择“通用队列”。“按需计费”时需要勾选“专属资源模式”。 AZ策略、CPU架构、规格:保持默认即可。