检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
is_success 否 Boolean 请求是否成功。 message 否 String 消息内容。 template 否 Object 作业更新信息。请参见表5 表5 template参数说明 参数名称 是否必选 参数类型 说明 template_id 否 Long 模板ID。 name
管理DLI具数据源的访问凭证: Spark 3.3.1及以上版本、Flink 1.15及以上版本的跨源访问场景 推荐使用数据加密服务DEW来存储数据源的认证信息,为您解决数据安全、密钥安全、密钥管理复杂等问题。 具体操作请参考使用DEW管理数据源访问凭证。 使用DEW管理数据源访问凭证时,您还需要
执行请求是否成功。“true”表示请求执行成功。 message String 系统提示信息,执行成功时,信息可能为空。 count Integer 返回的模板个数。 templates Array of Objects 模板信息列表。请参考表4。 表4 templates参数说明 参数 参数类型 说明
批量运行作业:运行Flink自定义作业。 操作步骤 创建弹性资源池elastic_pool_dli 接口相关信息 URI格式:POST /v3/{project_id}/elastic-resource-pools {project_id}信息请从获取项目ID获取。 请求参数说明详情,请参见创建弹性资源池。 请求示例
在管理控制台左侧,单击“SQL编辑器”。 在左侧导航栏单击“数据库”页签右侧可创建数据库。 在“创建数据库”页面,参见表1输入数据库名称和描述信息。 图1 库表管理-创建数据库 表1 参数说明 参数名称 描述 数据库名称 数据库名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。
列化的格式。key字段由PRIMARY KEY语法指定。支持的格式如下: csv json avro 请参考Format页面以获取更多详细信息和格式参数。 key.fields-prefix 否 无 String 为键格式的所有字段定义自定义前缀,以避免与值格式的字段发生名称冲突。
状态码如表4所示。 表4 状态码 状态码 描述 200 授权成功。 400 请求错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: Flink作业相关API(废弃)
TABLE|UPDATE|DELETE|MERGE|RESTORE等) operationParameters 操作参数 job 运行该操作的作业的详细信息 notebook 运行操作的笔记的详细信息 clusterId 集群id readVersion 为执行写操作而读取的表的版本 isolationLevel 隔离级别
Flink Opensource SQL从RDS数据库读取的时间和RDS数据库存储的时间为什么会不一致? 问题描述 Flink Opensource SQL从RDS数据库读取的时间和RDS数据库存储的时间为不一致 根因分析 该问题的根因是数据库设置的时区不合理,通常该问题出现时F
RY KEY。 框架会生成一个额外的有状态算子,使用该primary key来对变更事件去重并生成一个规范化的changelog流。 更新信息请参考Debezium 官方文档。 消费Debezium Postgres Connector产生的数据 如果您正在使用Debezium PostgreSQL
套餐包规格。 购买时长 选择购买套餐包的购买时长。 购买数量 设置购买套餐包的数量。 确认套餐信息后,勾选相关协议,单击“立即购买”。 计费示例 示例价格仅供参考,实际价格请以DLI产品价格详情中的信息为准。 更多示例参考DLI产品价格详情。 假设用户A预先购买了4000CU时的套餐包,
Boolean 执行请求是否成功。“true”表示请求执行成功。 message String 系统提示信息,执行成功时,信息可能为空。 mask Array of strings 授权掩码信息。 示例 请求样例: { "job_id":"6b29eb77-4c16-4e74-838a-2cf7959e9203"
配置(只对新集群开放)。 在SparkUI页面,单击“Environment”,可以查看Driver信息和Executor信息。 图3 Driver信息 图4 Executor信息 父主题: Spark作业开发类
指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 Flink跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证。 跨源认证简介及操作方法请参考跨源认证简介。 MySQL已开启了Binlog,并且
弹性资源池收费吗?弹性资源池中的队列收费吗? 弹性资源池支持按需、包周期、套餐包的计费模式。您可以参考DLI计费说明了解更多弹性资源池计费信息。 添加到弹性资源池中的队列不再单独计费,以弹性资源池为计费项计费: 按需计费模式:按弹性资源池的实际CUs计费。 包年/包月计费模式:按
集群相关API(废弃) 创建集群(废弃) 删除集群(废弃) 获取指定集群信息(废弃) 获取全部集群信息(废弃) 父主题: 历史API
message 否 String 系统提示信息,执行成功时,信息可能为空。示例值:空。 database_name 否 String 被查询的数据库名称。示例值:dsstest。 privileges 否 Array of objects 权限信息。具体参数请参考表3。 表3 privileges参数
key-column 否 无 String Redis 表schema的key 示例 从Kafka源表中读取数据,将Redis表作为维表,并将二者生成的宽表信息写入Kafka结果表中,其具体步骤如下: 参考增强型跨源连接,根据Redis和Kafka所在的虚拟私有云和子网创建相应的增强型跨源,并绑定所要使用的Flink弹性资源池。
提交SQL作业(推荐) 取消作业(推荐) 查询所有作业 预览SQL作业查询结果 导出查询结果 查询作业状态 查询作业详细信息 检查SQL语法 查询作业执行进度信息
数据生态无缝融合,实现海量数据的秒级交互式查询。 DLI+HetuEngine能够快速处理大规模数据集的查询请求,迅速和高效从大数据中提取信息,极大地简化了数据的管理和分析流程,提升大数据环境下的索引和查询性能。 TB级数据秒级响应: HetuEngine通过自动优化资源与负载的