检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS OpenTSDB输出流 功能描述 DLI将Flink作业的输出数据输出到MRS的OpenTSDB中。 前提条件 确保MRS的集群已经安装了OpenTSDB。 该场景作业需要运行在DLI的独享队列上,因此要与MRS集群建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。
MRS OpenTSDB输出流 功能描述 DLI将Flink作业的输出数据输出到MRS的OpenTSDB中。 前提条件 确保MRS的集群已经安装了OpenTSDB。 该场景作业需要运行在DLI的独享队列上,因此要与MRS集群建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。
实时任务接入 实时作业一般由Flink Sql或Sparkstreaming来完成,流式实时任务通常配置同步生成compaction计划,异步执行计划。 Flink SQL作业中sink端Hudi表相关配置如下: create table hudi_sink_table ( //
DDS输出流 功能描述 DLI将作业的输出数据输出到文档数据库服务(DDS)中。 文档数据库服务(Document Database Service,简称DDS)完全兼容MongoDB协议,提供安全、高可用、高可靠、弹性伸缩和易用的数据库服务,同时提供一键部署、弹性扩容、容灾、备份、恢复、监控和告警等功能。
DDS输出流 功能描述 DLI将作业的输出数据输出到文档数据库服务(DDS)中。 文档数据库服务(Document Database Service,简称DDS)完全兼容MongoDB协议,提供安全、高可用、高可靠、弹性伸缩和易用的数据库服务,同时提供一键部署、弹性扩容、容灾、备份、恢复、监控和告警等功能。
源不会立即停止服务,资源进入宽限期。您需支付按需资源在宽限期内产生的费用,相关费用可在“管理控制台 > 费用中心 > 总览”的“欠费金额”查看,华为云将在您充值时自动扣取欠费金额。 如果您在宽限期内仍未支付欠款,那么就会进入保留期,资源状态变为“已冻结”,您将无法对处于保留期的按需计费资源执行任何操作。
创建队列 功能介绍 该API用于创建队列,该队列将会绑定用户指定的计算资源。 新队列第一次运行作业时,需要一定的时间,通常为5~15分钟。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v1.0/{project_id}/queues 参数说明
修改作业模板 功能介绍 该API用于修改作业模板。 调试 您可以在API Explorer中调试该接口。 URI URI格式: PUT /v3/{project_id}/templates/{template_id} 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述
创建弹性资源池 功能介绍 创建弹性资源池。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v3/{project_id}/elastic-resource-pools 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id
SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者
DESCRIBE 命令功能 DESCRIBE命令用于显示表的详细信息或统计信息。 命令格式 显示表统计信息: DESCRIBE [EXTENDED|FORMATTED] [database_name.]table_name|DELTA.`obs://bucket_name/tbl_path`;
参见《对象存储服务控制台指南》。 推荐使用《文件系统输出流(推荐)》。 前提条件 OBS输出流功能仅支持输出数据到3.0版本以上的桶,请先查看桶信息确认桶的版本。 语法格式 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
java样例代码 开发说明 redis只支持增强型跨源。只能使用包年包月队列。 前提条件 在DLI管理控制台上已完成创建增强跨源连接,并绑定包年包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或
DLI增强型跨源连接DWS失败怎么办? 问题现象 客户创建增强型跨源连接DLI和DWS,安全组已配置出方向规则到关联队列,使用的是密码形式的跨源认证,报DLI.0999: PSQLException: The connection attempt failed。 原因分析 出现该问题可能原因如下:
保留关键字 Flink SQL将一些字符串组合保留为关键字以备将来使用。 如果要使用以下字符串作为字段名称,请确保使用反引号(例如`value`,`count`)。 A A ABS ABSOLUTE ACTION ADA ADD ADMIN AFTER AK ALL ALLOCATE
保留关键字 Flink SQL将一些字符串组合保留为关键字以备将来使用。 如果要使用以下字符串作为字段名称,请确保使用反引号(例如`value`,`count`)。 A A ABS ABSOLUTE ACTION ADA ADD ADMIN AFTER AK ALL ALLOCATE
窗口Top-N 功能描述 窗口 Top-N 是特殊的 Top-N,它返回每个分区键的每个窗口的N个最小或最大值。 与普通Top-N不同,窗口Top-N只在窗口最后返回汇总的Top-N数据,不会产生中间结果。窗口 Top-N 会在窗口结束后清除不需要的中间状态。 窗口 Top-N
创建DLI自定义委托权限 使用Flink 1.15和Spark 3.3及以上版本的引擎执行作业时,当您所需的委托没有包含在DLI系统委托dli_management_agency时,您需要在IAM页面创建相关委托,并在作业配置中添加新建的委托信息。dli_management_a
单击“启动”后,跳转至“作业配置清单”页面。 在“作业配置清单”页面,确认作业信息及价格,如果无误,单击“立即启动”。 作业启动后,可在对应作业的“状态”列中查看运行成功或失败。 停止作业 当用户不需要运行某个作业时,用户可以将状态为“运行中”和“提交中”的作业停止。 在DLI管理控制台的左侧导航栏
DWS源表 功能描述 DLI将Flink作业从数据仓库服务(DWS)中读取数据。DWS数据库内核兼容PostgreSQL,PostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。 数据仓库服务(Data