检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建DLI自定义委托权限 使用Flink 1.15和Spark 3.3及以上版本的引擎执行作业时,当您所需的委托没有包含在DLI系统委托dli_management_agency时,您需要在IAM页面创建相关委托,并在作业配置中添加新建的委托信息。dli_management_a
(property_name=property_value, ...)]; 关键字 IF NOT EXISTS:所需创建的数据库已存在时使用,可避免系统报错。 COMMENT:对数据库的描述。 DBPROPERTIES:数据库的属性,且属性名和属性值成对出现。 参数说明 表1 参数说明 参数
db_name 数据库名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。 注意事项 如果所要查看的数据库不存在,则系统报错。 示例 已参考示例中描述创建对应的数据库,如testdb。 查看testdb数据库的相关信息。 1 DESCRIBE DATABASE
(property_name=property_value, ...)]; 关键字 IF NOT EXISTS:所需创建的数据库已存在时使用,可避免系统报错。 COMMENT:对数据库的描述。 DBPROPERTIES:数据库的属性,且属性名和属性值成对出现。 参数说明 表1 参数说明 参数
EXISTS] db_name [RESTRICT|CASCADE]; 关键字 IF EXISTS:所需删除的数据库不存在时使用,可避免系统报错。 注意事项 DATABASE与SCHEMA两者没有区别,可替换使用,建议使用DATABASE。 RESTRICT表示如果该datab
db_name 数据库名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。 注意事项 如果所要查看的数据库不存在,则系统报错。 示例 已参考示例中描述创建对应的数据库,如testdb。 查看testdb数据库的相关信息。 1 DESCRIBE DATABASE
个到8个,以“,”分隔,包括对应metric下所有tagk的值。 注意事项 创建DLI表时,不需要指定timestamp和value字段,系统会根据指定的tags自动构建字段,包含以下字段,其中TAG1和TAG2由tags指定。 TAG1 String TAG2 String timestamp
EXISTS] db_name [RESTRICT|CASCADE]; 关键字 IF EXISTS:所需删除的数据库不存在时使用,可避免系统报错。 注意事项 DATABASE与SCHEMA两者没有区别,可替换使用,建议使用DATABASE。 RESTRICT表示如果该datab
个到8个,以“,”分隔,包括对应metric下所有tagk的值。 注意事项 创建DLI表时,不需要指定timestamp和value字段,系统会根据指定的tags自动构建字段,包含以下字段,其中TAG1和TAG2由tags指定。 TAG1 String TAG2 String timestamp
设置多版本备份数据保留周期 功能描述 在DLI数据多版本功能开启后,备份数据默认保留7天,您可以通过配置系统参数“dli.multi.version.retention.days”调整保留周期。保留周期外的多版本数据后续在执行insert overwrite或者truncate语
设置多版本备份数据保留周期 功能描述 在DLI数据多版本功能开启后,备份数据默认保留7天,您可以通过配置系统参数“dli.multi.version.retention.days”调整保留周期。保留周期外的多版本数据后续在执行insert overwrite或者truncate语
位评测系统的整体商业计算综合能力,对厂商的要求更高,同时也具有普遍的商业实用意义,目前在银行信贷分析和信用卡分析、电信运营分析、税收分析、烟草行业决策分析中都有广泛的应用。 TPC-H 基准测试是由 TPC-D(由 TPC 组织于 1994 年制定的标准,用于决策支持系统方面的测
Upsert Kafka 功能描述 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。Upsert Kafka 连接器支持以upsert方式从Kafka topic中读取数据并将数据写入Kafka
创建source流从Kafka获取数据,作为作业的输入数据。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。MRS基于Apache Kafka在平台部署并托管了Kafka集群。
创建source流从Kafka获取数据,作为作业的输入数据。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。 前提条件 Kafka服务端的端口如果监听在hostname上,则需要将Kafka
消息通知服务(Simple Message Notification,简称SMN)为DLI提供可靠的、可扩展的、海量的消息处理服务,它大大简化系统耦合,能够根据用户的需求,向订阅终端主动推送消息。可用于连接云服务、向多个协议推送消息以及集成在产生或使用通知的任何其他应用程序等场景。
功能描述 DLI将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。MRS基于Apache Kafka在平台部署并托管了Kafka集群。
消息通知服务(Simple Message Notification,简称SMN)为DLI提供可靠的、可扩展的、海量的消息处理服务,它大大简化系统耦合,能够根据用户的需求,向订阅终端主动推送消息。可用于连接云服务、向多个协议推送消息以及集成在产生或使用通知的任何其他应用程序等场景。S
Upsert Kafka结果表 功能描述 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。DLI将Flink作业的输出数据以upsert的模式输出到Kafka中。
ID)/SK(Secret Access Key)加密调用请求。推荐使用AK/SK认证,其安全性比Token认证更高。 Token认证 Token在计算机系统中代表令牌(临时)的意思,拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头,从而通过身份认证,获得操作API的权限。