检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ka是一款基于开源社区版Kafka提供的消息队列服务，向用户提供可靠的全托管式的Kafka消息队列。 DLI支持创建输入流从DMS的Kafka获取数据，作为作业的输入数据。创建DMS Kafka输入流的语法与创建开源Apache Kafka输入流一样，具体请参见开源Kafka输入流。
分布式消息服务Kafka是一款基于开源社区版Kafka提供的消息队列服务，向用户提供可靠的全托管式的Kafka消息队列。 DLI支持创建输入流从DMS的Kafka获取数据，作为作业的输入数据。 创建DMS Kafka输入流的语法与创建开源Apache Kafka输入流一样，具体请参见开源Kafka输入流。
使用Spark Jar作业读取和查询OBS数据 操作场景 DLI完全兼容开源的Apache Spark，支持用户开发应用程序代码来进行作业数据的导入、查询以及分析处理。本示例从编写Spark程序代码读取和查询OBS数据、编译打包到提交Spark Jar作业等完整的操作步骤说明来帮助您在DLI上进行作业开发。
聚合值。和 GROUP BY 聚合不同， OVER 聚合不会把结果通过分组减少到一行，它会为每行输入增加一个聚合值。 更多介绍和使用请参考开源社区文档：Over聚合。 语法格式 1 2 3 4 5 6 7 SELECT agg_func(agg_col) OVER (
存储消息。分布式消息服务Kafka是一款基于开源社区版Kafka提供的消息队列服务，向用户提供可靠的全托管式的Kafka消息队列。 DLI支持将作业的输出数据输出到DMS的Kafka实例中。创建DMS Kafka输出流的语法与创建开源Apache Kafka输出流一样，具体请参见MRS
Integer 子作业ID，对应开源spark JobData的jobId。 name 否 String 子作业name，对应开源spark JobData的name。 description 否 String 子作业description，对应开源spark JobData的description。
对接的DLI服务的Region。 根据Spark应用程序的需要，修改“spark-defaults.conf”中的配置项，配置项兼容开源Spark配置项，参考开源Spark的配置项说明。 使用Spark-submit提交Spark作业 进入工具文件bin目录，执行spark-submit命令，并携带相关参数。
数据库 创建数据库 删除数据库 查看指定数据库 查看所有数据库 父主题： Spark SQL语法参考（即将下线）
号、用户和密码等信息。 区域 从地理位置和网络时延维度划分，同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region，通用Region指面向公共租户提供通用云服务的Region；专属Regio
tp_port”配置参数值。默认为：21425。 数据库名为ClickHouse集群创建的数据库名称。 connector.table 是 要创建的ClickHouse的表名。 connector.driver 否 连接数据库所需要的驱动。 如果建表时不指定该参数，驱动会自动通过ClickHouse的url提取。
仅支持获取AK、SK、SecurityToken。 获取到AK、SK、SecurityToken后，请参考如何使用凭据管理服务替换硬编码的数据库账号密码查询凭据。 约束限制 仅支持Spark3.3.1版本（Spark通用队列场景）使用委托授权访问临时凭证： 在创建作业时，请配置作业使用Spark3
println("delete db " + dbName); } 含表的数据库不能直接删除，请先删除数据库的表再删除数据库。 数据库删除后，将不可恢复，请谨慎操作。 查询所有数据库 DLI提供查询数据库列表接口，您可以使用该接口查询当前已创建的数据库列表。示例代码如下： 1 2 3 4 5 6 7 private
功能描述 创建输入流 CloudTable HBase输入流 创建输入流 DIS输入流 DMS输入流 创建输入流 MRS Kafka输入流 开源Kafka输入流 OBS输入流 创建输出流 CloudTable HBase输出流 创建输出流 CloudTable OpenTSDB输出流
功能描述 创建输入流 CloudTable HBase输入流 创建输入流 DIS输入流 DMS输入流 创建输入流 MRS Kafka输入流 开源Kafka输入流 OBS输入流 创建输出流 CloudTable HBase输出流 创建输出流 CloudTable OpenTSDB输出流
return 含表的数据库不能直接删除，请先删除数据库的表再删除数据库。 数据库删除后，将不可恢复，请谨慎操作。 完整样例代码和依赖包说明请参考：Python SDK概述。 查询所有数据库 DLI提供查询数据库列表接口。您可以使用该接口查询当前已创建的数据库列表。示例代码如下： 1
数据库相关 创建数据库 删除数据库 查看指定数据库 查看所有数据库
db_comment 数据库描述。 property_name 数据库属性名。 property_value 数据库属性值。 注意事项 DATABASE与SCHEMA两者没有区别，可替换使用，建议使用DATABASE。 “default”为内置数据库，不能创建名为“default”的数据库。 示例
式。数据无需复杂的抽取、转换、加载，使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。 功能介绍 DLI用户可以通过可视化界面、Restful API、JDBC、Beeline等多种接入方式对云上C
说明： 将数据库连接地址设置为DWS数据库地址，即可创建DWS维表。DWS数据库版本大于8.1.0后，无法用开源的postgresql驱动连接，需要用gaussdb驱动进行连接。 table_name 是 用于查询数据的数据库表名。 db_columns 否 流属性和数据库表的字段对
DLI存储资源使用约束限制 DLI提供了存储资源的能力，用于存储数据库和DLI表，DLI存储按存储数据量计费。 资源相关约束限制 数据库 “default”为内置数据库，不能创建名为“default”的数据库。 DLI支持创建的数据库的最大数量为50个。 数据表 DLI支持创建的表的最大数量为5000个。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
