检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是 accesskey=your-access-key kyuubi.engine.dli.jdbc.connection.sk DLI的区域名称和服务名称。 如果使用AK/SK认证方式时配置。
是 accesskey=your-access-key kyuubi.engine.dli.jdbc.connection.sk DLI的区域名称和服务名称。 如果使用AK/SK认证方式时配置。
sink.parallelism 否 无 Integer 定义 Kafka sink 算子的并行度。默认情况下,并行度由框架定义为与上游串联的算子相同。 元数据 您可以在源表中定义元数据,以获取Kafka消息的元数据。
目前JDBC支持两种认证鉴权方式,Access Key/Secret Key (AK/SK)和Token,其中Token认证仅dli-jdbc-1.x版本支持。推荐使用AK/SK认证方式。 (推荐)生成AK/SK 登录DLI管理控制台。
esTruststoreFileName, esTruststoreLocalPath); // 等待一段时间 Thread.sleep(2000); System.out.println("Files copied successfully
conf 中需要增加"spark.dli.metaAccess.enable":"true"。 如果需要执行DDL,则还要在conf中配置"spark.sql.warehouse.dir": "obs://bucket/warehousepath"。
与统一身份认证服务(IAM)的关系 统一身份认证服务(Identity and Access Management)为DLI提供了华为云统一入口鉴权功能。 具体操作请参考《创建用户并授权使用DLI》和《DLI自定义策略》。
1 │ │ default_cluster │ 1 │ 2 │ └──────── ┴────┴────── ┘ 根据获取到的集群标识符cluster,例如当前为default_cluster ,使用以下命令在ClickHouse的default_cluster
try { Class.forName(driver); conn = DriverManager.getConnection(url, user, password); LOG.info("connect successfully
try { Class.forName(driver); conn = DriverManager.getConnection(url, user, password); LOG.info("connect successfully
本示例使用Spark基础镜像为例,使用docker pull方式下载基础镜像到1中的容器镜像环境。 docker pull 基础镜像下载地址 基础镜像下载地址参考使用自定义镜像增强作业运行环境。
sparkSession = SparkSession.builder.appName("datasource-css").getOrCreate() sparkSession.conf.set("fs.obs.access.key", ak) sparkSession.conf.set
1 │ │ default_cluster │ 1 │ 2 │ └──────── ┴────┴────── ┘ 根据获取到的集群标识符cluster,例如当前为default_cluster ,使用以下命令在ClickHouse的default_cluster
cluster_name 是 String 集群名称。 status 是 String 具体集群状态信息可参见表3。 resource_mode 是 Integer 集群类型。
不可以与group by、cluster by、distribute by、sort by一起使用。
CLUSTER BY 为分桶且排序,按照分桶字段先进行分桶,再在每个桶中依据该字段进行排序,即当DISTRIBUTE BY的字段与SORT BY的字段相同且排序为降序时,两者的作用与CLUSTER BY等效。 DISTRIBUTE BY 指定分桶字段,不进行排序。
排序 ORDER BY SORT BY CLUSTER BY DISTRIBUTE BY 父主题: SELECT
repeat | admintest hetu.default.add_two | admintest (2 rows) --查看给定函数的定义信息 SHOW external function example.namespace02.repeat;
Owner: admintest LastAccessTime
cluster_name 否 String DLI队列名称,不填写则获取当前Project下所有批处理作业(不推荐使用)。 queue_name 否 String DLI队列名称,根据队列查询批作业(推荐使用)。