-
创建弹性资源池 - 数据湖探索 DLI
若名称中包含大写字母,将会自动转换为小写字母。 description 否 String 描述信息。长度限制:256个字符以内。 cidr_in_vpc 否 String 虚拟集群关联的vpc cidr。如果不填,默认值为172.16.0.0/12。 max_cu 是 Integer 最大CU大于等于该资源池下任意一
-
scala样例代码 - 数据湖探索 DLI
可以不指定schema信息,DLI会根据collection中的数据自动生成schema信息。 user 访问DDS集群用户名。 password 访问DDS集群密码。 图1 mongo的链接地址信息 插入数据 sparkSession.sql("insert into test_dds
-
Hbase源表 - 数据湖探索 DLI
与HBase建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 若使用MRS HBase,请在增强型跨源的主机信息中添加MRS集群所有节点的主机ip信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。
-
跨源连接CSS表 - 数据湖探索 DLI
跨源连接CSS表 创建DLI表关联CSS 插入数据至CSS表 查询CSS表 父主题: 跨源连接相关
-
创建增强型跨源连接 - 数据湖探索 DLI
过建立增强型跨源连接打通DLI和数据源之间的网络,DLI才能够访问、导入、查询、分析其他数据源的数据。 例如:DLI连接MRS、RDS、CSS、Kafka、DWS时,需要打通DLI和对应数据源VPC之间的网络,才能实现数据互通。 本节操作介绍在控制台创建增强型跨源连接的操作步骤。
-
scala样例代码 - 数据湖探索 DLI
每批次读取的数据记录数,默认为100。如果在读取过程中,redis集群中的CPU使用率还有提升空间,可以调大该参数。 iterator.grouping.size 每批次插入的数据记录数,默认为100。如果在插入过程中,redis集群中的CPU使用率还有提升空间,可以调大该参数。 timeout
-
跨源连接CSS表 - 数据湖探索 DLI
跨源连接CSS表 创建DLI表关联CSS 插入数据至CSS表 查询CSS表 父主题: Spark SQL语法参考(即将下线)
-
区域和可用区 - 数据湖探索 DLI
可用区(AZ,Availability Zone):一个AZ是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区
-
创建Flink Jar作业 - 数据湖探索 DLI
专属资源模式”即可。 创建Flink Jar作业,访问其他外部数据源时,如访问OpenTSDB、HBase、Kafka、DWS、RDS、CSS、CloudTable、DCS Redis、DDS等,需要先创建跨源连接,打通作业运行队列到外部数据源之间的网络。 当前Flink作业支持
-
类型转换函数 - 数据湖探索 DLI
timestamp), cast(case_timestamp_to_date as date) from kafkaSource; 连接Kafka集群,向Kafka的topic中发送如下测试数据: {"cast_int_to_string":"1", "cast_String_to_int":
-
类型转换函数 - 数据湖探索 DLI
timestamp), cast(case_timestamp_to_date as date) from kafkaSource; 连接Kafka集群,向Kafka的topic中发送如下测试数据: {"cast_int_to_string":"1", "cast_String_to_int":
-
创建DLI表关联DWS - 数据湖探索 DLI
指定在DWS关联的表名,或者"模式名.表名",例如:public.table_name。 user (已废弃)DWS的用户名。 password (已废弃)DWS集群的用户密码。 passwdauth 跨源密码认证名称。跨源认证信息创建方式请参考《数据湖探索用户指南》>《跨源认证》。 encryption
-
类型转换函数 - 数据湖探索 DLI
timestamp), cast(case_timestamp_to_date as date) from kafkaSource; 连接Kafka集群,向Kafka的topic中发送如下测试数据: {"cast_int_to_string":"1", "cast_String_to_int":
-
FileSytem结果表 - 数据湖探索 DLI
示例:hdfs://node-master1sYAx:9820/user/car_infos,其中node-master1sYAx:9820为MRS集群NameNode所在节点信息。 format.type 是 输出数据编码格式,当前支持“parquet”格式和“csv”格式。 当sche
-
创建DLI表关联DWS - 数据湖探索 DLI
指定在DWS关联的表名,或者"模式名.表名",例如:public.table_name。 user (已废弃)DWS的用户名。 password (已废弃)DWS集群的用户密码。 passwdauth 跨源密码认证名称。跨源认证信息创建方式请参考《数据湖探索用户指南》>《跨源认证》。 encryption
-
DCS输出流 - 数据湖探索 DLI
如何创建Redis类型的缓存实例,请参考《分布式缓存服务用户指南》中“申请Redis缓存实例”章节。 该场景作业需要运行在DLI的独享队列上,因此要与DCS集群建立跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何
-
FileSytem结果表 - 数据湖探索 DLI
示例:hdfs://node-master1sYAx:9820/user/car_infos,其中node-master1sYAx:9820为MRS集群NameNode所在节点信息。 format.type 是 输出数据编码格式,当前支持“parquet”格式和“csv”格式。 当sche
-
CloudTable HBase输出流 - 数据湖探索 DLI
输出通道类型,“cloudtable”表示输出到CloudTable(HBase)。 region 是 表格存储服务所在区域。 cluster_id 是 待插入数据所属集群的id。 table_name 是 待插入数据的表名,支持参数化,例如当需要某一列或者几列作为表名的一部分时,可表示为”car_pass_
-
JDBC维表 - 数据湖探索 DLI
of orders.proctime as area on orders.area_id = area.area_id; 连接Kafka集群,向Kafka的source topic中插入如下测试数据: {"order_id":"202103241606060001", "ord
-
DCS输出流 - 数据湖探索 DLI
如何创建Redis类型的缓存实例,请参考《分布式缓存服务用户指南》中“申请Redis缓存实例”章节。 该场景作业需要运行在DLI的独享队列上,因此要与DCS集群建立跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何