-
CloudTable HBase输出流 - 数据湖探索 DLI
输出通道类型,“cloudtable”表示输出到CloudTable(HBase)。 region 是 表格存储服务所在区域。 cluster_id 是 待插入数据所属集群的id。 table_name 是 待插入数据的表名,支持参数化,例如当需要某一列或者几列作为表名的一部分时,可表示为”car_pass_
-
JDBC维表 - 数据湖探索 DLI
of orders.proctime as area on orders.area_id = area.area_id; 连接Kafka集群,向Kafka的source topic中插入如下测试数据: {"order_id":"202103241606060001", "ord
-
JDBC维表 - 数据湖探索 DLI
of orders.proctime as area on orders.area_id = area.area_id; 连接Kafka集群,向Kafka的source topic中插入如下测试数据: {"order_id":"202103241606060001", "ord
-
scala样例代码 - 数据湖探索 DLI
数据库名",例如:"jdbc:postgresql://192.168.0.77:8000/postgres",获取方式请参考“图 DWS集群信息”。 说明: DWS的连接地址格式为:"协议头://访问地址:访问端口/数据库名" 例如: jdbc:postgresql://to-
-
使用Temporal join关联维表的最新版本 - 数据湖探索 DLI
orders.proctime as dim on orders.product_id = dim.product_id; 连接Kafka集群,向Kafka的source topic中插入如下测试数据: {"product_id": "product_id_11", "user_name":
-
Flink Opensource SQL Elasticsearch结果表failure-handler参数填写retry - 数据湖探索 DLI
Flink Opensource SQL Elasticsearch结果表failure-handler参数填写retry_rejected导致提交失败 问题说明 Flink Opensource SQL Elasticsearch结果表failure-handler参数填写retry_rejected导致提交失败
-
java样例代码 - 数据湖探索 DLI
将写好的代码文件生成jar包,上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 如果MRS集群开启了Kerberos认证,创建Spark作业时需要将krb5.conf和user.keytab文件添加到作业的依赖文件中,未开启Kerberos认证该步骤忽略。如图1所示:
-
创建增强型跨源连接访问RDS - 数据湖探索 DLI
称,查看“连接信息”>“虚拟私有云”,即可获取对应信息。 子网:选择MySQL 实例所在的子网 主机信息:可选参数,访问MRS的HBase集群时需要配置Zookeeper实例的主机名与对应的IP地址。 在RDS控制台“实例管理”页面,单击对应实例名称,查看“连接信息”>“子网”,即可获取对应信息。
-
查看DLI队列负载 - 数据湖探索 DLI
查看DLI队列负载 场景概述 如果需要确认DLI队列的运行状态,决定是否运行更多的作业时需要查看队列负载。 操作步骤 在控制台搜索“云监控服务 CES”。 图1 搜索CES 进入CES后,在页面左侧“云服务监控”列表中,单击“数据湖探索”。 图2 云服务监控 选择队列进行查看。 图3
-
JDBC结果表 - 数据湖探索 DLI
max-rows' = '1' ); insert into jdbcSink select * from kafkaSource; 连接Kafka集群,向Kafka相应的topic中发送如下测试数据: {"order_id":"202103241000000001", "order_channel":"webShop"
-
JDBC结果表 - 数据湖探索 DLI
max-rows' = '1' ); insert into jdbcSink select * from kafkaSource; 连接Kafka集群,向Kafka相应的topic中发送如下测试数据: {"order_id":"202103241000000001", "order_channel":"webShop"
-
创建并提交Flink OpenSource SQL作业 - 数据湖探索 DLI
高级选项:自定义 网段:配置的网段不能与Kafka的子网网段冲突 标签:不填 单击“立即购买”,确认配置。 配置确认无误,提交请求。 由于队列绑定集群需要时间,创建后需等待10~15分钟后,队列才可正常使用。 步骤5:创建DLI连接Kafka的增强型跨源连接 创建DLI Flink作业,
-
使用Livy提交Spark Jar作业 - 数据湖探索 DLI
dli.user.modules modules - spark.dli.user.image image 提交作业使用的自定义镜像,仅容器集群支持该参数,默认不设置。 spark.dli.user.autoRecovery auto_recovery - spark.dli.user
-
MySQL CDC源表 - 数据湖探索 DLI
MySQL数据库的端口号。 server-id 否 5400~6000随机值 String 数据库客户端的一个数字ID,该ID必须是MySQL集群中全局唯一的。建议针对同一个数据库的每个作业都设置一个不同的ID。 默认会随机生成一个5400~6400的值。 scan.startup.mode
-
DLI Flink作业支持哪些数据格式和数据源 - 数据湖探索 DLI
ML。 DLI Flink作业支持如下数据源: CloudTable HBase,CloudTable OpenTSDB,CSS Elasticsearch,DCS,DDS,DIS,DMS,DWS,EdgeHub,MRS HBase,MRS Kafka,开源Kafka,文件系统,OBS,RDS,SMN
-
MySQL CDC源表 - 数据湖探索 DLI
MySQL数据库的端口号。 server-id 否 5400~6000随机值 String 数据库客户端的一个数字ID,该ID必须是MySQL集群中全局唯一的。建议针对同一个数据库的每个作业都设置一个不同的ID。 默认会随机生成一个5400~6400的值。 scan.startup.mode
-
JSON Format - 数据湖探索 DLI
中自动推导而得的。更多具体使用可参考开源社区文档:JSON Format。 支持的Connector Kafka Upsert Kafka Elasticsearch 参数说明 表1 参数 是否必选 默认值 类型 说明 format 是 (none) String 声明使用的格式,这里应为'json'。
-
Upsert Kafka源表 - 数据湖探索 DLI
的现有行都被覆盖。另外,value 为空的消息将会被视作为 DELETE 消息。 前提条件 该场景作业需要运行在DLI的独享队列上,因此要与kafka集群建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。
-
Upsert Kafka源表 - 数据湖探索 DLI
的现有行都被覆盖。另外,value 为空的消息将会被视作为 DELETE 消息。 前提条件 该场景作业需要运行在DLI的独享队列上,因此要与kafka集群建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。
-
与其他云服务的关系 - 数据湖探索 DLI
通过DLI跨源连接访问DWS数据请参考《跨源分析开发方式参考》。 与云搜索服务(CSS)的关系 云搜索服务(Cloud Search Service)作为DLI的数据来源及数据存储,与DLI配合一起使用,关系有如下两种。 数据来源:DLI服务提供DataFrame和SQL方式从CSS中导入数据到DLI。 存储查询结