检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可以访问公网且防火墙规则已开放连接端口。 数据源为云上的DWS、MRS等服务时,网络互通需满足如下条件: i. CDM集群与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,数据源所在的主机可以访问公网且防火墙规则已开放连接端口。
可以访问公网且防火墙规则已开放连接端口。 数据源为云上的DWS、MRS等服务时,网络互通需满足如下条件: i. CDM集群与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,数据源所在的主机可以访问公网且防火墙规则已开放连接端口。
常用于读写外部数据源场景,在配置了跨源连接后,检验DLI队列与绑定的跨源对端地址之间的通信能力。 测试队列与数据源地址连通性 登录DLI管理控制台,选择“资源管理 > 队列管理”。 在“队列管理”页面,选择需要测试地址连通性的队列,单击操作列下的“更多 > 测试地址连通性”。 在“测
单击“确定”。 (可选)在标签列表中,单击“操作”列中“删除”可对选中的标签进行删除。 根据标签查找作业 对于已经添加过标签的作业,用户可以通过设置标签过滤条件进行搜索,以便快速查找到作业。 在DLI管理控制台的左侧导航栏中,单击“作业管理”>“Flink作业”,进入Flink作业管理页面。
Opensource SQL使用DEW管理访问凭据 操作场景 DLI将Flink作业的输出数据写入到Mysql或DWS时,需要在connector中设置账号、密码等属性。但是账号密码等信息属于高度敏感数据,需要做加密处理,以保障用户的数据隐私安全。 数据加密服务(Data Encryption
estamp进行转换。 CAST示例二 参考Kafka和Print创建flink opensource sql作业,输入以下作业运行脚本,提交运行作业。 注意:创建作业时,在作业编辑界面的“运行参数”处,“Flink版本”选择“1.15”,勾选“保存作业日志”并设置保存作业日志的
driver = "org.postgresql.Driver" 设置数据 1 dataList = sparkSession.sparkContext.parallelize([(1, "Katie", 19)]) 设置schema 1 2 3 schema = StructType([StructField("id"
要去掉该标识。 设置spark.sql.autoBroadcastJoinThreshold=-1,具体操作如下: 登录DLI管理控制台,单击“作业管理 > SQL作业”,在对应报错作业的“操作”列,单击“编辑”进入到SQL编辑器页面。 单击“设置”,在参数设置中选择“spark
该场景作业需要运行在DLI的独享队列上,因此要与CloudTable HBase建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 语法格式 1 2 3
MRS配置 DLI跨源连接中配置MRS主机信息 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 对接MRS HBase需要在DLI队列的host文件中添加MRS集群节点的/etc/hosts信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。
> 安全组”参数下获取Kafka的安全组。 RDS 在RDS控制台“实例管理”页面,单击对应实例名称,查看“连接信息”,获取“内网地址”、“虚拟私有云”、“子网”、“数据库端口”和“安全组”信息。 CSS 在CSS管理控制台,选择“Elasticsearch > 集群管理”,单击已
OrderBy & Limit OrderBy 功能描述 主要根据时间属性按照升序进行排序 注意事项 目前仅支持根据时间属性进行排序 示例 对订单根据订单时间进行升序排序 SELECT * FROM Orders ORDER BY orderTime; Limit 功能描述 限制返回的数据结果个数
OrderBy & Limit OrderBy 功能描述 主要根据时间属性按照升序进行排序 注意事项 目前仅支持根据时间属性进行排序 示例 对订单根据订单时间进行升序排序 SELECT * FROM Orders ORDER BY orderTime; Limit 功能描述 限制返回的数据结果个数
按需计费资源删除后,可能还会存在账单信息,因为系统通常会在使用后1个小时内对上一个结算周期的费用进行扣款。例如在8:30删除按小时结算的资源,但是8:00~9:00期间产生的费用,通常会在10:00左右才进行扣费。 通过账单查找云服务资源并停止计费(适用于按需的计算资源) 使用DLI资源ID查找资源时,包含以下操作:
TABLE语句中的“COMPUTED COLUMN”来进行类似功能构造。 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 语法格式
该场景作业需要运行在DLI的独享队列上,因此要与HBase建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 如果使用MRS HBase,
该场景作业需要运行在DLI的独享队列上,因此要与HBase建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 若使用MRS HBase,请
该场景作业需要运行在DLI的独享队列上,因此要与HBase建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 如果使用MRS Doris,
TABLE语句中的“COMPUTED COLUMN”来进行类似功能构造。 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 语法格式
OrderBy & Limit OrderBy 功能描述 主要根据时间属性按照升序进行排序 注意事项 目前仅支持根据时间属性进行排序 示例 对订单根据订单时间进行升序排序 SELECT * FROM Orders ORDER BY orderTime; Limit 功能描述 限制返回的数据结果个数