检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
根据kafka和ecs所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka和ecs的地址测试队列连通性(通用队列 > 找到作业的所属队列 > 更多 > 测试地址连通性 > 输入kafka或ecs的地址 >
TUMBLE窗口周期性触发,控制延迟 TUMBLE窗口结束之前,可以根据设置的触发频率周期性地触发窗口,输出从窗口开始时间到当前周期时间窗口内的计算结果值,但不影响最终窗口输出值,从而在窗口结束前的每个周期都可以看到最新的结果。 提高数据的精确性 在窗口结束后,允许设置延迟时间。根据设置的延迟时间,每到达一个迟到数据,则更新窗口的输出结果
TUMBLE窗口周期性触发,控制延迟 TUMBLE窗口结束之前,可以根据设置的触发频率周期性地触发窗口,输出从窗口开始时间到当前周期时间窗口内的计算结果值,但不影响最终窗口输出值,从而在窗口结束前的每个周期都可以看到最新的结果。 提高数据的精确性 在窗口结束后,允许设置延迟时间。根据设置的延迟时间,每到达一个迟到数据,则更新窗口的输出结果
MySQL实例内网地址,进行网络连通性测试。 在RDS控制台“实例管理”页面,单击对应实例名称,查看“连接信息”>“内网地址”,即可获取对应信息。 测试结果显示可达,则DLI队列与MySQL实例的网络已经联通。 图7 测试结果 如果测试结果不可达,请参考创建跨源成功但测试网络连通性失败怎么办?进行排查。
全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则。 配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 iii. 此外,您还必须确保该云服务的实例与CDM集群所属的企业项目必须相同,如果不同,需要修改工作空间的企业项目。
该场景作业需要运行在DLI的独享队列上,因此要与云搜索服务建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 注意事项 当前只支持CSS集群7.X及以上版本,推荐使用7
在DLI管理控制台,单击“资源管理 > 队列管理”。 选择增强型跨源所绑定的资源池下的队列,单击操作列“更多 > 测试地址连通性”。 输入数据源连接地址和端口,测试网络连通性。 若地址可达,说明账号B已建立DLI资源与共享VPC中的资源的网络连接,账号B可以使用DLI弹性资源池的队列提交作业访问共享VPC中的资源。
选择增强型跨源所绑定的队列,单击操作列“更多 > 测试地址连通性”。 输入数据源连接地址和端口,测试网络连通性。 格式:IP:端口 测试连接前,请确保外部数据源的安全组已放通队列的网段。 图3 测试队列与数据源的网络连通性 相关操作 创建跨源成功但测试网络连通性失败怎么办? 父主题: 配置DLI与数据源网络连通(增强型跨源连接)
创建并提交SQL作业 SQL编辑器简介 SQL作业编辑器支持使用SQL语句执行数据查询操作。 支持SQL2003,兼容SparkSQL,详细语法描述请参见《数据湖探索SQL语法参考》。 在总览页面,单击左侧导航栏中的“SQL编辑器”或SQL作业简介右上角的“创建作业”,可进入“SQL编辑器”页面。
从而生成相应的宽表。 前提条件 要建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 Flink跨源开发场景中直接配置跨源
已经给表授权,但是提示无法查询怎么办? 已经给表授权,且测试查询成功,但一段时间后重试报错无法查询,此时应先检查当前表的权限是否还存在, 检查权限是否仍然存在: 如用户权限被取消则可能导致提示权限缺失无法查询表数据。 查看表的创建时间: 查看表是否被他人删除重建,删除表后重建的相
管理队列 查看队列的基本信息 队列权限管理 分配队列至项目 创建消息通知主题 队列标签管理 队列属性设置 测试地址连通性 删除队列 变更普通队列规格 普通队列弹性扩缩容 设置普通队列的弹性扩缩容定时任务 修改普通队列的网段 父主题: 创建弹性资源池和队列
可以上传到指定的目录中。 单击Best_Practice_04.zip获取本示例的测试数据,解压“Best_Practice_04.zip”压缩包,解压后将data文件夹上传到OBS桶根目录下。测试数据目录说明如下: user表数据:data/JData_User product
如何调用API 构造请求 认证鉴权 返回结果
单击“确定”完成主机信息添加。 步骤5:测试网络连通性 单击“队列管理”,选择操作的队列,在操作列,单击“更多 > 测试地址连通性”。 在“测试连通性”界面,根据步骤1:获取外部数据源的内网IP、端口和安全组中获取的数据源的IP和端口,地址栏输入“数据源内网IP:数据源端口”,单击“测试”测试DLI到外部数据源网络是否可达。
根据kafka和ecs所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka和ecs的地址测试队列连通性(通用队列-->找到作业的所属队列-->更多-->测试地址连通性-->输入kafka或ecs的地址-->
该场景需要与ClickHouse建立增强型跨源连接,并根据实际情况设置ClickHouse集群所在安全组规则中的端口。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 注意事项 创建Flink OpenSource
源池并添加队列中创建的队列,在操作列,单击“更多 > 测试地址连通性”。 在“测试连通性”界面,地址栏输入“Kafka内网地址:Kafka数据库端口”,单击“测试”测试DLI到Kafka网络是否可达。注意多个地址要分开单独测试。 步骤6:创建DLI连接RDS的增强型跨源连接 在RDS的安全组上放通DLI队列网段。
该场景作业需要运行在DLI的独享队列上,要与kafka集群建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 注意事项 创建Flink OpenSource
通过合理设置队列的计算资源池分配策略,提高计算资源利用率。 DLI弹性资源池之间为物理集群隔离,同一个弹性资源池中的队列之间为逻辑隔离。 建议您对测试业务场景和生产业务场景分别创建弹性资源池,通过资源物理隔离的方式,保障资源管理的独立性和安全性。 DLI提供的弹性资源池规格如表1所示。 表1