检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
int b) { return a + b; } } 编写调试完成代码后,通过IntelliJ IDEA工具编译代码并导出Jar包。 单击工具右侧的“Maven”,参考下图分别单击“clean”、“compile”对代码进行编译。 编译成功后,单击“package”对代码进行打包。
列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列 > 找到作业的所属队列 > 更多 > 测试地址连通性 > 输入kafka的地址 > 测试)。如果能连通,则表示跨源已经绑定成功;否则表示未成功。 创建flink opensource
MySQL实例内网地址,进行网络连通性测试。 在RDS控制台“实例管理”页面,单击对应实例名称,查看“连接信息”>“内网地址”,即可获取对应信息。 测试结果显示可达,则DLI队列与MySQL实例的网络已经联通。 图7 测试结果 如果测试结果不可达,请参考创建跨源成功但测试网络连通性失败怎么办?进行排查。
述,在增强型跨源中增加MRS的主机信息。 设置HBase集群的安全组,添加入向规则使其对Flink作业队列网段放通。参考测试地址连通性根据HBase的地址测试队列连通性。若能连通,则表示跨源已经绑定成功,否则表示未成功。 参考MRS HBase的使用,通过HBase shell在
述,在增强型跨源中增加MRS的主机信息。 设置HBase集群的安全组,添加入向规则使其对Flink作业队列网段放通。参考测试地址连通性根据HBase的地址测试队列连通性。如果能连通,则表示跨源已经绑定成功,否则表示未成功。 参考MRS HBase的使用,通过HBase shell
列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列 > 找到作业的所属队列 > 更多 > 测试地址连通性 > 输入kafka的地址 > 测试)。如果能连通,则表示跨源已经绑定成功;否则表示未成功。 创建flink opensource
在DLI管理控制台,单击“资源管理 > 队列管理”。 选择增强型跨源所绑定的资源池下的队列,单击操作列“更多 > 测试地址连通性”。 输入数据源连接地址和端口,测试网络连通性。 若地址可达,说明账号B已建立DLI资源与共享VPC中的资源的网络连接,账号B可以使用DLI弹性资源池的队列提交作业访问共享VPC中的资源。
状态API,从而获取该异步操作API最终是否执行成功。 同时数据湖探索还提供多种编程语言的SDK供您使用,SDK的使用方法请参见华为云开发工具包(SDK)。 父主题: API使用前必读
说明:对此规则或建议进行的解释。 示例:对此规则或建议从正、反两个方面给出。 适用范围 基于DLI-Hudi进行数据存储、数据加工作业的设计、开发、测试和维护。 该设计开发规范是基于Spark 3.3.1,Hudi 0.11.0版本。 父主题: DLI Hudi开发规范
源中增加MRS的主机信息。 设置HBase和Kafka的安全组,添加入向规则使其对Flink的队列网段放通。参考测试地址连通性分别根据HBase和Kafka的地址测试队列连通性。若能连通,则表示跨源已经绑定成功,否则表示未成功。 参考MRS HBase的使用,通过HBase sh
源中增加MRS的主机信息。 设置HBase和Kafka的安全组,添加入向规则使其对Flink的队列网段放通。参考测试地址连通性分别根据HBase和Kafka的地址测试队列连通性。如果能连通,则表示跨源已经绑定成功,否则表示未成功。 参考MRS HBase的使用,通过HBase s
源池并添加队列中创建的队列,在操作列,单击“更多 > 测试地址连通性”。 在“测试连通性”界面,地址栏输入“Kafka内网地址:Kafka数据库端口”,单击“测试”测试DLI到Kafka网络是否可达。注意多个地址要分开单独测试。 步骤6:创建DLI连接RDS的增强型跨源连接 在RDS的安全组上放通DLI队列网段。
单击“队列管理”,选择操作的队列,本示例为步骤1:创建队列中创建的队列,在操作列,单击“更多 > 测试地址连通性”。 在“测试连通性”界面,根据2中获取的Kafka连接信息,地址栏输入“Kafka内网地址:Kafka数据库端口”,单击“测试”测试DLI到Kafka网络是否可达。 创建DLI连接RDS的增强型跨源连接
域(Region)陆续发布,欢迎体验。 2020年8月 序号 功能名称 功能描述 阶段 相关文档 1 集成TPC-H测试套件 用户可以通过DLI内置的TPC-H测试套件进行简单高效的交互式查询,无需用户上传数据,即可以体验DLI的核心功能。 商用 TPC-H使用指导 2 支持存储量套餐包
table(string_split(target, separator)) as T(item); 连接Kafka集群,向Kafka的topic中发送如下测试数据: {"target":"test-flink","separator":"-"} {"target":"flink","separator":"-"}
table(string_split(target, separator)) as T(item); 连接Kafka集群,向Kafka的topic中发送如下测试数据: {"target":"test-flink","separator":"-"} {"target":"flink","separator":"-"}
云上:OBS。 云下:HDFS。 生态兼容 DLV、永洪BI、帆软。 大数据生态工具。 自定义镜像 支持,满足业务多样性。 无。 工作流调度 DataArts Studio-DLF调度。 自建大数据生态的调度工具,如Airflow。 企业级多租户 基于表的权限管理,可以精细化到列权限。
安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka和ecs的地址测试队列连通性(通用队列-->找到作业的所属队列-->更多-->测试地址连通性-->输入kafka或ecs的地址-->测试)。若能连通,则表示跨源已经绑定成功;否则表示未成功。 购买ecs集群,并下载5
”,选择操作的队列,本示例为步骤1:创建队列中创建的队列,在操作列,单击“更多 > 测试地址连通性”。 在“测试连通性”界面,根据2中获取的RDS连接信息,地址栏输入“RDS内网地址:RDS数据库端口”,单击“测试”测试DLI到RDS网络是否可达。 创建DLI连接DWS的增强型跨源连接 在D
机可以访问公网且防火墙规则已开放连接端口。 数据源为云上服务RDS、MRS时,网络互通需满足如下条件: i. CDM集群与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,数据源所在的主机可以访问公网且防火墙规则已开放连接端口。