检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
示例3:使用CTAS将源表的全部数据或部分数据创建新的DLI表 示例说明:根据示例1:创建DLI非分区表中创建的DLI表table1,使用CTAS语法将table1中的数据复制到table1_ctas表中。 在使用CTAS建表的时候,可以忽略被复制的表在建表时所使用的语法,即不论在创建t
通数据源之间的网络。 DLI增强型跨源连接底层采用对等连接,直接打通DLI队列与目的数据源的VPC网络,通过点对点的方式实现数据互通,能够提供比经典型跨源更加灵活的使用场景与更加强劲的性能。 说明: 系统default队列不支持创建跨源连接。 跨源连接需要使用VPC、子网、路由、
套餐包购买后区域固定无法更换,购买的套餐只能在绑定的区域使用,不能在非绑定区域使用。 使用限制 套餐包购买后不支持退订。 计费时优先使用套餐中的资源,套餐中资源使用完后,超出部分按需付费。 套餐包不支持抵扣已使用的资源。 套餐包到期后,按需资源不会自动关闭,将会以按需付费的方式继续使用。 存储套餐的额度每个
DATABASE与SCHEMA两者没有区别,可替换使用,建议使用DATABASE。 “default”为内置数据库,不能创建名为“default”的数据库。 示例 完整的SQL作业提交流程您可以参考《快速入门》中的《提交SQL作业》等章节描述。 队列是使用DLI服务的基础,执行SQ
该API用于通过执行SQL语句的方式向队列提交作业。 当前接口已废弃,不推荐使用。 作业包含以下类型:DDL、DCL、IMPORT、EXPORT、QUERY和INSERT。其中,IMPORT和EXPORT分别与导入数据(废弃)和与导出数据(废弃)的功能一致,区别仅在于实现方式不同。 另
如表2所示,完成VPC、DMS、RDS、DLI、DLV资源的创建。 表2 创建资源 资源类型 说明 操作指导 VPC VPC为资源提供云上的网络管理服务。 资源网络规划说明: Kafka与MySQL实例指定的VPC需为同一VPC。 Kafka与MySQL实例所属VPC网段不得与创建的DLI队列网段冲突。
db_name [RESTRICT|CASCADE]; 关键字 IF EXISTS:所需删除的数据库不存在时使用,可避免系统报错。 注意事项 DATABASE与SCHEMA两者没有区别,可替换使用,建议使用DATABASE。 RESTRICT表示如果该database不为空(有
测试地址连通性 DLI提供的“测试地址连通性”用于验证DLI队列与目标地址之间的网络连通性。 常用于读写外部数据源场景,在配置了跨源连接后,检验DLI队列与绑定的跨源对端地址之间的通信能力。 测试队列与数据源地址连通性 登录DLI管理控制台,选择“资源管理 > 队列管理”。 在“
ctable_adm:访问和使用CloudTable(表格存储服务)的CloudTable Administrator权限。 vpc_netadm:使用VPC(虚拟私有云)的VPC Administrator权限。 smn_adm:使用SMN(消息通知服务)的SMN Administrator权限。 te_admin:具有Tenant
支持查看以下信息:弹性资源池名称、弹性资源池创建用户、创建时间、弹性资源池VPC网段、弹性资源池是否启用IPv6,如果开启IPv6将显示具体的子网的IPv6网段。 关于弹性资源池的实际CUs、已使用CUs、CU范围、规格(包周期CU)的含义请参考弹性资源池的实际CUs、已使用CUs、CU范围、规格(包周期CU)。
注意事项 所要进行JOIN连接的表必须是已经存在的表,否则会出错。 此处的attr_expr_list中所涉及的字段只能是左表中的字段,否则会出错。 示例 返回选课学生的姓名及其所选的课程编号。 1 2 SELECT student_info.name, student_info
并删除那些不满足WHERE子句条件的分区,适用于在处理具有大量分区的表时。 如果SQL查询中包含大量的嵌套left join操作,并且表有大量的动态分区时,这可能会导致在数据解析时消耗大量的内存资源,导致Driver节点的内存不足,并触发频繁的Full GC。 在这种情况下,可以
查看指定表中的所有列。 语法格式 1 SHOW COLUMNS {FROM | IN} table_name [{FROM | IN} db_name]; 关键字 COLUMNS:表中的列。 FROM/IN:指定数据库,显示指定数据库下的表的列名。FROM和IN没有区别,可替换使用。
通过对等连接建立与其他VPC的网络连接后,用户可以在DLI的租户独享集群中访问所有Flink和Spark支持的数据源与输出源,如Kafka、Hbase、ElasticSearch等。 自拓展生态 用户可通过编写代码实现从想要的云生态或者开源生态获取数据,作为Flink作业的输入数据。 DLI
vpc_netadm:使用VPC(虚拟私有云)的VPC Administrator权限。 smn_adm:使用SMN(消息通知服务)的SMN Administrator权限。 te_admin:具有Tenant Administrator权限。 请求示例 无 响应示例 { "is_success":
各个队列创建跨源连接的信息,详细信息请参考表3。 dest_vpc_id 否 String 对应服务的虚拟私有云标识。具体内容可参考《虚拟私有云API参考》。 dest_network_id 否 String 对应服务的子网网络标识。具体内容可参考《虚拟私有云API参考》。 create_time
在创建Kafka实例前您需要提前准备相关依赖资源,包括VPC、子网和安全组,并配置安全组。 创建VPC和子网的操作指导请参考创建虚拟私有云和子网,如果需要在已有VPC上创建和使用新的子网,请参考为虚拟私有云创建新的子网。 创建的VPC与使用的Kafka服务应在相同的区域。 创建VPC和子网时,如无特殊需求,配置参数使用默认配置即可。
页面测试数据源网络是否打通。操作步骤如下: 在队列管理页面选择队列。 单击“操作”列中的“更多 > 测试地址连通性”。 输入数据源的“IP:端口”测试网络连通性。 在增强型跨源连接的详情页可以查看对等连接的相关信息。 对等连接ID:增强型跨源在该队列所在集群中创建的对等连接ID。
输入长度不能超过64个字符。 dest_vpc_id 是 String 对应服务的vpc的ID。具体请参考《虚拟私有云API参考》。 dest_network_id 是 String 对应服务的子网网络ID,即为需要建立连接的服务所在的子网。具体请参考《虚拟私有云API参考》。 elastic_resource_pools
单击“确定”完成添加队列配置。 步骤2:创建虚拟私有云和安全组 创建虚拟私有云 登录VPC管理控制台,进入创建虚拟私有云页面。 在“创建虚拟私有云”页面,根据界面提示配置VPC和子网的参数。 具体参数说明请参考创建虚拟私有云。 其中配置IPv4网段时,请确保VPC的IPv4网段不要与下列网段重复。