检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检查对端安全组是否放通队列的网段 创建完跨源连接后,连接的Kafka、DWS、RDS等实例还需要在实例的安全组下添加DLI网段的安全组规则。以对端连接RDS为例: 在DLI管理控制台,单击“资源管理 > 队列管理”,选择您所绑定的队列,单击队列名称旁的按钮,获取队列的网段信息。 在RDS
怎样修改DLI上已经创建好的表的字段名称? DLI本身不支持直接修改表的字段名称,但您可以通过以下步骤来解决这个问题表数据迁移的方式来解决该问题: 创建新表:创建一个新表,并定义新的表字段名称。 迁移数据:使用INSERT INTO ... SELECT语句将旧表的数据迁移到新表中。
REPLACE,或者替换所有作业中的函数F1为F2。 需要重启Spark SQL队列后新创建的自定义函数F2生效 需要重启Spark SQL队列,影响当前运行的作业。 重启队列后,影响F1原有功能,F1的功能变为和F2一样。 场景二 在原有程序包类的基础上新增了类,新创建的函数指定为新增的类,包名不变。
修改弹性资源池的主机信息 操作场景 主机信息用于配置主机的IP与域名的映射关系,在作业配置时只需使用配置的域名即可访问对应的主机。在跨源连接创建完成后,支持修改主机信息。 常见的访问MRS的HBase集群时需要配置实例的主机名(即域名)与主机对应的IP地址。 约束限制 已获取MR
请求费用:用户访问OBS中存储的静态网站文件时产生的请求费用。 流量费用:用户使用自定义域名通过公网访问OBS时产生的流量费用。 实际产生的费用与存储的文件大小、用户访问所产生的请求次数和流量大小有关,请根据自己的业务进行预估。 DLI 在创建SQL作业前需购买队列,使用DLI的队列资源时,按照队列CU时进行计费。
查看指定数据库 功能描述 查看指定数据库的相关信息,包括数据库名称、数据库的描述等。 语法格式 1 DESCRIBE DATABASE [EXTENDED] db_name; 关键字 EXTENDED:除了显示上述信息外,还会额外显示数据库的属性信息。 参数说明 表1 参数说明 参数
HBase。 在“增强型跨源”页面,单击该连接“操作”列中的“修改主机信息”,在弹出的对话框中,填写主机信息。 格式:“IP 主机名/域名”,多条信息之间以换行分隔。 MRS主机信息获取,详细请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 父主题: 增强型跨源连接类
操作场景 本节操作介绍创建Flink作业时,配置流应用实现高可靠性能的操作方法。 操作步骤 用户在消息通知服务(SMN)中提前创建一个“主题”,并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知,单击链接确认订阅即可。 图1 创建主题 图2 添加订阅
Flink作业推荐配置指导 用户在创建Flink作业时,可以通过如下配置实现流应用的高可靠性能。 用户在消息通知服务(SMN)中提前创建一个“主题”,并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知,单击链接确认订阅即可。 图1 创建主题 图2 添加订阅 登录DLI控制台,创建Flink
在“队列管理”页面,选择需要测试地址连通性的队列,单击操作列下的“更多 > 测试地址连通性”。 在“测试地址连通性”页面填写需要测试的地址。支持域名和IP,可指定端口。 数据源地址支持以下输入格式:IPv4地址、IPv4+端口号、域名、域名+端口号。 · IPv4地址:192.168
OBS表必选参数。 data_path 否 String 新增OBS表数据的存储路径,必须是OBS的路径。 说明: OBS表必选参数。 data_path配置的OBS桶路径不建议为根目录,否则清空表数据的时候,就会把根目录内的数据全部清除,导致数据丢失。 with_column_header
数据源所使用的虚拟私有云。 子网 数据源所使用的子网。 路由表 显示子网实际绑定的路由表。 说明: 此处的路由表为目的数据源子网关联的路由表,不同于“路由信息”中的路由。“路由信息”中的路由为所绑定的队列下子网关联的路由表中的路由。 目的数据源子网与队列所在子网为不同的子网,否则会造成网段冲突。
用户在控制台上删除填写的手机号、邮箱,并关闭消息通知功能后,数据库中会同步删除用户的手机号、邮箱信息。 数据传输安全 用户个人敏感数据将通过TLS 1.2、TLS1.3进行传输中加密,所有华为云DLI服务的API调用都支持 HTTPS 来对传输中的数据进行加密。 Spark作业传输通信加密
获取MRS集群全部节点的ip和域名映射,在DLI跨源连接修改主机信息中配置host映射。 如何添加IP域名映射,请参见《数据湖探索用户指南》中“修改主机信息”章节。 Kafka服务端的端口如果监听在hostname上,则需要将Kafka Broker节点的hostname和IP的对应关系添加到DLI队列中。Kafka
Flink与MRS Flink有什么区别? DLI Flink是天然的云原生基础架构。在内核引擎上DLI Flink进行了多处核心功能的优化,并且提供了企业级的一站式开发平台,自带开发和运维功能,免除自建集群运维的麻烦;在connector方面除了支持开源connector之外,还
域名的限制长度为1到255的字符串,并且组成必须是字母、数字、下划线或者短横线。 域名的顶级域名至少包含两个及以上的字母,例如.com,.net,.cn等。 测试时域名后可选择添加端口,用":"隔开,端口最大限制为5位,端口范围:0~65535。 例如example.com:8080。
否 Zookeeper中的根目录,默认是/hbase connector.rowkey 否 读取复合rowkey的内容,并根据设置的大小,赋给新的字段 形如:rowkey1:3,rowkey2:3,… 其中3表示取该字段的前3个byte,该值不能大于该字段的字节大小,且该值不能小于
12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 创建HBase源表的列簇必须定义为ROW类型,字段名对应列簇名(column family),嵌套的字段名对应列限定符名(column qualifier)。 用户只需在表结构中声明查询中使用的的列簇和列限定符。除了ROW类型的列,剩下的原子数据类型字段(比如,STRING
SQL使用DEW管理访问凭据 创建的HBase结果表的列簇必须定义为ROW类型,字段名对应列簇名(column family),嵌套的字段名对应列限定符名(column qualifier)。用户只需在表结构中声明查询中使用的的列簇和列限定符。除了ROW类型的列,剩下的原子数据类型字段(比如,STRING
Hbase结果表 功能描述 DLI将作业的输出数据输出到HBase中。HBase是一个稳定可靠,性能卓越、可伸缩、面向列的分布式云存储系统,适用于海量数据存储以及分布式计算的场景,用户可以利用HBase搭建起TB至PB级数据规模的存储系统,对数据轻松进行过滤分析,毫秒级得到响应,