检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
、中划线("-")组成。 路由IP 自定义路由网段,允许不同路由的网段之间有交集,但不允许完全相同。 禁止添加100.125.xx.xx、100.64.xx.xx网段,避免与SWR等服务的内网网段重复,导致增强型跨源连接失败。 添加路由信息后,您可以在路由详情页查看添加的路由信息。
式,如果没有使用WHERE条件做数据过滤及在字段映射页面添加新字段的需求,选择HDFS方式即可。 HDFS文件方式读取数据时,性能较好,但不支持使用WHERE条件做数据过滤及在字段映射页面添加新字段。 JDBC方式读取数据时,支持使用WHERE条件做数据过滤及在字段映射页面添加新字段。
基本概念 弹性资源池 专属的计算资源,不同弹性资源上的计算资源完全隔离,弹性资源池内的不同队列资源可以共享,并可以根据队列资源负载配置策略进行分时弹性扩缩容,满足不同的业务需求。 DLI存储资源 DLI存储资源是DLI服务内部存储的资源,用于存储数据库和DLI表,是向DLI导入数
在增强型跨源连接的详情页可以查看对等连接的相关信息。 对等连接ID:增强型跨源在该队列所在集群中创建的对等连接ID。 每一个增强型跨源对每一个绑定的队列都会创建一个对等连接。该对等连接用于实现跨VPC通信,请确保数据源使用的安全组开放了DLI队列网段的访问,并且在使用跨源过程中不要删除该对等连接。
各个队列创建跨源连接的信息,详细信息请参考表3。 dest_vpc_id 否 String 对应服务的虚拟私有云标识。具体内容可参考《虚拟私有云API参考》。 dest_network_id 否 String 对应服务的子网网络标识。具体内容可参考《虚拟私有云API参考》。 create_time 否
口”、“虚拟私有云”和“子网”信息,方便后续操作步骤使用。 单击“连接信息”中的安全组名称,在“入方向规则”中添加放通队列网段的规则。例如,本示例队列网段为“10.0.0.0/16”,则规则添加为:优先级选择:1,策略选择:允许,协议选择:TCP,端口值不填,类型:IPv4,源地址为:10
Administrator权限。 ctable_adm:访问和使用CloudTable(表格存储服务)的CloudTable Administrator权限。 vpc_netadm:使用VPC(虚拟私有云)的VPC Administrator权限。 smn_adm:使用SMN(消息通知服务)的SMN Administrator权限。
单击“下一步”进入字段映射界面,CDM会自动匹配源端和目的端的数据表字段,需用户检查字段映射关系是否正确。 如果字段映射关系不正确,用户单击字段所在行选中后,按住鼠标左键可拖拽字段来调整映射关系。 导入到DLI时需要手动选择DLI的分布列,建议按如下顺序选取: 有主键可以使用主键作为分布列。
处理。 用户可以通过dli.sql.job.timeout(单位是秒)参数配置超时时间。 DLI支撑本地测试Spark作业吗? DLI暂不支持本地测试Spark作业,您可以安装DLI Livy工具,通过Livy工具提供的交互式会话能力调测Spark作业。 推荐使用使用Livy提交Spark
所查询的表必须是已经存在的表,否则会出错。 WHERE关键字指定查询的过滤条件,过滤条件中支持算术运算符,关系运算符,逻辑运算符。 GROUP BY指定分组的字段,可以单字段分组,也可以多字段分组。 示例 找出数量超过3的订单。 1 insert into temp SELECT * FROM Orders WHERE
详细的参数配置可以参考:CDM配置DLI目的端参数。 单击“下一步”,进入到字段映射界面,CDM会自动匹配源和目的字段。 如果字段映射顺序不匹配,可通过拖拽字段调整。 如果选择在目的端自动创建类型,这里还需要配置每个类型的字段类型、字段名称。 CDM支持迁移过程中转换字段内容,详细请参见字段转换。
修改弹性资源池的主机信息 操作场景 主机信息用于配置主机的IP与域名的映射关系,在作业配置时只需使用配置的域名即可访问对应的主机。在跨源连接创建完成后,支持修改主机信息。 常见的访问MRS的HBase集群时需要配置实例的主机名(即域名)与主机对应的IP地址。 约束限制 已获取MRS主机信息。请参考怎样获取MRS主机信息
所查询的表必须是已经存在的表,否则会出错。 WHERE关键字指定查询的过滤条件,过滤条件中支持算术运算符,关系运算符,逻辑运算符。 GROUP BY指定分组的字段,可以单字段分组,也可以多字段分组。 示例 找出数量超过3的订单。 1 insert into temp SELECT * FROM Orders WHERE
跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 用户通过VPC对等访问DCS实例时,除了满足VPC对等网跨VPC访问的约束之外,还存在如下约束:
跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 用户通过VPC对等访问DCS实例时,除了满足VPC对等网跨VPC访问的约束之外,还存在如下约束:
若值不等于列表中的每个值,则返回TRUE。 double、real和float值存在一定的精度差。且我们不建议直接使用等号“=”对两个double类型数据进行比较。用户可以使用两个double类型相减,而后取绝对值的方式判断。当绝对值足够小时,认为两个double数值相等,例如: abs(0
若值不等于列表中的每个值,则返回TRUE。 double、real和float值存在一定的精度差。且我们不建议直接使用等号“=”对两个double类型数据进行比较。用户可以使用两个double类型相减,而后取绝对值的方式判断。当绝对值足够小时,认为两个double数值相等,例如: abs(0
在“连接信息”中获取该Kafka的“内网连接地址”,在“基本信息”的“网络”中获取获取该实例的“虚拟私有云”和“子网”信息,方便后续操作步骤使用。 单击“网络”中的安全组名称,在“入方向规则”中添加放通队列网段的规则。例如,本示例队列网段为“10.0.0.0/16”,则规则添加为:优先级选择:
规格 选择弹性资源池规格。 标准版 CU范围 弹性资源池最大最小CU范围。 64-64 网段 规划弹性资源池所属的网段。如需使用DLI增强型跨源,弹性资源池网段与数据源网段不能重合。弹性资源池网段设置后不支持更改。 172.16.0.0/19 企业项目 选择对应的企业项目。 default
groupby_expression… ] HAVING having_expression; 关键字 groupby_expression:可以是单字段,多字段,也可以是聚合函数,字符串函数等。 注意事项 所要分组的表必须是已经存在的表,否则会出错。 如果过滤条件受GROUP BY的查询结果影