检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Body: { "elastic_resource_pool_name" : "elastic_pool_dli", "description" : "test", "cidr_in_vpc" : "172.16.0.0/14", "charging_mode" :
JDBC源表 功能描述 JDBC连接器是Flink内置的Connector,用于从数据库读取相应的数据。 前提条件 要与实例建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规
'key.column'= 'FIELDNAME1' ); 关键字 表1 CREATE TABLE关键字说明 参数 描述 host DCS的连接IP,需要先创建跨源连接,管理控制台操作请参考增强型跨源连接。 创建增强型跨源连接后,使用DCS提供的"连接地址"。"连接地址"有多个时,选择其中一个即可。
DLI弹性资源池之间为物理集群隔离,同一个弹性资源池中的队列之间为逻辑隔离。 建议您对测试业务场景和生产业务场景分别创建弹性资源池,通过资源物理隔离的方式,保障资源管理的独立性和安全性。 弹性资源池约束与限制 表1 弹性资源池约束限制 限制项 说明 资源规格 当前弹性资源池最大的计算资源 32000CUs。 弹性资源池中可创建队列的最小CU:
服务。用户不需要管理任何服务器,即开即用。支持标准SQL/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。数据无需复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。
连接地址。 创建增强型跨源连接后,可以使用DWS提供的"JDBC连接字符串(内网)",或者内网地址和内网端口访问,格式为"协议头://内网IP:内网端口/数据库名",例如:"jdbc:postgresql://192.168.0.77:8000/postgres"。 说明: DW
apigateway WHERE service_id = 'ecs' Group BY http_method 或者 SELECT http_method FROM apigateway WHERE service_id = 'ecs' DISTRIBUTE BY http_method
查询结果写入桶”功能,必须提交工单申请加入白名单。 DLI支持13种数据类型,每一种类型都可以映射成一种JDBC类型,在使用JDBC连接服务器时,请使用映射后的JAVA类型,映射关系如表1所示。 表1 数据类型映射 DLI类型 JDBC类型 JAVA类型 INT INTEGER java
partition_specs RENAME TO PARTITION partition_specs; 关键字 PARTITION:分区。 RENAME:重命名。 参数说明 表1 参数描述 参数 描述 table_name 表名称。 partition_specs 分区字段。 注意事项
新建跨源连接,显示已激活,但使用时提示communication link failure错误怎么办? 根因分析 网络连通性问题,建议用户检查安全组选择是否正确,检查安全组网络(vpc)配置。 解决方案 示列:创建RDS跨源,使用时报“communication link failure”错误。
connector类型,需配置为'gaussdb' connector.url 是 jdbc连接地址,格式为:jdbc:postgresql://${ip}:${port}/${dbName} 。 connector.table 是 读取数据库中的数据所在的表名 connector.driver
JDBC结果表 功能描述 DLI将Flink作业的输出数据输出到关系型数据库中。 前提条件 要与实例建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。
JDBC源表 功能描述 JDBC连接器是Flink内置的Connector,用于从数据库读取相应的数据。 前提条件 要与实例建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规
String connector类型,需配置为'postgres-cdc'。 hostname 是 无 String Postgres数据库的IP地址或者Hostname。 username 是 无 String Postgres数据库用户名。 password 是 无 String
置。 true spark.network.sasl.serverAlwaysEncrypt 该参数用于配置服务器端是否使用加密来与客户端通信。当设置为true时,服务器将要求所有客户端使用加密连接,这可以提高通信的安全性。 true spark.authenticate 该参数
JDBC结果表 功能描述 DLI通过JDBC结果表将Flink作业的输出数据输出到关系型数据库中。 前提条件 DLI要与实例建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规
FileSystem源表 功能描述 本节介绍FileSystem源表的定义,以及创建源表时使用的参数和示例代码。 前提条件 该场景作业需要建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如
c-x.x.x”即可下载对应版本的JDBC驱动包。 JDBC驱动包命名为“huaweicloud-dli-jdbc-<version>.zip”,支持在所有平台(Linux、Windows等)所有版本中使用,且依赖JDK 1.7及以上版本。 下载的JDBC驱动包中包含了.bat(Windows)或
ADD [IF NOT EXISTS] PARTITION partition_specs1 [LOCATION 'obs_path1'] PARTITION partition_specs2 [LOCATION 'obs_path2']; 关键字 IF NOT EX
将文件或文件夹拖拽到指定的目录上,这样可以上传到指定的目录中。 单击Best_Practice_01.zip获取本示例的测试数据,将“Best_Practice_01.zip”压缩包解压。后续操作说明如下: 详单数据:将解压后Data目录下的“detail-records”文件夹上传到OBS桶根目录下。