检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
和内网端口访问,格式为"协议头://内网IP:内网端口/数据库名",例如:"jdbc:postgresql://192.168.0.77:8000/postgres",获取方式请参考“图 DWS集群信息”。 说明: DWS的连接地址格式为:"协议头://访问地址:访问端口/数据库名"
说明 host OpenTSDB连接地址。 访问CloudTable OpenTSDB,填写OpenTSDB链接地址,具体可以登录CloudTable控制台,单击“集群模式 > 集群名称”,在集群信息获取OpenTSDB链接地址。 访问MRS OpenTSDB,若使用增强型跨源连
SparkSession.builder().appName("datasource-css").getOrCreate(); 通过SQL API访问 创建DLI跨源访问 CSS关联表。 sparkSession.sql("create table css_table(id long, name string)
获取ZK连接地址需要先创建跨源连接。具体操作请参考《数据湖探索用户指南》。 访问CloudTable集群,填写ZK连接地址(内网)。 访问MRS集群,填写ZK所在节点IP与ZK对外端口,格式为:"ZK_IP1:ZK_PORT1,ZK_IP2:ZK_PORT2"。 说明: 访问MRS集群,只支持创建增强型跨源连接并且
option("driver", driver) \ .load() jdbcDF.show() 操作结果 通过SQL API 访问数据源 创建DLI跨源访问 dws 的关联表。 1 2 3 4 5 6 7 sparkSession.sql( "CREATE TABLE IF
SparkSession.builder().appName("datasource-rds").getOrCreate(); 通过SQL API 访问 创建DLI跨源访问RDS的关联表,填写连接参数。 1 2 3 4 5 6 7 sparkSession.sql( "CREATE TABLE IF
3.1及以上版本、Flink 1.15及以上版本的跨源访问场景推荐使用数据加密服务DEW来存储数据源的认证信息,为您解决数据安全、密钥安全、密钥管理复杂等问题。具体操作请参考使用DEW管理数据源访问凭证。 跨源认证用于管理访问指定数据源的认证信息。配置跨源认证后,无需在作业中重复
RDS集群信息”。 说明: 经典型跨源的连接地址默认格式为:"协议头://访问地址:访问端口" 例如:jdbc:mysql://to-rds-1174405119-oLRHAGE7.datasource.com:3306 如果想要访问RDS的postgre集群,需要将连接地址中的协议头修改为"
val sparkSession = SparkSession.builder().getOrCreate() 通过SQL API访问 创建DLI跨源访问 CSS的关联表。 1 2 3 4 sparkSession.sql("create table css_table(id int
resource).option("es.nodes", nodes).load() jdbcDF.show() 操作结果 通过SQL API 访问 创建DLI跨源访问 CSS的关联表。 1 2 3 4 5 sparkSession.sql( "create table css_table(id
builder().appName("datasource-opentsdb").getOrCreate(); 通过SQL API 访问 创建DLI跨源访问MRS OpenTSDB的关联表,填写连接参数。 1 sparkSession.sql("create table opentsdb_new_test
划线开头。 输入长度不能超过128个字符。 用户名称 访问数据源的用户名。 用户密码 访问数据源的密码。 图1 创建认证信息-Password 访问数据源。 跨源认证创建成功后,在创建访问数据源时只需关联跨源认证即可安全访问数据源。 建表时关联跨源认证的字段请参考表3。 表3 建
appName("datasource-HBase-MRS").getOrCreate(); 通过SQL API 访问 未开启Kerberos认证 创建DLI跨源访问MRS HBase的关联表,填写连接参数。 1 sparkSession.sql("CREATE TABLE testhbase(id
SparkSession.builder().appName("datasource-mongo").getOrCreate() 通过SQL API访问 创建DLI跨源访问 mongo的关联表 sparkSession.sql( "create table test_dds(id string,
故障处理 问题1:将代码直接复制到py文件中后,'\'后出现“unexpected character”问题。 问题 将代码直接复制到py文件中后,'\'后出现“unexpected character”问题。 解决方案 将'\'后面的缩进或是空格全部删除。 父主题: 对接Redis
上传“安全证书”的OBS路径。即步骤2的OBS桶地址。 图1 创建认证信息-CSS 访问CSS的表。 跨源认证创建成功后,在创建访问CSS的表时只需关联跨源认证即可安全访问数据源。 例如在使用Spark SQL来创建访问CSS的表时使用es.certificate.name字段配置跨源认证信息名称,配置连接安全CSS集群。
SparkSession.builder.appName("datasource-opentsdb").getOrCreate() 创建DLI跨源访问 OpenTSDB的关联表 1 2 3 4 sparkSession.sql("create table opentsdb_test using
keytab路径 上传“user.keytab”文件的OBS路径。 图1 创建认证信息-Kerberos 访问MRS的表。 跨源认证创建成功后,在创建访问数据源时只需关联跨源认证即可安全访问数据源。 建表时关联跨源认证的字段请参考表3。 表3 建表时与Kerberos类型跨源认证关联的字段
SQLContext sqlContext = new SQLContext(javaSparkContext); 通过DataFrame API 访问 读取json数据为DataFrame 1 2 3 4 JavaRDD<String> javaRDD = javaSparkContext
option("collection",collection)\ .load() jdbcDF.show() 操作结果 通过SQL API 访问 创建DLI关联跨源访问 Mongo的关联表。 sparkSession.sql( "create table test_dds(id string