检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SparkSession.builder().appName("datasource-css").getOrCreate(); 通过SQL API访问 创建DLI跨源访问 CSS关联表。 sparkSession.sql("create table css_table(id long, name string)
</settings> 方法二：通过在Eclipse中导入JAR文件安装SDK 使用Eclipse集成开发环境的项目，在集成开发环境中导入JAR文件。 从Eclipse官网下载并安装Eclipse IDE for Java Developers最新版本。在Eclipse中配置好JDK。 创建新工程，选择JRE版本，请参见图1
pyspark样例代码 操作场景 本例提供使用Spark作业访问DWS数据源的pyspark样例代码。 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或
SparkSession.builder().appName("datasource-rds").getOrCreate(); 通过SQL API 访问 创建DLI跨源访问RDS的关联表，填写连接参数。 1 2 3 4 5 6 7 sparkSession.sql( "CREATE TABLE IF
builder().appName("datasource-opentsdb").getOrCreate(); 通过SQL API 访问 创建DLI跨源访问MRS OpenTSDB的关联表，填写连接参数。 1 sparkSession.sql("create table opentsdb_new_test
故障处理 问题1：将代码直接复制到py文件中后，'\'后出现“unexpected character”问题。 问题 将代码直接复制到py文件中后，'\'后出现“unexpected character”问题。 解决方案 将'\'后面的缩进或是空格全部删除。 父主题： 对接Redis
resource).option("es.nodes", nodes).load() jdbcDF.show() 操作结果 通过SQL API 访问 创建DLI跨源访问 CSS的关联表。 1 2 3 4 5 sparkSession.sql( "create table css_table(id
将写好的python代码文件上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。
option("driver", driver) \ .load() jdbcDF.show() 操作结果 通过SQL API 访问 创建DLI跨源访问rds的关联表，填写连接参数。 1 2 3 4 5 6 7 sparkSession.sql( "CREATE TABLE
将"dli-sdk-python-<version>.zip"解压到本地目录，目录可自行调整。 安装SDK。 打开Windows操作系统“开始”菜单，输入cmd命令。 在命令行窗口，进入“dli-sdk-python-<version>.zip”解压目录下的windows目录。例如：“D:
并绑定包年/包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 通过DataFrame API 访问 import相关依赖 from __future__
将写好的java代码文件上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。
JSON函数使用SQL标准的ISO/IEC TR 19075-6中描述的JSON路径表达式。它们的语法受到ECMAScript的启发并采用了ECMAScript的许多特性，但既不是其子集，也不是其超集。 路径表达式有两种，一种是宽松模式，另一种是严格模式。当省略时，它默认为严格模
Python SDK Python SDK概述 Python SDK环境配置 队列相关 资源相关 SQL作业相关 Spark作业相关
001)); IP地理函数 当前仅支持IPV4的IP地址。 表6 IP地理函数表 函数 返回值 说明 IP_TO_COUNTRY STRING 获取IP地址所在的国家名称。 IP_TO_PROVINCE STRING 获取IP地址所在的省份。 用法说明： IP_TO_PROVINCE(STRING
thon SDK概述下载样例代码。 kind：资源包类型，当前支持的包类型分别为： jar：用户jar文件 pyfile：用户Python文件 file：用户文件 modelfile：用户AI模型文件 obs_jar_paths：对应资源包的OBS路径，参数构成为：{bucketName}
pymysql模块，如何使用python脚本访问MySQL数据库？ 缺少pymysql模块，可以查看是否有对应的egg包，如果没有，在“程序包管理”页面上传pyFile。具体步骤参考如下： 将egg包上传到指定的OBS桶路径下。 登录DLI管理控制台，单击“数据管理 > 程序包管理”。
在使用Spark2.3.x访问元数据时，DataSource语法创建avro类型的OBS表创建失败 问题描述 使用Spark访问元数据时，DataSource语法创建avro类型的OBS表创建失败。 图1 avro类型的OBS创建失败 根因分析 当前Spark2.3.x不支持创建avro类型的OBS表，Spark2
JDBC API参考 DLI JDBC Driver支持JDBC标准的众多API，也有部分API不支持用户调用，例如涉及事务调用的API“prepareCall”，调用这类API将抛出“SQLFeatureNotSupportedException”异常。API详情请参考JDBC官网https://docs
检查增强型跨源连接对应的对等连接的路由信息 检查VPC网络是否设置了ACL规则限制了网络访问 检查是否在域名或者IP后添加了端口 测试连通性时需要添加端口号。 例如，测试队列与指定RDS实例连通性，本例RDS实例使用3306端口。 测试连通性如下所示。 图1 测试地址连通性 检查是否连接的是对端VPC和子网
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
