检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
故障处理 运行Spark作业，作业运行失败，作业日志中提示No respond错误 问题现象 运行Spark作业，作业运行失败，作业日志中提示No respond错误 解决方案 重新创建Spark作业，创建作业时需要在“Spark参数（--conf）”中添加配置：“spark.sql.mrs.opentsdb.ssl.enabled
对接Redis scala样例代码 pyspark样例代码 java样例代码 故障处理 父主题： 使用Spark作业跨源访问数据源
以样例代码为例，具体的流程是： 远程登录ECS，通过hbase shell命令查看表信息。其中，“hbtest”是要查询的表名。
创建DLI跨源访问 dws 的关联表。
创建DLI跨源访问RDS的关联表，填写连接参数。
pyspark样例代码 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。
说明： DWS的连接地址格式为："协议头://访问地址:访问端口/数据库名" 例如： jdbc:postgresql://to-dws-1174405119-ihlUr78j.datasource.com:8000/postgres 如果想要访问DWS中自定义数据库，请在这个连接里将
user 访问DDS集群用户名。 password 访问DDS集群密码。
用户名称 访问数据源的用户名。 用户密码 访问数据源的密码。 图1 创建认证信息-Password 访问数据源。 跨源认证创建成功后，在创建访问数据源时只需关联跨源认证即可安全访问数据源。 建表时关联跨源认证的字段请参考表3。
创建DLI跨源访问MRS OpenTSDB的关联表，填写连接参数。
未开启Kerberos认证 创建DLI跨源访问MRS HBase的关联表，填写连接参数。
JavaSparkContext javaSparkContext = new JavaSparkContext(sparkConf); SQLContext sqlContext = new SQLContext(javaSparkContext); 通过DataFrame API 访问
如何使用API通过公网访问DLI？ DLI域名公网访问请使用域名访问：dli.{regionid}.myhuaweicloud.com 数据湖探索的终端节点请参考终端节点。 数据湖探索API请参考：数据湖探索API。
故障处理 问题1：将代码直接复制到py文件中后，'\'后出现“unexpected character”问题。 问题 将代码直接复制到py文件中后，'\'后出现“unexpected character”问题。 解决方案 将'\'后面的缩进或是空格全部删除。 父主题： 对接Redis
图1 创建认证信息-Kerberos 访问MRS的表。 跨源认证创建成功后，在创建访问数据源时只需关联跨源认证即可安全访问数据源。 建表时关联跨源认证的字段请参考表3。
创建DLI关联跨源访问 Redis的关联表。
图1 创建认证信息-CSS 访问CSS的表。 跨源认证创建成功后，在创建访问CSS的表时只需关联跨源认证即可安全访问数据源。 例如在使用Spark SQL来创建访问CSS的表时使用es.certificate.name字段配置跨源认证信息名称，配置连接安全CSS集群。
通过SQL API访问 插入数据 sparkSession.sql("insert into opentsdb_test values('aaa', 'abc', '2021-06-30 18:00:00', 30.0)") 查询数据 result = sparkSession.sql
创建DLI跨源访问rds的关联表，填写连接参数。
创建DLI跨源访问HBase的关联表 如果对接的HBase集群未开启Kerberos认证，样例代码参考如下。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
