检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
下载认证凭证。 DMS Kafka 登录DMS Kafka控制台，单击实例名称进入详情页面。 在连接信息中，找到SSL证书，单击“下载”。 解压下载的kafka-certs压缩包，获取client.jks和phy_ca.crt文件。 MRS Kafka 登录MRS Manager界面。 选择“系统
keytab路径 上传“user.keytab”文件的OBS路径。 图1 创建认证信息-Kerberos 访问MRS的表。 跨源认证创建成功后，在创建访问数据源时只需关联跨源认证即可安全访问数据源。 建表时关联跨源认证的字段请参考表3。 表3 建表时与Kerberos类型跨源认证关联的字段
对接HBase MRS配置 scala样例代码 pyspark样例代码 java样例代码 故障处理 父主题： 使用Spark作业跨源访问数据源
对接CSS CSS安全集群配置 scala样例代码 pyspark样例代码 java样例代码 父主题： 使用Spark作业跨源访问数据源
对接RDS scala样例代码 pyspark样例代码 java样例代码 父主题： 使用Spark作业跨源访问数据源
对接OpenTSDB scala样例代码 pyspark样例代码 java样例代码 故障处理 父主题： 使用Spark作业跨源访问数据源
CSS安全集群配置 准备工作 当前CSS服务提供的Elasticsearch 6.5.4或以上集群版本为用户增加了安全模式功能，开启安全模式后，将会为用户提供身份验证、授权以及加密等功能。DLI服务对接CSS安全集群时，需要先进行以下准备工作。 选择CSS Elasticsearch
JSON函数使用SQL标准的ISO/IEC TR 19075-6中描述的JSON路径表达式。它们的语法受到ECMAScript的启发并采用了ECMAScript的许多特性，但既不是其子集，也不是其超集。 路径表达式有两种，一种是宽松模式，另一种是严格模式。当省略时，它默认为严格模
包月队列。 DDS即文档数据库服务，兼容MongoDB协议。 前提条件 在DLI管理控制台上已完成创建增强跨源连接，并绑定包年/包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。
对接Mongo scala样例代码 pyspark样例代码 java样例代码 父主题： 使用Spark作业跨源访问数据源
端口：允许远端地址访问指定端口，取值范围为：1～65535。 本例中选择TCP协议，端口值不填或者填写为步骤1：获取外部数据源的内网IP、端口和安全组获取的数据源的端口。 类型 IP地址类型。 IPv4 源地址 源地址用于放通来自IP地址或另一安全组内的实例的访问。 本例填写步骤2：获取DLI队列网段获取的队列网段。
表1 用户授权参数说明 参数名称 描述 用户名 被授权的IAM用户的名称。 说明： 该用户名称是已存在的IAM用户名称。 权限设置 使用：使用该跨源认证。 更新：更新该跨源认证。 删除：删除该跨源认证。 赋权：当前用户可将跨源认证的权限赋予其他用户。 回收：当前用户可回收其他用户具备
dbt-core==1.7.9 pip是Python的包管理工具，通常与Python一起安装。 如果尚未安装pip，可以通过Python内置的ensurepip模块安装： python -m ensurepip 安装dli-sdk-python 执行安装命令： python setup
故障处理 问题1：运行Spark作业，作业运行失败，作业日志中提示java server connection或container启动失败 问题现象 运行Spark作业，作业运行失败，作业日志中提示java server connection或container启动失败。 解决方案
如果系统策略不满足授权要求，管理员可以创建自定义策略，并通过给用户组授予自定义策略来进行精细的访问控制，自定义策略是对系统策略的扩展和补充。详细操作请参考创建自定义策略。 相关链接 《IAM产品介绍》 《创建用户组、用户并授予DLI权限》 《策略语法》 《如何修改用户策略》 《队列赋权》（API赋权） 《数据赋权》（API赋权）
故障处理 运行Spark作业，作业运行失败，作业日志中提示No respond错误 问题现象 运行Spark作业，作业运行失败，作业日志中提示No respond错误 解决方案 重新创建Spark作业，创建作业时需要在“Spark参数（--conf）”中添加配置：“spark.sql
划线开头。 输入长度不能超过128个字符。 用户名称 访问数据源的用户名。 用户密码 访问数据源的密码。 图1 创建认证信息-Password 访问数据源。 跨源认证创建成功后，在创建访问数据源时只需关联跨源认证即可安全访问数据源。 建表时关联跨源认证的字段请参考表3。 表3 建
行超时异常错误 使用Spark作业访问sftp中的文件，作业运行失败，日志显示访问目录异常 执行作业的用户数据库和表权限不足导致作业运行失败 为什么Spark3.x的作业日志中打印找不到global_temp数据库 在使用Spark2.3.x访问元数据时，DataSource语法创建avro类型的OBS表创建失败
描述 es.nodes CSS的连接地址，需要先创建跨源连接，管理控制台操作请参考增强型跨源连接。 创建经典型跨源连接后，使用经典型跨源连接中返回的连接地址。 创建增强型跨源连接后，使用CSS提供的"内网访问地址"，格式为"IP1:PORT1,IP2:PORT2"。 resource
区创建资源。 区域（Region）：从地理位置和网络时延维度划分，同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region，通用Region指面向公共租户提供通用云服务的Region；专属Re
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
