检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在DLI管理控制台上已完成创建增强跨源连接，并绑定包年/包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 通过DataFrame API 访问 import相关依赖
SQLContext sqlContext = new SQLContext(javaSparkContext); 通过DataFrame API 访问 读取json数据为DataFrame 1 2 3 4 JavaRDD<String> javaRDD = javaSparkContext
table).option("password", auth).load().show() 操作结果 通过SQL API 访问 创建DLI关联跨源访问 Redis的关联表。 sparkSession.sql( "CREATE TEMPORARY VIEW person
对接Redis scala样例代码 pyspark样例代码 java样例代码 故障处理 父主题： 使用Spark作业跨源访问数据源
CSS安全集群配置 准备工作 当前CSS服务提供的Elasticsearch 6.5.4或以上集群版本为用户增加了安全模式功能，开启安全模式后，将会为用户提供身份验证、授权以及加密等功能。DLI服务对接CSS安全集群时，需要先进行以下准备工作。 选择CSS Elasticsearch
包月队列。 DDS即文档数据库服务，兼容MongoDB协议。 前提条件 在DLI管理控制台上已完成创建增强跨源连接，并绑定包年/包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。
on脚本访问MySQL数据库？ 缺少pymysql模块，可以查看是否有对应的egg包，如果没有，在“程序包管理”页面上传pyFile。具体步骤参考如下： 将egg包上传到指定的OBS桶路径下。 登录DLI管理控制台，单击“数据管理 > 程序包管理”。 在“程序包管理”页面，单击右上角“创建”可创建程序包。
3.1及以上版本、Flink 1.15及以上版本的跨源访问场景推荐使用数据加密服务DEW来存储数据源的认证信息，为您解决数据安全、密钥安全、密钥管理复杂等问题。具体操作请参考使用DEW管理数据源访问凭证。 跨源认证用于管理访问指定数据源的认证信息。配置跨源认证后，无需在作业中重复
在使用Spark2.3.x访问元数据时，DataSource语法创建avro类型的OBS表创建失败 问题描述 使用Spark访问元数据时，DataSource语法创建avro类型的OBS表创建失败。 图1 avro类型的OBS创建失败 根因分析 当前Spark2.3.x不支持创建avro类型的OBS表，Spark2
故障处理 问题1：将代码直接复制到py文件中后，'\'后出现“unexpected character”问题。 问题 将代码直接复制到py文件中后，'\'后出现“unexpected character”问题。 解决方案 将'\'后面的缩进或是空格全部删除。 父主题： 对接Redis
打开Tableau。 在开始页面的“连接”窗格中，选择你想要连接的数据源类型。本例选择Hive类型的数据连接。 配置数据连接信息。 连接：Hive 服务器：Kyuubi主机的IP地址。 端口：连接Kyuubi的端口，Hive Thrift协议对接，默认端口10009。 身份验证：本例选择用户名的认证方式。
ache Log4j2 远程代码执行漏洞（CVE-2021-44228）、Fastjson存在反序列化漏洞（CNVD-2022-40233）等。 一旦发现服务模块涉及漏洞影响，会迅速通过官方解决方案升级现网更新漏洞。 更新配置 DLI云服务通过版本更新升级更新配置，确保服务的安全性和稳定性。
Spark作业编辑页面支持执行Spark作业，为用户提供全托管式的Spark计算服务。 在总览页面，单击Spark作业右上角的“创建作业”，或在Spark作业管理页面，单击右上角的“创建作业”，均可进入Spark作业编辑页面。 进入Spark作业编辑页面，页面会提示系统将创建DL
在“Spark作业”页面，单击对应作业“操作”列中的“编辑”，跳转至“Spark作业编辑”页面，可根据需要修改参数，执行作业。 查找作业 在“Spark作业”页面，选择“状态”或“队列”。系统将根据设置的过滤条件，在作业列表显示符合对应条件的作业。 终止作业 在“Spark作业”页面，单击对
以上问题可能是由于系统未能识别新用户信息。 请按以下步骤进行排查： 请先确认下当前用户名是否存在。 如该用户存在，请重新登录管理控制台，系统才能对该用户进行授权操作。 父主题： Flink作业咨询类
调整弹性资源池中队列的扩缩容策略 （可选）步骤三：创建增强型跨源连接 如果运行的作业需要跨源访问其他外部数据源数据，如作业需要访问DWS、RDS等数据时，需要创建跨源连接。 创建的跨源连接需要和弹性资源池进行绑定。 创建增强型跨源连接 步骤四：运行作业 根据业务需求创建和提交作业。 管理SQL作业
入RDS页面。在“实例管理页面”，找到您已经创建的RDS实例，获取其内网地址。 图5 内网地址 单击所创建RDS实例的“登录”，跳转至“数据管理服务-DAS”。输入相关账户信息，单击“测试连接”。显示连接成功后，单击“登录”，进入“实例登录”页面。 图6 实例登录 登录RDS实例
过大的风险，DLI升级了系统委托，做到更细粒度的委托权限控制，将原有的dli_admin_agency升级为dli_management_agency，新的委托包含获取IAM用户信息、跨源操作、消息通知所需的权限。有效避免DLI相关联服务权限不受控制的问题。升级后的DLI委托灵活
当DLI有访问外部数据源的业务需求时，首先需要通过建立增强型跨源连接，打通DLI与数据源之间的网络，再开发不同的作业访问数据源以实现DLI跨源分析。 本节操作介绍DLI支持的数据源对应的开发方式。 使用须知 Flink作业访问DIS，OBS和SMN数据源，无需创建跨源连接，可以直接访问。
详细请参考《NAT网关用户指南》中“添加SNAT规则”。 使用场景选择云专线/云连接。 添加专属队列所在的网段。 绑定对应的弹性公网IP。 图7 添加SNAT规则 添加完成后，单击“确定”。 步骤6：添加自定义路由 在增强型跨源连接页面添加自定义路由。此处添加的是访问的IP地址的路由信息。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
