检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
1版本（Spark通用队列场景）使用委托授权访问临时凭证： 在创建作业时，请配置作业使用Spark3.3.1版本 已在作业中配置允许DLI访问DEW的委托信息。spark.dli.job.agency.name=自定义委托名称。 自定义委托请参考自定义DLI委托权限。 请注意配置参数不需要用"" 或 ''
SparkSession.builder().appName("datasource-css").getOrCreate(); 通过SQL API访问 创建DLI跨源访问 CSS关联表。 sparkSession.sql("create table css_table(id long, name string)
Delta常见配置参数 提交DLI Spark SQL作业时，在“SQL编辑器”界面右上角的“设置 > 参数设置”中配置Delta参数。 表1 Delta常见配置项 参数 描述 默认值 spark.databricks.delta.retentionDurationCheck.enabled
凭证”页面获取项目编号。 “？”后面接其他配置项，每个配置项以“key=value”的形式列出，配置项之间以“;”隔开，详见表3 表3 属性配置项 属性项（key） 必须配置 默认值（value） 描述 enginetype 否 - 配置执行作业的引擎类型。 queuename 是
Flink Jar作业访问DWS启动异常，提示客户端连接数太多错误 问题描述 提交Flink Jar作业访问DWS数据仓库服务时，提示启动失败，作业日志报如下错误信息。 FATAL: Already too many clients, active/non-active/reserved:
it相关的执行脚本、配置文件和依赖包。 进入配置文件conf目录，修改“client.properties”中的配置项，（具体配置项参考表1）。 表1 DLI 客户端工具配置参数 属性项 必须配置 默认值 描述 dliEndPont 否 - DLI服务的域名。 在地区和终端节点获取DLI对应区域的域名。
对接Redis scala样例代码 pyspark样例代码 java样例代码 故障处理 父主题： 使用Spark作业跨源访问数据源
运行Spark作业，作业运行失败，作业日志中提示No respond错误 解决方案 重新创建Spark作业，创建作业时需要在“Spark参数（--conf）”中添加配置：“spark.sql.mrs.opentsdb.ssl.enabled=true”。 父主题： 对接OpenTSDB
操作步骤 从Python官网下载并安装Python版本。 根据Python官方指导安装Python版本。 检验是否配置成功，运行cmd ，输入 python。运行结果，请参见图1，显示版本信息，则说明安装和配置成功。 图1 检验配置是否成功 python安装应用包时出现错误类似错误“error:
-version，可以检查版本信息。 操作步骤 安装JDK。从Oracle官网下载并安装JDK1.8版本安装包。 配置环境变量，在“控制面板”选择“系统”属性，单击“环境变量”。 选择“系统变量”，新建 “JAVA_HOME 变量”，路径配置为JDK安装路径，例如：“D:\Java\jdk1
DLI常用跨源分析开发方式 跨源分析 当DLI有访问外部数据源的业务需求时，首先需要通过建立增强型跨源连接，打通DLI与数据源之间的网络，再开发不同的作业访问数据源以实现DLI跨源分析。 本节操作介绍DLI支持的数据源对应的开发方式。 使用须知 Flink作业访问DIS，OBS和SMN数据源，无需创建跨源连接，可以直接访问。
描述信息 输入规则描述信息。 防御规则动作 配置当前SQL防御规则动作的阈值参数。 SQL规则支持的类型： 提示：配置系统对SQL请求满足防御规则后是否进行日志记录和提示处理。开启按钮时，如果当前规则有变量参数，需同时配置阈值。 拦截：配置系统对SQL请求满足防御规则后是否进行拦截
查看Spark内置依赖包的版本请参考内置依赖包。 资源包管理中的包是否能够下载? 资源包仅提供托管服务，不提供下载功能。 如何使用API通过公网访问DLI？ DLI域名公网访问请使用域名访问：dli.{regionid}.myhuaweicloud.com 数据湖探索的终端节点请参考终端节点。 数据湖探索API请参考：数据湖探索API。
配置Flink作业权限 Flink作业权限操作场景 针对不同用户，可以通过权限设置分配不同的作业，不同用户之间的作业效率互不影响，保障作业性能。 管理员用户和作业的所有者拥有所有权限，不需要进行权限设置且其他用户无法修改其作业权限。 给新用户设置作业权限时，该用户所在用户组的所属区域需具有Tenant
Python SDK Python SDK概述 Python SDK环境配置 队列相关 资源相关 SQL作业相关 Spark作业相关
故障处理 问题1：将代码直接复制到py文件中后，'\'后出现“unexpected character”问题。 问题 将代码直接复制到py文件中后，'\'后出现“unexpected character”问题。 解决方案 将'\'后面的缩进或是空格全部删除。 父主题： 对接Redis
、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理，包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统，虚拟防火墙、API网关和高级安全服务，各项云服务，租户数据，以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思
Hudi锁配置说明 提交Spark jar作业时需要手动配置Hudi锁。 当使用DLI托管的元数据服务时，必须配置Hudi锁开启，且配置使用DLI提供的Hudi锁实现类： 配置项 配置值 hoodie.write.lock.provider com.huawei.luxor.hudi
云搜索服务”，单击“下一步”。 图1 创建CSS数据源 配置源端CSS的数据源连接，具体参数配置如下。详细参数配置可以参考CDM上配置CSS连接。 表1 CSS数据源配置 参数 值 名称 自定义CSS数据源名称。例如当前配置为“source_css”。 Elasticsearch服务器列表
图2 添加订阅 登录DLI控制台，创建Flink SQL作业，编写作业SQL后，配置“运行参数”。 Flink Jar作业可靠性配置与SQL作业相同，不再另行说明。 根据如下公式，配置作业的“CU数量”、“管理单元”与“最大并行数”： CU数量 = 管理单元 + (算子总并行数 /
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
