检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink作业推荐配置指导 用户在创建Flink作业时，可以通过如下配置实现流应用的高可靠性能。 用户在消息通知服务（SMN）中提前创建一个“主题”，并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知，单击链接确认订阅即可。 图1 创建主题 图2
用户还需要拥有作业的删除权限。 创建作业 子用户默认不能创建作业。 创建作业时，用户需要拥有创建作业的权限。目前只有admin用户创建作业的权限，同时用户还需要拥有该作业使用的相关程序包组权限或者程序包权限。 编辑作业 编辑作业时，用户需要拥有更新作业的权限，同时用户还需要拥有该
此处设置keystore.jks文件的位置以及进入这个文件的密钥。在准备工作中生成的keystore.jks文件需要先放到OBS桶中，然后填入ak和sk以及jks文件的具体位置。最后在“es.net.ssl.keystore.pass”填入进入文件的密钥。 .option("es.net
maven-install 安装至本地Maven仓库的脚本及对应jar包。 dli-sdk-java.version Java SDK版本说明。 方法一：通过Maven安装DLI SDK依赖 推荐您通过Maven安装依赖的方式使用华为云 Java SDK： 安装服务级SDK依赖 首先您需要在您的操作系统中
”，可能是由于缺少C++编译器导致的报错，建议您根据提示信息安装相应版本的Visual Studio编译器解决。部分操作系统Visual Studio安装后需重启才可以生效。 安装DLI服务Python SDK。 选择SDK获取与安装获取的安装包，解压安装包。 将"dli-sdk-python-<version>
修改弹性资源池的主机信息 操作场景 主机信息用于配置主机的IP与域名的映射关系，在作业配置时只需使用配置的域名即可访问对应的主机。在跨源连接创建完成后，支持修改主机信息。 常见的访问MRS的HBase集群时需要配置实例的主机名（即域名）与主机对应的IP地址。 约束限制 已获取MR
Java开发环境配置 操作场景 在安装和使用Java SDK前，确保您已经完成开发环境的基本配置。 Java SDK要求使用JDK1.8或更高版本。考虑到后续版本的兼容性，推荐使用1.8版本。 在Java运行环境配置好的情况下，打开windows的命令行，执行命令Java -version，可以检查版本信息。
队列，队列关联到具体的作业和数据处理任务，是资源池中资源被实际使用和分配的基本单元，即队列是执行作业所需的具体的计算资源。 同一弹性资源池中，队列之间的计算资源支持共享。 通过合理设置队列的计算资源分配策略，可以提高计算资源利用率。 发布区域：以用户指南中的说明为准 DLI对接LakeFormation
在弹性资源池的列表页，选择要操作的弹性资源池，单击操作列的“添加队列”。 配置队列的基础配置，具体参数信息如下。 表2 弹性资源池添加队列基础配置 参数名称 参数说明 名称 弹性资源池添加的队列名称。 类型 选择创建的队列类型。 执行SQL作业请选择SQL队列。 执行Flink或Spark作业请选择通用队列。
系统默认创建的规则会分别创建每个支持动作的规则。例如：创建队列时，会分别创建“提示”和“拦截”动作的Scan files number规则。 不同的引擎版本支持的防御规则不同。 如需查看队列的引擎版本，您可以在队列资源的资源列表页面，通过查看队列基本信息中的“默认版本”获取引擎的版本信息。
表1 账号A创建的增强型跨源连接参数说明 参数 参数说明 连接名称 所创建的跨源连接名称。 弹性资源池 本场景下无需配置。 虚拟私有云 账号A共享给账号B的VPC。 子网 账号A共享给账号B的子网。 路由表 本场景下无需配置。 主机信息 本场景下无需配置。 标签 使用标签标识云资源。包括标签键和标签值。
查询组：查询组内程序包详情。 删除组：删除该组的程序包。 赋权：当前用户可将组的权限赋予其他用户。 回收：当前用户可回收其他用户具备的该组的权限，但不能回收该组所有者的权限。 查看其他用户具备的权限：当前用户可查看其他用户具备的该组的权限。 程序包授权 图2 程序包授权 表2 程序包授权参数说明
设置告警规则基本信息，并配置告警规则的详细信息。 详细参数说明请参考按全量指标创建。 配置告警规则时选择的Prometheus实例应是需要配置告警通知的作业所在的弹性资源池绑定的Prometheus 实例。 配置高级设置：仅”全量指标创建”的方式支持该配置项，配置时建议开启无数据处理。即配置监控周
ERE子句条件的分区，适用于在处理具有大量分区的表时。 如果SQL查询中包含大量的嵌套left join操作，并且表有大量的动态分区时，这可能会导致在数据解析时消耗大量的内存资源，导致Driver节点的内存不足，并触发频繁的Full GC。 在这种情况下，可以配置该参数为fals
用DLI，但是不允许删除DLI的权限策略，控制他们对DLI资源的使用范围。 对于新建的用户，需要先登录一次DLI，记录元数据，后续才可正常使用。 IAM是华为云提供权限管理的基础服务，无需付费即可使用，您只需要为您账号中的资源进行付费。关于IAM的详细介绍，请参见《IAM产品介绍》。
表管理”。 单击需要设置权限的表所在的数据库名，进入该数据库的“表管理”页面。 单击所选表“操作”栏中的“权限管理”，将显示该表对应的权限信息。 图1 表权限管理 表权限设置有3种场景：为新用户或项目赋予权限，为已有权限的用户或项目修改权限，回收某用户或项目具备的所有权限。 为新用户或项目赋予权限
Java SDK环境配置 Java开发环境配置 SDK的获取与安装 初始化DLI客户端 父主题： Java SDK
Livy是基于开源的Apache Livy用于提交Spark作业到DLI的客户端工具。 准备工作 创建DLI队列。在“队列类型”中选择“通用队列”，即Spark作业的计算资源。具体请参考创建队列。 准备一个linux弹性云服务器ECS，用于安装DLI Livy。 ECS需要放通3000
以访问和分析DLI中的数据的操作步骤。 操作流程 图1 操作流程 步骤1：安装并配置Kyuubi连接DLI：安装并配置Kyuubi，确保Kyuubi可以连接到DLI。 步骤2：配置ODBC连接Kyuubi：配置Superset安装数据连接驱动。 步骤3：配置Tableau使用OD
Flink、HetuEngine生态，提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器，即开即用。 DLI支持标准SQL/Spark SQL/Flink SQL，支持多种接入方式，并兼容主流数据格式。数据无需复杂的抽取、转换、加载，使用SQL或
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
