检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS集群请开启Kerberos认证。 在”组件管理 > Kafka > 服务配置”中查找配置项” security.protocol”，并设置为”SASL_SSL”。 登录MRS集群的Manager，下载用户凭据：”系统设置 > 用户管理 ，单击用户名后的”更多 > 下载认证凭据”。
MRS集群请开启Kerberos认证。 在”组件管理 > Kafka > 服务配置”中查找配置项” security.protocol”，并设置为”SASL_SSL”。 登录MRS集群的Manager，下载用户凭据：”系统设置 > 用户管理 ，单击用户名后的”更多 > 下载认证凭据”。
select * from redisSource; 按照如下方式查看taskmanager.out文件中的数据结果： 登录DLI管理控制台，选择“作业管理 > Flink作业”。 单击对应的Flink作业名称，选择“运行日志”，单击“OBS桶”，根据作业运行的日期，找到对应日志的文件夹。
认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭证。配置文件或者环境变量中密文存放，使用时解密，确保安全。Flink Opensource SQL使用DEW管理访问凭据 如果需要获取key的值，则可以通过在flink中设置主键获取，主键字段即对应redis的key。
签策略详情。 本章节包含如下内容： 管理作业标签 根据标签查找作业 管理作业标签 本节介绍如何为作业添加标签、修改标签和删除标签。 在DLI管理控制台的左侧导航栏中，单击“作业管理”>“Flink作业”，进入Flink作业管理页面。 单击需要查看的作业名称，进入“作业详情”页面。
select * from redisSource; 按照如下方式查看taskmanager.out文件中的数据结果： 登录DLI管理控制台，选择“作业管理 > Flink作业”。 单击对应的Flink作业名称，选择“运行日志”，单击“OBS桶”，根据作业运行的日期，找到对应日志的文件夹。
相应的增强型跨源连接，并绑定所要使用的Flink弹性资源池。 设置MySQL和Kafka的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性分别根据MySQL和Kafka的地址测试队列连通性。若能连通，则表示跨源已经绑定成功，否则表示未成功。 登录MySQL，
相应的增强型跨源连接，并绑定所要使用的Flink弹性资源池。 设置MySQL和Kafka的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性分别根据MySQL和Kafka的地址测试队列连通性。若能连通，则表示跨源已经绑定成功，否则表示未成功。 登录MySQL，
户或项目进行赋权操作。具体操作如下： 在管理控制台左侧，单击“数据管理”>“库表管理”。 单击需要设置权限的表所在的数据库名，进入该数据库的“表管理”页面。 单击所选表“操作”栏中的“权限管理”，将显示该表对应的权限信息。 单击表权限管理页面右上角的“授权”按钮。 在弹出的“授权”对话框中选择相应的权限。
配置DLI读写外部数据源数据 配置DLI读写外部数据源数据的操作流程 配置DLI与数据源网络连通（增强型跨源连接） 使用DEW管理数据源访问凭证 使用DLI的跨源认证管理数据源访问凭证 管理增强型跨源连接 典型场景示例：配置DLI与内网数据源的网络联通 典型场景示例：配置DLI 与公网网络连通 父主题：
队列执行SQL作业，新创建的队列会默认使用新版本的Spark引擎。 Flink OpenSource SQL作业： 登录DLI管理控制台。 选择“作业管理 > Flink作业”，在作业列表中选择待操作的Flink OpenSource SQL作业。 单击操作列的“编辑”，进入作业编辑页面。
详情操作请参考DLI自定义委托。 Flink 1.15作业管理凭据的方法： Flink OpenSource SQL中推荐使用DEW管理密码密钥等访问凭据信息。请参考Flink Opensource SQL使用DEW管理访问凭据。 Flink Jar 作业使用固定AKSK访问OBS、Flink
DLI的队列区域相同，不可跨区域执行操作。 （可选）可以将Jar包文件上传到DLI的程序包管理中，方便后续统一管理。 登录DLI管理控制台，单击“数据管理 > 程序包管理”。 在“程序包管理”页面，单击右上角的“创建”创建程序包。 在“创建程序包”对话框，配置以下参数。 包类型：选择“JAR”。
DLI的队列区域相同，不可跨区域执行操作。 （可选）可以将Jar包文件上传到DLI的程序包管理中，方便后续统一管理。 登录DLI管理控制台，单击“数据管理 > 程序包管理”。 在“程序包管理”页面，单击右上角的“创建”创建程序包。 在“创建程序包”对话框，配置以下参数。 包类型：选择“JAR”。
Service，CSMS），对AKSK统一管理，有效避免程序硬编码或明文配置等问题导致的敏感信息泄露以及权限失控带来的业务风险。 本节操作介绍在DEW创建通用凭证。详细操作请参考创建通用凭据。 登录DEW管理控制台 选择“凭据管理”，进入“凭据管理”页面。 单击“创建凭据”。配置凭据基本信息。
DLI的队列区域相同，不可跨区域执行操作。 （可选）可以将Jar包文件上传到DLI的程序包管理中，方便后续统一管理。 登录DLI管理控制台，单击“数据管理 > 程序包管理”。 在“程序包管理”页面，单击右上角的“创建”创建程序包。 在“创建程序包”对话框，配置以下参数。 包类型：选择“JAR”。
Administrator 租户管理员。 操作权限：具有所有云服务的管理和使用权限。创建后，可通过ACL赋权给其他子用户使用。 作用范围：项目级服务。 系统角色 DLI Service Administrator DLI服务管理员。 操作权限：具有数据湖探索服务队列、数据的管理和使用权限。创建后，可通过ACL赋权给其他子用户使用。
解决方案 需要给执行作业的用户赋数据库的操作权限，具体操作参考如下： 在DLI管理控制台左侧，单击“数据管理”>“库表管理”。 单击所选数据库“操作”栏中的“权限管理”，将显示该数据库对应的权限信息。 在数据库权限管理页面右上角单击“授权”。 在“授权”弹出框中，选择“用户授权”或“项目
使用DLI提交Spark作业 创建Spark作业 设置Spark作业优先级 查询Spark作业日志 管理Spark作业 管理Spark作业模板
数据源的网络连通。 管理DLI具数据源的访问凭证： Spark 3.3.1及以上版本、Flink 1.15及以上版本的跨源访问场景 推荐使用数据加密服务DEW来存储数据源的认证信息，为您解决数据安全、密钥安全、密钥管理复杂等问题。 具体操作请参考使用DEW管理数据源访问凭证。 使
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
