检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
登录管理控制台，选择“大数据 > 数据湖探索 DLI”。 选择“资源管理 > 弹性资源池”，在资源列表中查看并记录资源名称。 在控制台顶部菜单栏中选择“资源 > 我的资源”。 进入我的资源页面。 在搜索条件中选择按名称搜索，并输入1.c获取的实例名称，单击图标搜索资源信息。
如何创建DWS集群，请参考《数据仓库服务管理指南》中“创建集群”章节。 请确保已创建DWS数据库表。 该场景作业需要运行在DLI的独享队列上，因此要与DWS集群建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。
前提条件 在DLI管理控制台上已完成创建增强跨源连接，并绑定包年/包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。
如何创建DWS集群，请参考《数据仓库服务管理指南》中“创建集群”章节。 请确保已创建DWS数据库表。 该场景作业需要运行在DLI的独享队列上，因此要与DWS集群建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。
队列空闲状态是指在DLI 作业管理中，该队列下均无SQL 作业运行，或者 Flink 作业运行、Spark 作业运行。 即一个自然小时内无作业运行，该自然小时为空闲状态。不会进行计费。
全局变量权限管理 针对不同用户，可以通过权限设置分配不同的全局变量，不同用户之间互不影响。管理员用户和全局变量的所有者拥有所有权限，不需要进行权限设置且其他用户无法修改其全局变量权限。 给新用户设置全局变量权限时，该用户所在用户组的所属区域需具有Tenant Guest权限。
建议前往队列管理页面测试数据源网络是否打通。操作步骤如下： 在队列管理页面选择队列。 单击“操作”列中的“更多 > 测试地址连通性”。 输入数据源的“IP:端口”测试网络连通性。 在增强型跨源连接的详情页可以查看对等连接的相关信息。
DLI计算资源模式 DLI提供了三种计算资源的管理模式，每一种模式都有独特的优势和适用场景。 图1 DLI计算资源模式 弹性资源池模式：计算资源的池化管理模式，提供计算资源的动态扩缩容能力，同一弹性资源池中的队列共享计算资源。
Flink作业 管理Flink作业模版
具体操作如下： 在管理控制台左侧，单击“数据管理”>“库表管理”。 单击需要设置权限的表所在的数据库名，进入该数据库的“表管理”页面。 单击所选表“操作”栏中的“权限管理”，将显示该表对应的权限信息。 单击表权限管理页面右上角的“授权”按钮。
使用DLI提交Spark作业 创建Spark作业 设置Spark作业优先级 查询Spark作业日志 管理Spark作业管理 Spark模板管理
授权操作参考如下：登录DLI管理控制台，选择“ 数据管理 > 程序包管理”页面，选择对应的UDAF Jar包，单击“操作”列中的“权限管理”，进入权限管理页面，单击右上角“授权”，勾选对应权限。
授权操作参考如下： 登录DLI管理控制台，选择“ 数据管理 > 程序包管理”页面，选择对应的UDF Jar包，单击“操作”列中的“权限管理”，进入权限管理页面，单击右上角“授权”，勾选对应权限。
授权操作参考如下： 登录DLI管理控制台，选择“ 数据管理 > 程序包管理”页面，选择对应的UDTF Jar包，单击“操作”列中的“权限管理”，进入权限管理页面，单击右上角“授权”，勾选对应权限。
登录DEW管理控制台 选择“凭据管理”，进入“凭据管理”页面。 单击“创建凭据”。配置凭据基本信息。
登录CDM控制台，选择“集群管理”，选择已创建的CDM集群，在操作列选择“作业管理”。 首次创建RDS MySQL数据库连接时需要上传MySQL的驱动，单击“连接管理 > 驱动管理”，进入驱动管理界面。
步骤1：创建队列 登录DLI管理控制台，在左侧导航栏单击“资源管理 > 队列管理”，可进入队列管理页面。 在队列管理界面，单击界面右上角的“购买队列”。 在“购买队列”界面，填写具体的队列配置参数，具体参数填写参考如下。 计费模式：选择“包年/包月”或“按需计费”。
步骤1：创建队列 登录DLI管理控制台，在左侧导航栏单击“资源管理 > 队列管理”，可进入队列管理页面。 在队列管理界面，单击界面右上角的“购买队列”。 在“购买队列”界面，填写具体的队列配置参数，具体参数填写参考如下。 计费模式：选择“包年/包月”或“按需计费”。
单击“数据管理”>“库表管理”。
管理DLI具数据源的访问凭证： Spark 3.3.1及以上版本、Flink 1.15及以上版本的跨源访问场景 推荐使用数据加密服务DEW来存储数据源的认证信息，为您解决数据安全、密钥安全、密钥管理复杂等问题。 具体操作请参考使用DEW管理数据源访问凭证。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
