检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
一身份认证服务用户指南》中的创建用户组。 Flink作业权限相关操作步骤 在DLI管理控制台的左侧，选择“作业管理”>“Flink作业”。 选择待设置的作业，单击其“操作”列中的“更多”>“权限管理”。“用户权限信息”区域展示了当前具备此作业权限的用户列表。 权限设置有3种场景：
迁移数据场景概述 为了将分散在不同系统中的数据迁移到DLI，确保数据可以在DLI集中分析和管理，您可以通过云数据迁移服务CDM等迁移工具迁移数据至DLI，再使用DLI提交作业分析数据。 CDM支持数据库、数据仓库、文件等多种类型的数据源，通过可视化界面对数据源迁移任务进行配置，提高数据迁移和集成的效率。
认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭证。配置文件或者环境变量中密文存放，使用时解密，确保安全。Flink Opensource SQL使用DEW管理访问凭据 语法格式 create table dataGenSource( attr_name
创建VPC的具体操作请参考创建虚拟私有云。 图2 创建VPC 步骤2：创建弹性资源池和队列 登录DLI管理控制台。 在左侧导航栏单击“资源管理 > 弹性资源池”，可进入弹性资源池管理页面。 在弹性资源池管理界面，单击界面右上角的“购买弹性资源池”。 在“购买弹性资源池”界面，填写具体的弹性资源池参数。
from dataGenSource; 该作业提交后，作业状态变成“运行中”，后续您可通过如下操作查看输出结果。 方法一： 登录DLI管理控制台，选择“作业管理 > Flink作业”。 在对应Flink作业所在行的“操作”列，选择“更多 > FlinkUI”。 在FlinkUI界面，选择“Task
"case_timestamp_to_date": "2022-04-02 15:00:00"} 查看输出结果: 方法一： 登录DLI管理控制台，选择“作业管理 > Flink作业”。 在对应Flink作业所在行的“操作”列，选择“更多 > FlinkUI”。 在FlinkUI界面，选择“Task
将写好的自定义函数打成JAR包，并上传到OBS上。 在DLI管理控制台的左侧导航栏中，单击数据管理>“程序包管理”，然后单击创建，并使用OBS中的jar包创建相应的程序包。 在DLI管理控制台的左侧导航栏中，单击作业管理>“Flink作业”，在需要编辑作业对应的“操作”列中，单击“编辑”，进入作业编辑页面。
scala样例代码 操作场景 本例提供使用Spark作业访问DWS数据源的scala样例代码。 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。
数据湖队列什么情况下是空闲状态？ 队列空闲状态是指在DLI 作业管理中，该队列下均无SQL 作业运行，或者 Flink 作业运行、Spark 作业运行。 即一个自然小时内无作业运行，该自然小时为空闲状态。不会进行计费。 通常按需计费的队列，在空闲1h后计算资源会被释放，再次使用时
pyspark样例代码 开发说明 mongo只支持增强型跨源。只能使用包年包月队列。 DDS即文档数据库服务，兼容MongoDB协议。 前提条件 在DLI管理控制台上已完成创建增强跨源连接，并绑定包年/包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明
创建DWS表用于与输入流连接，从而生成相应的宽表。 前提条件 请务必确保您的账户下已在数据仓库服务（DWS）里创建了DWS集群。如何创建DWS集群，请参考《数据仓库服务管理指南》中“创建集群”章节。 请确保已创建DWS数据库表。 该场景作业需要运行在DLI的独享队列上，因此要与DWS集群建立增强型跨源连接，且
登录OBS控制台，将生成的Jar包文件上传到OBS路径下。 将Jar包文件上传到DLI的程序包管理中，方便后续统一管理。 登录DLI管理控制台，单击“数据管理 > 程序包管理”。 在“程序包管理”页面，单击右上角的“创建程序包”。 在“创建程序包”对话框，配置以下参数。 包类型：选择“JAR”。
根据资源ID在云服务的控制台查找资源并删除。 在控制台中选择“大数据 > 数据湖探索 DLI”，并切换选择资源所在区域。 选择“资源管理 > 队列管理”或“资源管理 > 弹性资源池”。 在搜索框中输入资源名称，单击图标即可查找到该资源。 图2 查找资源 查看弹性资源池详细信息，根据计算资源的类型选择结束计费需要执行的操作。
适用场景 存储资源是DLI服务内部的存储资源，用于存储数据库和DLI表。 存储在DLI的表，表类型为MANAGED。 可在“数据管理 > 库表管理”查看DLI表数据存储量。 约束限制 存储资源无需创建，无配额约束限制，可直接使用。 仅支持在账单中查看数据存储的计费信息。详细操作参考费用账单。
将写好的自定义函数打成JAR包，并上传到OBS上。 在DLI管理控制台的左侧导航栏中，单击数据管理>“程序包管理”，然后点击创建，并使用OBS中的jar包创建相应的程序包。 在DLI管理控制台的左侧导航栏中，单击作业管理>“Flink作业”，在需要编辑作业对应的“操作”列中，单击“编辑”，进入作业编辑页面。
DLI委托权限配置场景开发指南 类型 操作指导 说明 Flink作业场景 Flink Opensource SQL使用DEW管理访问凭据 Flink Opensource SQL场景使用DEW管理和访问凭据的操作指导，将Flink作业的输出数据写入到Mysql或DWS时，在connector中设置账号、密码等属性。
1作业支持指定委托。 作业指定委托后，授予委托的权限要谨慎修改，委托权限变动可能会影响作业的正常运行。 Flink Jar作业指定委托 登录DLI管理控制台，选择“作业管理 > Flink作业”。 选择待编辑的Flink Jar作业，单击操作列的“编辑”。 在作业配置区域配置委托信息： Flink版本：选择1
规格是包周期弹性资源池特有的。规格部分以包周期的计费，规格之外的部分按需计费。 数据库 数据库即按照数据结构来组织、存储和管理数据的仓库。DLI服务管理权限的基础单元是数据库，赋权以数据库为单位。 在DLI中，表和数据库是定义底层数据的元数据容器。表中的元数据让DLI知道数据所
DLI弹性资源池之间为物理集群隔离，同一个弹性资源池中的队列之间为逻辑隔离。 建议您对测试业务场景和生产业务场景分别创建弹性资源池，通过资源物理隔离的方式，保障资源管理的独立性和安全性。 DLI提供的弹性资源池规格如表1所示。 表1 弹性资源池规格 类型 规格 约束限制 适用场景 基础版 16-64CUs规格
设置 > 参数配置”中配置如下参数，其中x为优先级取值。 spark.sql.dli.job.priority=x 登录DLI管理控制台。 单击“作业管理 > SQL作业”。 选择待配置的作业，单击操作列下的编辑。 在“ 设置 > 参数配置”中配置spark.sql.dli.job
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
