检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
初步认识华为云数据湖探索，了解数据湖探索的基本功能、应用场景、基本概念和使用限制，有助于您更准确地匹配实际业务。 产品介绍 什么是DLI 应用场景 使用限制 与其他云服务的关系 03 入门 购买DLI队列后，您可以运行SQL作业和Spark作业，开启您的数据湖探索使用之旅。 使用前须知 准备工作
本示例CDM集群的虚拟私有云、子网以及安全组和RDS MySQL实例保持一致。 步骤一：数据准备 RDS的MySQL的数据库实例上创建数据库和表。 登录RDS管理控制台，在“实例管理”界面，选择已创建的MySQL实例，选择操作列的“更多 > 登录”，进入数据管理服务实例登录界面。 输入实例登录的用户名和密码。单击
kpoint保存路径。必须和应用程序中配置的Checkpoint地址相对应。且不同作业的路径不可一致，否则无法获取准确的Checkpoint。 单击右上角“保存”，保存作业和相关参数。 单击右上角“启动”，进入“启动Flink作业”页面，确认作业规格和费用，单击“立即启动”，启动作业。
Access”是跨源场景访问和使用VPC、子网、路由、对等连接的权限。 了解更多DLI委托权限请参考DLI委托权限。 选择dli_management_agency需要包含的权限后，并单击“更新委托权限”。 图1 更新委托权限 委托更新完成后，重新创建跨源连接和运行作业。 父主题： Flink
户权限和查看赋权对象使用者权限信息。 全局变量相关API 包括创建全局变量、删除全局变量、修改全局变量和查询所有全局变量。 增强型跨源连接相关API 包括创建增强型跨源连接、删除增强型跨源连接、查询增强型跨源连接列表、查询增强型跨源连接、绑定队列、解绑队列、修改主机信息和查询增强型跨源授权信息。
同时勾选“异常自动重启”，并勾选“从Checkpoint恢复”。配置后，作业异常重启，会从最新成功的Checkpoint文件恢复内部状态和消费位点，保证数据不丢失及聚合算子等内部状态的精确一致语义。同时，为了保证数据不重复，建议使用带主键数据库或者文件系统作为目标数据源，否则下
选择“清爽绿主题”为例，在界面左侧下拉选择添加已创建的数据集，选择其中的一个表（例如table_child）作为数据源，会在下方的“数据”栏显示出该表的元数据（包括字段和字段类型），请参见图3。 图3 选择表数据源 在制作报告界面，制表组件主要包括图表、表、交叉表、列表过滤等，以新建图表为例，单击工具栏中的“新建图表
跨源认证简介及操作方法请参考跨源认证简介。 MySQL已开启了Binlog，并且binlog_row_image设置为FULL。 已创建MySQL用户，并授予了SELECT、 SHOW DATABASES 、REPLICATION SLAVE和REPLICATION CLIENT权限。 注意事项 创建Flink OpenSource
别配置如下参数。 用户名：自定义的用户名。当前示例输入为：testuser2。 用户类型：当前选择为“人机”。 密码和确认密码：输入当前用户名对应的密码。 用户组和主组：选择kafkaadmin。 角色：选择Manager_viewer角色。 图1 MRS Manager上创建Kafka用户
musicTable（表管理和使用权限） userTable（表管理和使用权限） userTable（表查询权限） 队列的使用权限包括提交作业和终止作业两个权限。 父主题： 权限管理
别配置如下参数。 用户名：自定义的用户名。当前示例输入为：testuser2。 用户类型：当前选择为“人机”。 密码和确认密码：输入当前用户名对应的密码。 用户组和主组：选择kafkaadmin。 角色：选择Manager_viewer角色。 图1 MRS Manager上创建Kafka用户
保留期到期后，若您仍未支付账户欠款，那么资源将被释放，数据无法恢复。 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 关于充值的详细操作请参见账户充值。 按需计费模式和套餐包组合使用 DLI支持套餐包和按需计费模式结合使用。 购买了扫描数据量套餐包，按需使用过程中优先抵扣扫描数据量套餐包的规
中访问所有Flink和Spark支持的数据源与输出源，如Kafka、Hbase、ElasticSearch等。 具体内容请参见《数据湖探索开发指南》。 存算分离 用户将数据存储到OBS后，DLI可以直接和OBS对接进行数据分析。存算分离的架构下，使得存储资源和计算资源可以分开申请和计费，降低了成本并提高了资源利用率。
在SparkUI页面还可以查看Spark作业原始资源配置（只对新集群开放）。 在SparkUI页面，单击“Environment”，可以查看Driver信息和Executor信息。 图3 Driver信息 图4 Executor信息 父主题： Spark作业开发类
SQL类型的队列。 数据库名称 选择DLI下已创建的数据库。当前示例为在DLI上创建数据库和表中创建的数据库名，即为“testdb”。 表名 选择DLI下已创建的表名。当前示例为在DLI上创建数据库和表中创建的表名，即为“tablecss”。 导入前清空数据 选择导入前是否清空目的表的数据。当前示例选择为“否”。
机发送消息通知，方便客户及时感知异常。 图4 作业异常告警 勾选“开启Checkpoint”，依据自身业务情况调整Checkpoint间隔和模式。Flink Checkpoint机制可以保证Flink任务突然失败时，能够从最近的Checkpoint进行状态恢复重启。 图5 checkpoint参数
SQL类型的队列。 数据库名称 选择DLI下已创建的数据库。当前示例为在DLI上创建数据库和表中创建的数据库名，即为“testdb”。 表名 选择DLI下已创建的表名。当前示例为在DLI上创建数据库和表中创建的表名，即为“tablecss”。 导入前清空数据 选择导入前是否清空目的表的数据。当前示例选择为“否”。
支持跨账号导出数据，即，如果B账户对A账户授权后，A账户拥有B账户OBS桶的元数据信息和权限信息的读取权限，以及路径的读写权限，则A账户可将数据导出至B账户的OBS路径中。 导出数据步骤 导出数据的入口有两个，分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面导出数据。 在管理控制台左侧，单击“数据管理”>“库表管理”。
机发送消息通知，方便客户及时感知异常。 图4 作业异常告警 勾选“开启Checkpoint”，依据自身业务情况调整Checkpoint间隔和模式。Flink Checkpoint机制可以保证Flink任务突然失败时，能够从最近的Checkpoint进行状态恢复重启。 图5 checkpoint参数
projectId>?<key1>=<val1>;<key2>=<val2>… 说明： endpoint指DLI的终端节点，具体请参考地区和终端节点。 projectId指项目编号，从华为云“基本信息>我的凭证”页面获取项目编号。 “？”后面接其他配置项，每个配置项以“key=v
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
