检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
dli.user.file file 如果是对接notebook工具场景时不需要设置。 spark.dli.user.className class_name 如果是对接notebook工具场景时不需要设置。 spark.dli.user.scType sc_type 推荐使用livy原生配置。
DLI不支持直接使用SET语句配置参数 点击”设置”，随后在”参数设置”一栏可以配置键和值，Hudi的参数可以通过此处提交。配置在此处的参数会在提交SQL作业时被应用。 随后可以在左侧菜单点击”作业管理”->”SQL作业”，随后在列表中选中执行的作业，并点击下方窗格，唤出作业详情，在”参数设置”一栏中，可以检查参数配置情况。
概述 欢迎使用数据湖探索。 数据湖探索（Data Lake Insight，简称DLI）是完全兼容Apache Spark、Apache Flink、trino生态，提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器，即开即用。支持标准SQL/Spark
优先级 当前弹性资源池中的优先级数字越大表示优先级越高。本例设置一条扩缩容策略，默认优先级为1。 1 时间段 首条扩缩容策略是默认策略，不能删除和修改时间段配置。 即设置00-24点的扩缩容策略。 00-24 最小CU 设置扩缩容策略支持的最小CU数。 16 最大CU 当前扩缩容策略支持的最大CU数。
进程，在Mysql 的jdbc驱动的代码里会设置时区，这个时区是通过TimeZone.getTimeZone(canonicalTimezone) 读取的。也就是说，读取的是CST（UTC+8），但真正设置的时区却是CST（UTC-5）。 解决方案 数据库设置 time_zone 的值为非 SYSTEM，比如
可自动关联出来Elasticsearch服务器列表。 安全模式认证 如果所需连接的CSS集群在创建时开启了“安全模式”，该参数需设置为“是”，否则设置为“否”。 本示例选择为“否”。 图2 CDM配置CSS数据源 单击“保存”完成CSS数据源配置。 配置目的端DLI的数据源连接。
通常您的业务系统可能使用了华为云的多种云服务，您可以为这些云服务下不同的资源实例分别设置标签，各服务的计费详单会体现这些资源实例设置的标签。如果您的业务系统是由多个不同的应用构成，为同一种应用拥有的资源实例设置统一的标签将很容易帮助您对不同的应用进行使用量分析和成本核算。 对DLI来说，
执行Checkpoint机制会影响实时计算性能，配置间隔时间需权衡对业务的性能影响及恢复时长，最好大于Checkpoint的完成时间，建议设置为5分钟。 Exactly Once模式保证每条数据只被消费一次，At Least Once模式每条数据至少被消费一次，请依据业务情况选择。
应用场景 DLI服务适用于海量日志分析、异构数据源联邦分析、大数据ETL处理。 海量日志分析 游戏运营数据分析 游戏公司不同部门日常通过游戏数据分析平台，分析每日新增日志获取所需指标，通过数据来辅助决策。例如：运营部门通过平台获取新增玩家、活跃玩家、留存率、流失率、付费率等，了解
展示source到sink的数据处理流程。如图4所示。 格式化：对SQL语句进行格式化。 设为模板：将新创建的作业设置为作业模板。 主题设置：设置页面主题，可以设置字体大小，自动换行和页面风格。 帮助：跳转至帮助中心，为用户提供SQL语法参考。 简化流图 在OpenSource
用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 MySQL已开启了Binlog，并且binlog_row_image设置为FULL。 已创建MySQL用户，并授予了SELECT、
LI上创建数据库和表创建的表名，即为“tabletest”。 导入前清空数据 选择导入前是否清空目的表的数据。当前示例选择为“否”。 如果设置为是，任务启动前会清除目标表中数据。 详细的参数配置可以参考：CDM配置DLI目的端参数。 单击“下一步”，进入到字段映射界面，CDM会自动匹配源和目的字段。
annotation 支持在SQL中设置set spark参数。 PowerBI、FineBI、SuperSet、DBT需要设置为true。 否 true kyuubi.engine.dli.set.conf.sql.suffix 支持在SQL中尾端设置set spark参数。 PowerBI、DBT需要设置为true。
连接，请指定为集群“内网访问地址”或“内网访问域名”。如果通过弹性负载均衡连接，请指定为“弹性负载均衡地址”。 dbadmin：创建集群时设置的默认管理员用户名。 -W：默认管理员用户的密码。 在命令行窗口输入以下命令创建数据库“testdwsdb”。 CREATE DATABASE
annotation 支持在SQL中设置set spark参数。 PowerBI、FineBI、SuperSet、DBT需要设置为true。 否 true kyuubi.engine.dli.set.conf.sql.suffix 支持在SQL中尾端设置set spark参数。 PowerBI、DBT需要设置为true。
查看队列对应的VPC的路由表信息。 图11 查看路由表目的地址-1 检查VPC网络是否设置了ACL规则限制了网络访问 网络ACL对子网进行防护，检查对应子网是否配置了ACL，是否设置了ACL规则限制了网络访问。 例如当您设置了安全组放通队列的网段，同时设置的网络ACL规则包含拒绝该地址访问，那么此安全组规则不生效。
Flink版本。当用户设置“feature”为“basic”时，该参数生效。用户可通过与“feature”参数配合使用，指定作业运行使用的DLI基础Flink镜像的版本。 image 否 String 自定义镜像。格式为：组织名/镜像名:镜像版本。 当用户设置“feature”为“
Properties info); 其中，JDBC的配置项通过url传入，请参考表2配置参数。JDBC配置对象，除了在url中以分号间隔设置配置项外，还可以通过Info对象动态设置属性项，具体属性项参见表3。 表2 数据库连接参数 参数 描述 url url的格式如下。 jdbc:dli://<endPoint>/projectId
选择待操作的增强型跨源连接，单击操作列的“更多 > 权限管理”。 授权： 在权限管理页面，权限设置选择“授权”。 输入项目ID。 单击“确定”，授予该项目弹性资源池的操作权限。 回收权限： 在权限管理页面，权限设置选择“回收”。 输入项目ID。 单击“确定”，回收指定项目的弹性资源池操作权。 父主题：
该参数用于配置服务器端是否使用加密来与客户端通信。当设置为true时，服务器将要求所有客户端使用加密连接，这可以提高通信的安全性。 true spark.authenticate 该参数用于配置是否对Spark应用程序的组件进行身份验证。启用身份验证可以防止未授权的访问。这个参数可以设置为true来启用身份验证。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
