检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SQL脚本，用户没有在DLI控制台上同意隐私协议导致在DataArts Studio运行SQL脚本报错。 解决方案 登录DLI控制台，选择“SQL编辑器”，输入任意执行一个SQL语句，比如“select 1”。 弹出隐私协议后，勾选“同意以上隐私协议”，单击“确定”。 该隐私协议只需要在第
Lakeformation元数据可在湖仓构建Lakeformation服务的管理控制台中查看。 相关操作 DLI SQL队列对接DLI元数据方法： 在DLI管理控制台的SQL编辑器页面的“数据目录”中选择“dli”。 在“数据库”选项中选择要对接的DLI元数据中的数据库，即可对接到DLI元数据。 DLI通用队列对接DLI元数据方法：
SQL模板”>“样例模板”，在“tpchQuery”下找到“Q1_价格摘要报告查询”样例模板，单击操作列的“执行”进入“SQL编辑器”。 在“SQL编辑器”页面右侧的编辑窗口上方，“执行引擎”选择“spark”，“队列”选择“default”，“数据库”选择“default”，单击“执行”。
FullGC问题原因定位和解决： 原因1 小文件过多：当一个表中的小文件过多时，可能会造成Driver内存FullGC。 登录DLI控制台，选择SQL编辑器，在SQL编辑器页面选择问题作业的队列和数据库。 执行以下语句，查看作业中表的文件数量。“表名”替换为具体问题作业中的表名称。 select count(distinct
Lakeformation元数据可在湖仓构建Lakeformation服务的管理控制台中查看。 相关操作 DLI SQL队列对接DLI元数据方法： 在DLI管理控制台的SQL编辑器页面的“数据目录”中选择“dli”。 在“数据库”选项中选择要对接的DLI元数据中的数据库，即可对接到DLI元数据。 DLI通用队列对接DLI元数据方法：
如下： 导出查询结果的操作入口有两个，分别在“SQL作业”和“SQL编辑器”页面。 在“作业管理”>“SQL作业”页面，可单击对应作业“操作”列“更多 > 导出结果”，可导出执行查询后的结果。 在“SQL编辑器”页面，查询语句执行成功后，在“查看结果”页签右侧，单击“导出结果”，可导出执行查询后的结果。
创建队列的操作入口有三个，分别在“总览”页面、“SQL编辑器”页面和“队列管理”页面。 单击总览页面右上角“购买队列”进行创建队列。 在“队列管理”页面创建队列。 在DLI管理控制台的左侧导航栏中，选择“资源管理 > 队列管理”。 单击“队列管理”页面右上角“购买队列”进行创建队列。 在“SQL编辑器”页面创建队列。
索 DLI”。 创建demo数据库，在DLI控制台总览页面，选择“作业管理 > SQL作业”，单击“创建作业”，进入SQL作业编辑器。 在SQL作业编辑器左侧，选择“数据库”页签，单击创建demo数据库，请参见图1。 图1 创建数据库 “default”为内置数据库，不能创建名为“default”的数据库。
将写好的代码文件生成jar包，上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。
将写好的代码文件生成jar包，上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。
云数据迁移服务CDM等迁移工具迁移数据至DLI，再使用DLI提交作业分析数据。 CDM支持数据库、数据仓库、文件等多种类型的数据源，通过可视化界面对数据源迁移任务进行配置，提高数据迁移和集成的效率。 具体操作请参考迁移外部数据源数据至DLI。 图1 迁移数据至DLI 配置DLI读写外部数据源
将写好的代码文件生成jar包，上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。
为查看DLI Flink作业创建权限策略： 策略名称：可以使用默认名称，也可以自定义。 作用范围：选择“项目级服务”。 策略配置方式：选择“可视化视图”。 策略内容：依次选择“允许”，“数据湖探索”，“dli:jobs:list_all”。 单击“确认”，创建策略。 图3 创建策略
将写好的代码生成jar包，上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。
database=tpch set dli.sql.shuffle.partitions=10 在DLI的SQL编辑器的执行效果：Set参数会修改为注释提交到DLI侧执行。 图4 在DLI的SQL编辑器查看配置的参数 父主题： 使用BI工具连接DLI分析数据
步骤6：提交SQL作业 本节示例以SQL作业为例说明如何跨源访问RDS表。 在DLI管理控制台的左侧导航栏中，单击“SQL编辑器”，进入SQL作业编辑器页面。 在“SQL编辑器”页面右侧的编辑窗口中，输入如下SQL语句创建数据库db1，单击“执行”。 create database db1;
将写好的java代码文件上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。
您可以详细了解DLI管理控制台的功能，常用SQL语法。除此之外，还可以实时查看监控指标及审计日志，以便及时了解DLI的健康状态。 管理控制台 DLI作业开发流程 SQL作业编辑器 作业管理 数据管理 作业模板 跨源连接 常用语法 Spark SQL语法参考 Flink OpenSource SQL语法参考 运维与监控
需要较强的技术能力进行搭建、配置、运维。 高可用 具有跨AZ容灾能力。 无 高易用 学习成本 学习成本低，包含10年、上千个项目经验固化的调优参数。同时提供可视化智能调优界面。 学习成本高，需要了解上百个调优参数。 支持数据源 云上：OBS、RDS、DWS、CSS、MongoDB、Redis。 云下
分组设置和组名称根据情况选择设置，方便后续识别和管理程序包。 单击“确定”，完成创建程序包。 创建UDF函数。 登录DLI管理控制台，单击“SQL编辑器”，执行引擎选择“spark”，选择已创建的SQL队列和数据库。 图11 选择队列和数据库 在SQL编辑区域输入下列命令创建UDF函数，单击“执行”提交创建。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
