检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
JOIN数据倾斜解决方案 登录数据湖探索管理控制台，选择“SQL作业”，在要修改的作业所在行的“操作”列，单击“编辑”进入SQL编辑器界面。 在SQL编辑器界面，单击“设置”，在“配置项”尝试添加以下几个Spark参数进行解决。 参数项如下，冒号前是配置项，冒号后是配置项的值。 spark
ld=-1，具体操作如下： 登录DLI管理控制台，单击“作业管理 > SQL作业”，在对应报错作业的“操作”列，单击“编辑”进入到SQL编辑器页面。 单击“设置”，在参数设置中选择“spark.sql.autoBroadcastJoinThreshold”参数，其值设置为“-1”。
table1; 图1 查询表数据 在DLI上创建数据库和表。 登录DLI管理控制台，选择“SQL编辑器”，在SQL编辑器中“执行引擎”选择“spark”，“队列”选择已创建的SQL队列。 在编辑器中输入以下语句创建数据库，例如当前创建迁移后的DLI数据库testdb。详细的DLI创建数据库的语法可以参考创建DLI数据库。
tabletest; 图1 查询RDS表数据 在DLI上创建数据库和表。 登录DLI管理控制台，选择“SQL编辑器”，在SQL编辑器中“执行引擎”选择“spark”，“队列”选择已创建的SQL队列。 在编辑器中输入以下语句创建数据库，例如当前创建迁移后的DLI数据库testdb。详细的DLI创建数据库的语法可以参考创建DLI数据库。
RTITION__”，当前Spark判断分区为空时，则会直接返回null，不返回具体的数据。 解决方案 登录DLI管理控制台，在“SQL编辑器”中，单击“设置”。 在参数设置中，添加参数“spark.sql.forcePartitionPredicatesOnPartitionedTable
在Console页面上方菜单栏中单击“产品”，单击“大数据”分类中的“数据湖探索 DLI”。 在DLI控制台总览页面左侧，单击“SQL编辑器”，进入SQL作业编辑器页面。 在SQL作业编辑器左侧，选择“数据库”页签，单击创建demo数据库，请参见图2。 图2 创建数据库 “default”为内置数据库，不能使用该数据库名。
e”时，表示导入数据成功。 在DLI上创建数据库和表。 登录DLI管理控制台，选择“SQL编辑器”，在SQL编辑器中“执行引擎”选择“spark”，“队列”选择已创建的SQL队列。 在编辑器中输入以下语句创建数据库，例如当前创建迁移后的DLI数据库testdb。详细的DLI创建数据库的语法可以参考创建DLI数据库。
"Duration":146,"Sign":-1} 在DLI上创建数据库和表。 登录DLI管理控制台，选择“SQL编辑器”，在SQL编辑器中“执行引擎”选择“spark”，“队列”选择已创建的SQL队列。 在编辑器中输入以下语句创建数据库，例如当前创建迁移后的DLI数据库testdb。详细的DLI创建数据库的语法可以参考创建DLI数据库。
再到具体的DLI上执行。 在DLI上创建数据库和表。 登录DLI管理控制台，选择“SQL编辑器”，在SQL编辑器中“执行引擎”选择“spark”，“队列”选择已创建的SQL队列。 在编辑器中输入以下语句创建数据库，例如当前创建迁移后的DLI数据库testdb。详细的DLI创建数据库的语法可以参考创建DLI数据库。
SQL脚本，用户没有在DLI控制台上同意隐私协议导致在DataArts Studio运行SQL脚本报错。 解决方案 登录DLI控制台，选择“SQL编辑器”，输入任意执行一个SQL语句，比如“select 1”。 弹出隐私协议后，勾选“同意以上隐私协议”，单击“确定”。 该隐私协议只需要在第
Lakeformation元数据可在湖仓构建Lakeformation服务的管理控制台中查看。 相关操作 DLI SQL队列对接DLI元数据方法： 在DLI管理控制台的SQL编辑器页面的“数据目录”中选择“dli”。 在“数据库”选项中选择要对接的DLI元数据中的数据库，即可对接到DLI元数据。 DLI通用队列对接DLI元数据方法：
的数据。主要是描述数据自身信息，包含源、大小、格式或其它数据特征。数据库字段中，元数据用于诠释数据仓库的内容。 SQL作业 在SQL作业编辑器执行的SQL语句、导入数据和导出数据等操作，在系统中对应的执行实体，称之为SQL作业。 SQL作业适用于使用标准SQL语句进行查询的场景。通常用于结构化数据的查询和分析。
FullGC问题原因定位和解决： 原因1 小文件过多：当一个表中的小文件过多时，可能会造成Driver内存FullGC。 登录DLI控制台，选择SQL编辑器，在SQL编辑器页面选择问题作业的队列和数据库。 执行以下语句，查看作业中表的文件数量。“表名”替换为具体问题作业中的表名称。 select count(distinct
Lakeformation元数据可在湖仓构建Lakeformation服务的管理控制台中查看。 相关操作 DLI SQL队列对接DLI元数据方法： 在DLI管理控制台的SQL编辑器页面的“数据目录”中选择“dli”。 在“数据库”选项中选择要对接的DLI元数据中的数据库，即可对接到DLI元数据。 DLI通用队列对接DLI元数据方法：
您可以在左侧的数据库导航面板中选择数据库对象，然后在中间的查询编辑器中编写SQL语句。 编写完查询后，可以单击工具栏上的“运行”按钮（通常是一个绿色的播放图标）来执行查询。 查询执行后，结果将显示在查询编辑器下方的数据网格中。 图5 在DBeaver编写SQL查询 父主题： 使用BI工具连接DLI分析数据
如下： 导出查询结果的操作入口有两个，分别在“SQL作业”和“SQL编辑器”页面。 在“作业管理”>“SQL作业”页面，可单击对应作业“操作”列“更多 > 导出结果”，可导出执行查询后的结果。 在“SQL编辑器”页面，查询语句执行成功后，在“查看结果”页签右侧，单击“导出结果”，可导出执行查询后的结果。
SQL模板”>“样例模板”，在“tpchQuery”下找到“Q1_价格摘要报告查询”样例模板，单击操作列的“执行”进入“SQL编辑器”。 在“SQL编辑器”页面右侧的编辑窗口上方，“执行引擎”选择“spark”，“队列”选择“default”，“数据库”选择“default”，单击“执行”。
创建队列的操作入口有三个，分别在“总览”页面、“SQL编辑器”页面和“队列管理”页面。 单击总览页面右上角“购买队列”进行创建队列。 在“队列管理”页面创建队列。 在DLI管理控制台的左侧导航栏中，选择“资源管理 > 队列管理”。 单击“队列管理”页面右上角“购买队列”进行创建队列。 在“SQL编辑器”页面创建队列。
将写好的代码文件生成jar包，上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。
使用Notebook实例提交DLI作业 Notebook是基于开源JupyterLab进行了深度优化的交互式数据分析挖掘模块，提供在线的开发和调试能力，用于编写和调测模型训练代码。完成DLI对接Notebook实例后，您可以基于Notebook提供的Web交互的开发环境同时完成代
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
