pa6HnHpf.cloudtable.com:2181, cloudtable-cf82-zk2-weBkIrjI.cloudtable.com:2181, cloudtable-cf82-zk1-WY09px9l
dli_to_dws").show(); 插入数据后: 提交Spark作业 将写好的代码文件生成jar包,上传至OBS桶中。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 如果选择spark版本为2.3.2(即将下线)或2.4.5提交作业时,需要指定Module模块,名称为:sys
opentsdb_new_test").show(); 插入数据后: 提交Spark作业 将写好的代码文件生成jar包,上传至OBS桶中。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 如果选择spark版本为2.3.2(即将下线)或2.4.5提交作业时,需要指定Module模块,名称为:sys
sql("drop table css_table"); 提交Spark作业 将写好的代码文件生成jar包,上传至OBS桶中。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 如果选择Spark版本为2.3.2(即将下线)或2.4.5提交作业时,需要指定Module模块,名称为:sys
索 DLI”。 创建demo数据库,在DLI控制台总览页面,选择“作业管理 > SQL作业”,单击“创建作业”,进入SQL作业编辑器。 在SQL作业编辑器左侧,选择“数据库”页签,单击创建demo数据库,请参见图1。 图1 创建数据库 “default”为内置数据库,不能创建名为“default”的数据库。
dli_to_rd").show(); 插入数据后: 提交Spark作业 将写好的代码生成jar包,上传至OBS桶中。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 创建Spark作业完成后,在控制台单击右上角“执行”提交作业,页面显示“批处理作业提交
的数据。主要是描述数据自身信息,包含源、大小、格式或其它数据特征。数据库字段中,元数据用于诠释数据仓库的内容。 SQL作业 在SQL作业编辑器执行的SQL语句、导入数据和导出数据等操作,在系统中对应的执行实体,称之为SQL作业。 SQL作业适用于使用标准SQL语句进行查询的场景。通常用于结构化数据的查询和分析。
系统上的根路径。 可选项EXTENDED可以用来显示SCHEMA的数据库属性。 示例 CREATE SCHEMA web; DESCRIBE SCHEMA web; Describe Schema
删除schema web: DROP SCHEMA web; 如果schema sales存在,删除该schema: DROP SCHEMA IF EXISTS sales; 级联删除schema test_drop,schema test_drop中存在表tb_web,会先删除tb_web,再删除test_drop:
database=tpch set dli.sql.shuffle.partitions=10 在DLI的SQL编辑器的执行效果:Set参数会修改为注释提交到DLI侧执行。 图4 在DLI的SQL编辑器查看配置的参数 父主题: 使用BI工具连接DLI分析数据
options(map).load().show(); 操作结果 提交Spark作业 将写好的java代码文件上传至OBS桶中。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 如果选择spark版本为2.3.2(即将下线)或2.4.5提交作业时,需要指定Module模块,名称为:sys
步骤6:提交SQL作业 本节示例以SQL作业为例说明如何跨源访问RDS表。 在DLI管理控制台的左侧导航栏中,单击“SQL编辑器”,进入SQL作业编辑器页面。 在“SQL编辑器”页面右侧的编辑窗口中,输入如下SQL语句创建数据库db1,单击“执行”。 create database db1;
Succeeded即迁移成功。 在DLI查看数据迁移结果 确认CDM迁移作业运行完成后,登录到DLI管理控制台。 单击“SQL编辑器”。 在SQL编辑器中“执行引擎”选择“spark”,“队列”选择已创建的SQL队列,数据库选择已创建的数据库,执行DLI表查询语句,查询MySQL数据是否已成功迁移到DLI的表中。
shuffle.partitions=10 图6 Tableau参数配置示例 在DLI的SQL编辑器的执行效果:Set参数会修改为注释提交到DLI侧执行。 图7 在DLI的SQL编辑器查看配置的参数 父主题: 使用BI工具连接DLI分析数据
您可以详细了解DLI管理控制台的功能,常用SQL语法。除此之外,还可以实时查看监控指标及审计日志,以便及时了解DLI的健康状态。 管理控制台 DLI作业开发流程 SQL作业编辑器 作业管理 数据管理 作业模板 跨源连接 常用语法 Spark SQL语法参考 Flink OpenSource SQL语法参考 运维与监控
sql.shuffle.partitions=10 图6 FineBI参数配置示例 在DLI的SQL编辑器的执行效果:Set参数会修改为注释提交到DLI侧执行。 图7 在DLI的SQL编辑器查看配置的参数 父主题: 使用BI工具连接DLI分析数据
分组设置和组名称根据情况选择设置,方便后续识别和管理程序包。 单击“确定”,完成创建程序包。 创建UDF函数。 登录DLI管理控制台,单击“SQL编辑器”,执行引擎选择“spark”,选择已创建的SQL队列和数据库。 图11 选择队列和数据库 在SQL编辑区域输入下列命令创建UDF函数,单击“执行”提交创建。
collect().foreach(println) 提交Spark作业 将写好的python代码文件上传至OBS桶中。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 如果选择spark版本为2.3.2(即将下线)或2.4.5提交作业时,需要指定Module模块,名称为:sys
load() jdbdDF.show() 操作结果 提交Spark作业 将写好的python代码文件上传至OBS桶中。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 如果选择spark版本为2.3.2(即将下线)或2.4.5提交作业时,需要指定Module模块,名称为:sys
.load().show(); 操作结果 提交Spark作业 将写好的java代码文件上传至OBS桶中。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 如果选择spark版本为2.3.2(即将下线)或2.4.5提交作业时,需要指定Module模块,名称为:sys
您即将访问非华为云网站,请注意账号财产安全