检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数说明 表1 参数说明 参数 描述 db_name 数据库名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。 示例 已参考示例中描述创建对应的数据库,如testdb。 若存在testdb数据库,则删除数据库testdb。 1 DROP DATABASE IF
[db_name.]table_name; 关键字 OBS表:仅删除其元数据信息,不删除存放在OBS上的数据。 DLI表:删除其数据及相应的元数据信息。 参数说明 表1 参数说明 参数 描述 db_name 数据库名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。
从Kafka读取数据写入到DWS 本指导仅适用于Flink 1.12版本。 场景描述 该场景为对汽车驾驶的实时数据信息进行分析,将满足特定条件的数据结果进行汇总。汽车驾驶的实时数据信息为数据源发送到Kafka中,再将Kafka数据的分析结果输出到DWS中。 例如,输入如下样例数据: {"car_id":"3027"
tblproperties('hoodie.index.type'='xx'); 除Spark以外,其他引擎也可以修改Hudi表元数据,但是这种修改会导致整个Hudi表出现数据重复,甚至数据损坏;因此禁止修改上述属性。 父主题: Spark on Hudi开发规范
图解数据湖探索
在DLI控制台修改数据库所有者 在实际使用过程中,开发人员创建了数据库和表,交给测试人员进行测试,测试人员测试完成后,再交给运维人员进行体验,在这种情况下,可以通过修改数据库的所有者,将数据转移给其他所有者。 修改数据库所有者 修改数据库所有者的入口有两个,分别在“数据管理”和“SQL编辑器”页面。
业运行状态变为“运行中”。 步骤6:发送数据和查询结果 使用Kafka客户端向步骤2:创建Kafka的Topic中的Topic发送数据,模拟实时数据流。 Kafka生产和发送数据的方法请参考:DMS - 连接实例生产消费信息。 发送样例数据如下: {"user_id":"0001"
步骤2:创建弹性资源池并添加队列 创建提交作业所需的计算资源。 步骤3:创建数据库 DLI元数据是SQL作业开发的基础。在执行作业前您需要根据业务场景定义数据库和表。 步骤4:创建表 数据库创建完成后,需要在数据库db1中基于OBS上的样本数据创建表。 步骤5:查询数据 使用标准SQL语句进行数据的查询和分析。
JOIN,在使用UDTF时需要带上 LATERAL 和TABLE 两个关键字。 CROSS JOIN:对于左表的每一行数据,假设UDTF不产生输出,则这一行不进行输出。 LEFT JOIN:对于左表的每一行数据,假设UDTF不产生输出,这一行仍会输出,UDTF相关字段用null填充。 1 2 3 4 5
插入数据至Oracle表 功能描述 INSERT INTO命令将数据插入到已关联的指定Oracle表中。 语法格式 将SELECT查询结果插入到表中: 1 2 3 4 5 6 7 INSERT INTO DLI_TABLE SELECT field1,field2... [FROM
您可以通过云数据迁移服务CDM等迁移工具迁移数据至DLI,再使用DLI提交作业分析数据。 CDM支持数据库、数据仓库、文件等多种类型的数据源,通过可视化界面对数据源迁移任务进行配置,提高数据迁移和集成的效率。 具体操作请参考迁移外部数据源数据至DLI。 图1 迁移数据至DLI 配置DLI读写外部数据源
插入数据至DWS表 功能描述 INSERT INTO命令将DLI表中的数据插入到已关联的指定DWS表中。 语法格式 将SELECT查询结果插入到表中: 1 2 3 4 5 6 7 INSERT INTO DLI_TABLE SELECT field1,field2... [FROM
参考《数据湖探索开发指南》。 数据治理中心DataArts Studio 数据治理中心DataArts Studio具有数据全生命周期管理、智能数据管理能力的一站式治理运营平台,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业快速构建从数据接入到数
是 String 新增数据库名称。 数据库名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。 数据库名称大小写不敏感且不能为空。 输入长度不能超过128个字符。 说明: “default”为内置数据库,不能创建名为“default”的数据库。 description
插入数据至HBase表 功能描述 INSERT INTO命令将DLI表中的数据插入到已关联的hbase表中。 语法格式 将SELECT查询结果插入到表中: 1 2 3 4 5 6 7 INSERT INTO DLI_TABLE SELECT field1,field2...
错。 类型不一致时不一定报错,例如插入int类型数据,但CSS中Schema保存的是文本类型,int类型会被转换成文本类型。 不建议对同一张表并发插入数据,因为有一定概率发生并发冲突,导致插入失败。 示例 查询表“user”中的数据插入表“test”中。 1 2 3 4 5 6 INSERT
为便于理解函数的使用方法,本文为您提供源数据,基于源数据提供函数相关示例。创建表logs,并添加数据,命令示例如下: create table logs( cookieid string, createtime string, url string ) STORED AS parquet; 添加数据如下:
上述示例是通过创建表和插入表数据构造迁移示例数据。如果是迁移已有的Hive数据库和表数据,则可以通过以下命令获取Hive的数据库和表信息。 在Hive客户端执行如下命令获取数据库信息 show databases 切换到需要迁移的Hive数据库 use Hive数据库名 显示当前数据库下所有的表信息
功能描述 给列起别名。 语法格式 1 SELECT attr_expr [AS] alias, attr_expr [AS] alias, ... FROM table_reference; 关键字 alias:用于对attr_expr中的字段名称起别名。 AS:是否添加此关键字不会影响结果。
插入数据至RDS表 功能描述 INSERT INTO命令将DLI表中的数据插入到已关联的指定RDS表中。 语法格式 将SELECT查询结果插入到表中: 1 2 3 4 5 6 7 INSERT INTO DLI_TABLE SELECT field1,field2... [FROM