检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Database中的表名,由字母、数字和下划线(_)组成。 obs_path Obs路径,表示Delta表的存储位置。 timestamp_expression 时间戳,不能晚于当前时间,格式'yyyy-MM-ddTHH:mm:ss.SSS' version_code 1.3.1中查询结果中的版本号
uri uri的格式为:mongodb://username:pwd@host:8635/db 其中以下参数需要修改为实际值: “username”为创建的mongo(DDS)数据库用户名。 “pwd”为创建的mongo(DDS)数据库用户名对应的密码。 “host”为创建的mongo(DDS)数据库实例IP。
Capture)技术的缩写,它可以将源数据库的增量变动记录,同步到一个或多个数据目的中。CDC在数据同步过程中,还可以对数据进行一定的处理,例如分组(GROUP BY)、多表的关联(JOIN)等。 本示例通过创建PostgreSQL CDC源表来监控Postgres的数据变化,并将变化的数据信息插入到DWS数据库中。
SHOW_USERS 显示所有角色和用户的绑定关系 √ × √ √ GRANT_PRIVILEGE 数据库的赋权 √ × √ √ REVOKE_PRIVILEGE 数据库权限的回收 √ × √ √ SHOW_PRIVILEGES 查看其他用户具备的数据库权限 √ × √ √ DISPLAY_ALL_TABLES
[catalog_name.][db_name.]table_name [PARTITION (partitionSpecs)]; 描述 这个表达式用于列出指定的的所有分区。 示例 SHOW PARTITIONS test PARTITION(hr = '12', ds = 12);
查看多版本备份数据 功能描述 在DLI数据多版本功能开启后,您可以通过SHOW HISTORY命令查看表的备份数据。开启和关闭多版本语法请参考开启或关闭数据多版本。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表。
检查DLI队列对应网段是否开放,若没有,则在vpc中添加出方向网段。 在DLI服务找到跨源连接绑定队列对应的网段 图6 查找跨源连接绑定队列对应的网段 在虚拟私有云安全组中查看DLI队列对应的网段是否已配置。 图7 查看vpc中对应安全组中DLI队列对应网段 如果没有配置,则进行添加。 图8 在VPC中添加对应网段
登录RDS控制台,单击RDS数据库实例,单击创建的数据库名,如“testrdsdb”,在创建的表“clicktop”所在行的“操作”列,单击“SQL查询”,输入以下查询语句。 select * from `clicktop`; 在“SQL查询”界面,单击“执行SQL”,查看RDS表数据已写入成功。 图2
该SDK接口不支持sql_pattern,即通过指定sql片段作为作业过滤条件进行查询。 如果需要则可以通过查询所有作业API接口指定该参数进行查询。 查询SQL类型作业 您可以使用该接口查询当前工程下的所有SQL类型作业的信息并获取查询结果。示例代码如下: def list_sql_jobs(dli_client):
读取kafka中的数据,以avro格式反序列化,并输出到print中。 根据kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列 > 找到作业的所属队列 > 更多
添加数据时会修改大小至0。 如需查看表大小可以通过OBS查看。 CTAS建表语句不能指定表的属性。 OBS目录下包含子目录的场景: 创建表时,若指定路径为OBS上的目录,且该目录下包含子目录(或嵌套子目录),则子目录下的所有文件类型及其内容也是表内容。 您需要保证所指定的目录及其子目录下所有
”,通过以下操作查看创建的数据库和表。 可以在DLI控制台,左侧导航栏,单击“SQL编辑器”。在“数据库”中已显示创建的数据库“test_sparkapp”。 图14 查看创建的数据库 双击数据库名,可以在数据库下查看已创建成功的DLI和OBS表。 图15 查看表 双击DLI表名
本文介绍了数据湖探索DLI各特性版本的功能发布和对应的文档动态,新特性将在各个区域(Region)陆续发布,欢迎体验。 2020年8月 序号 功能名称 功能描述 阶段 相关文档 1 集成TPC-H测试套件 用户可以通过DLI内置的TPC-H测试套件进行简单高效的交互式查询,无需用户上传数据,即可以体验DLI的核心功能。
时,指定字符串文字以替换空键。 支持的Connector Kafka 示例 使用kafka发送数据,输出到print中。 根据kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用
弹性资源池模式:计算资源的池化管理模式,提供计算资源的动态扩缩容能力,同一弹性资源池中的队列共享计算资源。通过合理设置队列的计算资源分配策略,可以提高计算资源利用率,应对业务高峰期的资源需求。 适用场景:适合业务量有明显波动的场合,如周期性的数据批处理任务或实时数据处理需求。 支持的队列类型:
可以通过如下操作查看。 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。 进入对应日期的文件夹后,找到名字中包含“taskmanager”的文件夹进入,下载获取taskmanager
可以通过如下操作查看。 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。 进入对应日期的文件夹后,找到名字中包含“taskmanager”的文件夹进入,下载获取taskmanager
SQL使用DEW管理访问凭据 创建的HBase结果表的列簇必须定义为ROW类型,字段名对应列簇名(column family),嵌套的字段名对应列限定符名(column qualifier)。用户只需在表结构中声明查询中使用的的列簇和列限定符。除了ROW类型的列,剩下的原子数据类型字段(比如,STRING
REPLACE关键字来避免报错。 视图中包含的表或视图信息不可被更改,如有更改可能会造成查询失败。 如果创建表和创建视图使用的计算引擎不一致,可能会因为varchar类型不兼容,导致视图查询失败。 例如:使用Spark 3.x版本创建的表,建议您使用Spark 2.x创建相应的视图。 示例 先通过对s
LIKE pattern [ESCAPE escapeChar] ] 描述 这个表达式用于列出指定schema下的所有表。如果没有指定schema,则默认使用当前所在的schema。 可选参数like被用于基于关键字来进行匹配。 示例 --创建测试表 Create table show_table1(a