检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
功能名称 功能描述 阶段 相关文档 1 支持SparkUI查看作业详情 DLI支持通过SparkUI页面查看作业运行的情况。 商用 Class SparkUI 历史变更 关于数据湖探索DLI更多历史版本变更内容,请单击“查看PDF”详细了解。
)排列指只保留第一行,而降序排列( DESC )则只保留最后一行。 WHERE rownum = 1: Flink 需要 rownum = 1 以确定该查询是否为去重查询。 注意事项 无 示例 根据order_id对数据进行去重,其中proctime为事件时间属性列 SELECT order_id, user
air_backup_20230527'); 注意事项 命令只清理无效的parquet文件。 系统响应 可以检查任务状态是否成功,查看任务结果,查看任务日志确认有无异常。 父主题: Hudi CALL COMMAND语法说明
下操作查看输出结果。 方法一: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 在对应Flink作业所在行的“操作”列,选择“更多 > FlinkUI”。 在FlinkUI界面,选择“Task Managers”,单击对应的任务名称,选择“Stdout”查看作业运行日志。
property_value, ...)。 视图可以包含Limit和ORDER BY子句,如果关联视图的查询语句也包含了这类子句,则最后执行结果将根据视图的子句运算后得到。例如视图V指定了返回5条数据,而关联查询为select * from V limit 10,则最终只有5条数据返回。 限制 以上两种语法不可混用。
如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 注意事项 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的use
102) values (3010213, "student13"), (3010214, "student14"); 查看分区。 利用查看指定表所有分区中的内容,可以查看相关的分区内容。 示例代码如下: SHOW partitions student; 表2 表数据示例 facultyNo
M:分钟数 S:秒数 nnn:毫秒数 128位 示例: -- 查询日期 SELECT DATE '2020-07-08'; _col0 ------------ 2020-07-08 (1 row) -- 查询时间 SELECT TIME '23:10:15'; _col0
单击“确定”,系统开始导入数据。 有两种方式可查看导入的数据。 目前预览只显示导入的前十条数据。 在“数据管理”>“库表管理”页面,单击数据库名,在表管理界面对应表的“操作”栏选择“更多”中的“表属性”,在弹框的“预览”页签中,可查看导入的数据 在“SQL编辑器”的“数据库”页签
在续费管理页面开通自动续费 登录管理控制台。 单击“控制台”页面上方“费用与成本”,在下拉菜单中选择“续费管理”。 进入“续费管理”页面。 自定义查询条件。 可在“自动续费项”页签查询已经开通自动续费的资源。 可对“手动续费项”、“到期转按需项”、“到期不续费项”页签的资源开通自动续费。 图2 续费管理 为包年/包月资源开通自动续费。
return 表删除后,将不可恢复,请谨慎操作。 完整样例代码和依赖包说明请参考:Python SDK概述。 查询所有表 DLI提供查询表的接口。您可以使用该接口查询数据库下的所有表。示例代码如下: 1 2 3 4 5 6 7 8 9 def list_all_tbls(dli_client
from_table1(a int,b string); create table in_table1(a int,b string); --查询表名以"show"开始的表的详细信息 show table extended like 'show*';
取rid的值,查询key为city1,返回6。由于包含.,只能用['']来解析。 select get_json_object(json, "$['city1'].region['id']") from json_table where id =1; 取rid的值,查询key为city1,返回7。查询方法有如下两种。
TABLE:恢复备份数据。 PARTITION:指定分区列。 TO VERSION:指定版本号。具体的版本号可以通过SHOW HISTORY命令获取,详情请参考查看多版本备份数据。 参数说明 表1 参数说明 参数 描述 db_name 数据库名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。
对应Redis中的Key或Hash Key。 插入redis数据时必填。 查询redis数据时与“keys.pattern”参数二选一。 keys.pattern 使用正则表达式匹配多个Key或Hash Key。该参数仅用于查询时使用。查询redis数据时与“table”参数二选一。 key.column
--插入TINYINT类型数据 insert into int_type_t1 values (TINYINT'10'); --查看数据。 SELECT * FROM int_type_t1; it_col1 --------- 10 (1
tastore是否存在,如果该数据库存在则会导致Spark作业执行失败。 因此当Spark3.x的作业日志中如果出现一条访问catalog查询该数据库,并提示数据库不存在是为了确保Spark作业正常运行,无需执行其他操作。 父主题: Spark作业运维类
can files number规则。 不同的引擎版本支持的防御规则不同。 如需查看队列的引擎版本,您可以在队列资源的资源列表页面,通过查看队列基本信息中的“默认版本”获取引擎的版本信息。 图1 查看队列引擎版本 表2 DLI支持的系统防御规则 规则ID 规则名称 说明 类别 适用引擎
创建包含SELECT查询结果的新表。 使用CREATE TABLE创建空表。 使用IF NOT EXISTS子句时,如果表已经存在则不会报错。 可选WITH子句可用于设置新创建的表的属性,如表的存储位置(location)、是不是外表(external)等。 示例 用指定列的查询结果创建新
”,变更数量选择要扩容的CU数量。 图1 规格变更扩容 确定费用后,单击“提交”。 扩容任务提交后,可以选择“作业管理 > SQL作业”,查看“SCALE_POOL”类型SQL作业的状态。 如果作业状态为“规格变更中”,表示弹性资源池规格正在扩容中。等待作业状态变为“已成功”表示当前变更操作完成。