检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
UNSET TBLPROPERTIES [IF EXISTS] ('comment', 'key') 系统响应 通过运行DESCRIBE命令查看表属性修改。 父主题: Schema演进语法说明
action生成新版本的列式文件。Merge-On-Read表可减少数据摄入延迟,因而进行不阻塞摄入的异步Compaction很有意义。 如何执行Compaction 仅执行Schedule Spark SQL(设置如下参数,写数据时触发) hoodie.compact.inline=true
GROUP BY 子句必须包含 window_start 和 window_end 列,但 ROLLUP 子句中不能包含这两个字段。 例如:下面这个查询和上个例子中的效果是一样的。 SELECT window_start, window_end, supplier_id, SUM(price)
从键值对列表构建JSON对象字符串。 请注意,键必须是非NULL字符串文字,而值可以是任意表达式。 函数返回一个JSON字符串。ON NULL行为定义了如何处理NULL值。如果省略,则默认为NULL ON NULL。 从另一个JSON构造函数调用(JSON_OBJECT,JSON_ARRAY)
提交失败,只会在submit-client下生成提交日志。 运行失败且在1分钟内的日志,可以直接在管理控制台页面查看,具体如下: 在“作业管理”>“Flink作业”页面,单击对应的作业名称,进入作业详情页面,单击“运行日志”可以查看实时日志。 运行失败且超过1分钟(日志转储周期1分钟),会在application_xx下生成运行日志。
jar 作业 一直处于“提交中”? Spark jar 作业 一直处于“提交中”可能是队列剩余的CU量不足导致作业无法提交。 查看队列的的剩余步骤如下: 查看队列CU使用量。 点击“云监控服务 > 云服务监控 > 数据探索湖 > 队列监控 > 队列CU使用量” 。 计算剩余CU量。
插入数据 1 sparkSession.sql("insert into dli_to_dws values(2,'John',24)") 查询数据 1 jdbcDF = sparkSession.sql("select * from dli_to_dws").show() 操作结果
(sub-query) BOOLEAN 若子查询至少返回一条数据,则返回TRUE。 value IN (sub-query) BOOLEAN 若值等于子查询返回的某个值,则返回TRUE。 value NOT IN (sub-query) BOOLEAN 若值不等于子查询返回的每个值,则返回TRUE。
(sub-query) BOOLEAN 若子查询至少返回一条数据,则返回TRUE。 value IN (sub-query) BOOLEAN 若值等于子查询返回的某个值,则返回TRUE。 value NOT IN (sub-query) BOOLEAN 若值不等于子查询返回的每个值,则返回TRUE。
在队列监控页面,分别查看以下指标查看当前队列的作业运行情况。 “提交中作业数”:展示当前队列中状态为“提交中”的作业数量。 “运行中作业数”:展示当前队列中状态为“运行中”的作业数量。 “已完成作业数”:展示当前队列中状态为“已成功”的作业数量。 图1 查看队列监控指标 父主题:
field为preCombineField的值。 使用由DLI提供的元数据服务时,本命令不支持使用OBS路径。 系统响应 可以检查任务状态是否成功,查看任务结果,查看任务日志确认有无异常。 父主题: Hudi DML语法说明
创建CSS跨源表的参数详情可参考表1。 插入数据 1 sparkSession.sql("insert into css_table values(3,'tom')") 查询数据 1 2 jdbcDF = sparkSession.sql("select * from css_table") jdbcDF.show()
partition_clause 否 指定分区。分区列的值相同的行被视为在同一个窗口内。 orderby_clause 否 指定数据在一个窗口内如何排序。 frame_clause 否 用于确定数据边界。 返回值说明 参数的数据类型。 示例代码 示例数据 为便于理解函数的使用方法,本文
find_in_set函数用于查找字符串str1在以逗号(,)分隔的字符串str2中的位置,从1开始计数。 命令格式 find_in_set(string <str1>, string <str2>) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 str1 是 STRING 待查找的字符串。
合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书 另外,华为云还提供了以下销售许可证及软件著作权证书,供用户下载和参考。具体请查看合规资质证书。 图3 销售许可证&软件著作权证书 父主题: 安全
partition_clause 否 指定分区。分区列的值相同的行被视为在同一个窗口内。 orderby_clause 否 指定数据在一个窗口内如何排序。 frame_clause 否 用于确定数据边界。 返回值说明 参数的数据类型。 示例代码 为便于理解函数的使用方法,本文为您提供源
"dli:*:*:database:*" ] } ] } 授权用户拥有在所在区域中数据库db中表tb中列col的查询权限。 { "Version": "1.1", "Statement": [ { "Effect":
dis_tab(col int); --插入数据 insert into dis_tab values (2),(3),(5),(null); --查询 select col from dis_tab where col is distinct from null; col ---- 2
示例 修改表users的注释为“master table”,表的注释语句可以通过show create table tablename语句查看: COMMENT ON TABLE users IS 'master table'; 父主题: DDL 语法
DESCRIBE [EXTENDED| FORMATTED] table_name PARTITION (partition_spec) 描述 查看指定表的元数据信息。该语法目前只能显示列的元数据信息,等效于语法SHOW COLUMNS。 添加EXTENDED关键字会将表的所有元数据信