示例 LOG ICAL： CREATE TABLE testTable (regionkey int, name varchar); EXPLAIN SELECT regionkey, count(*) FROM testTable GROUP BY 1; Query Plan ------------------------------------------------------------------------------------------------------------------------------------- Output[regionkey, _col1] │ Layout: [regionkey:integer, count:bigint] │ Estimates: {rows: ? (?), cpu: ?, memory: ?, network: ?} │ _col1 := count └─ RemoteExchange[GATHER] │ Layout: [regionkey:integer, count:bigint] │ Estimates: {rows: ? (?), cpu: ?, memory: ?, network: ?} └─ Project[] │ Layout: [regionkey:integer, count:bigint] │ Estimates: {rows: ? (?), cpu: ?, memory: ?, network: ?} └─ Aggregate(FINAL)[regionkey][$hashvalue] │ Layout: [regionkey:integer, $hashvalue:bigint, count:bigint] │ Estimates: {rows: ? (?), cpu: ?, memory: ?, network: ?} │ count := count("count_8") └─ LocalExchange[HASH][$hashvalue] ("regionkey") │ Layout: [regionkey:integer, count_8:bigint, $hashvalue:bigint] │ Estimates: {rows: ? (?), cpu: ?, memory: ?, network: ?} └─ RemoteExchange[REPARTITION][$hashvalue_9] │ Layout: [regionkey:integer, count_8:bigint, $hashvalue_9:bigint] │ Estimates: {rows: ? (?), cpu: ?, memory: ?, network: ?} └─ Aggregate(PARTIAL)[regionkey][$hashvalue_10] │ Layout: [regionkey:integer, $hashvalue_10:bigint, count_8:bigint] │ count_8 := count(*) └─ ScanProject[table = hive:default:testtable] Layout: [regionkey:integer, $hashvalue_10:bigint] Estimates: {rows: 0 (0B), cpu: 0, memory: 0B, network: 0B}/{rows: 0 (0B), cpu: 0, memory: 0B, network: 0B} $hashvalue_10 := "combine_hash"(bigint '0', COALESCE("$operator$hash_code"("regionkey"), 0)) regionkey := regionkey:int:0:REGULAR DISTRIBUTED： EXPLAIN (type DISTRIBUTED) SELECT regionkey, count(*) FROM testTable GROUP BY 1; Query Plan ----------------------------------------------------------------------------------------------------------------------- Fragment 0 [SINGLE] Output layout: [regionkey, count] Output partitioning: SINGLE [] Stage Execution Strategy: UNGROUPED_EXECUTION Output[regionkey, _col1] │ Layout: [regionkey:integer, count:bigint] │ Estimates: {rows: ? (?), cpu: ?, memory: ?, network: ?} │ _col1 := count └─ RemoteSource[1] Layout: [regionkey:integer, count:bigint] Fragment 1 [HASH] Output layout: [regionkey, count] Output partitioning: SINGLE [] Stage Execution Strategy: UNGROUPED_EXECUTION Project[] │ Layout: [regionkey:integer, count:bigint] │ Estimates: {rows: ? (?), cpu: ?, memory: ?, network: ?} └─ Aggregate(FINAL)[regionkey][$hashvalue] │ Layout: [regionkey:integer, $hashvalue:bigint, count:bigint] │ Estimates: {rows: ? (?), cpu: ?, memory: ?, network: ?} │ count := count("count_8") └─ LocalExchange[HASH][$hashvalue] ("regionkey") │ Layout: [regionkey:integer, count_8:bigint, $hashvalue:bigint] │ Estimates: {rows: ? (?), cpu: ?, memory: ?, network: ?} └─ RemoteSource[2] Layout: [regionkey:integer, count_8:bigint, $hashvalue_9:bigint] Fragment 2 [SOURCE] Output layout: [regionkey, count_8, $hashvalue_10] Output partitioning: HASH [regionkey][$hashvalue_10] Stage Execution Strategy: UNGROUPED_EXECUTION Aggregate(PARTIAL)[regionkey][$hashvalue_10] │ Layout: [regionkey:integer, $hashvalue_10:bigint, count_8:bigint] │ count_8 := count(*) └─ ScanProject[table = hive:default:testtable, grouped = false] Layout: [regionkey:integer, $hashvalue_10:bigint] Estimates: {rows: 0 (0B), cpu: 0, memory: 0B, network: 0B}/{rows: 0 (0B), cpu: 0, memory: 0B, network: 0B} $hashvalue_10 := "combine_hash"(bigint '0', COALESCE("$operator$hash_code"("regionkey"), 0)) regionkey := regionkey:int:0:REGULAR VALIDATE： EXPLAIN (TYPE VALIDATE) SELECT id, count(*) FROM testTable GROUP BY 1; Valid ------- true IO： EXPLAIN (TYPE IO, FORMAT JSON) SELECT regionkey , count(*) FROM testTable GROUP BY 1; Query Plan --------------------------------- { "inputTableColumnInfos" : [ { "table" : { "catalog" : "hive", "schemaTable" : { "schema" : "default", "table" : "testtable" } }, "columnConstraints" : [ ] } ] }

描述 显示一条语句的逻辑的或者分布式的执行计划，也可以用于校验一条SQL语句，或者是分析IO。 参数TYPE DISTRIBUTED用于显示分片后的计划（fragmented plan）。每一个fragment都会被一个或者多个节点执行。Fragments separation表示数据在两个节点之间进行交换。Fragment type表示一个fragment如何被执行以及数据在不同fragment之间怎样分布。 SINGLE Fragment会在单个节点上执行。 HASH Fragment会在固定数量的节点上执行，输入数据通过哈希函数进行分布。 ROUND_ROBIN Fragment会在固定数量的节点上执行，片段在固定数量的节点上执行，输入数据以轮循方式进行分布。 BROADCAST Fragment会在固定数量的节点上执行，输入数据被广播到所有的节点。 SOURCE Fragment在访问输入分段的节点上执行。

示例 收集表fruit的统计信息： ANALYZE fruit; 统计catalog hive、schema default下的表存储： ANALYZE hive.default.orders; 从hive分区表中统计分区'2020-07-17' , '2020-07-18'信息： ANALYZE hive.web.page_views WITH (partitions = ARRAY[ARRAY['2020-07-17','US'], ARRAY['2020-07-18','US']]);

示例 CREATE SCHEMA web; DESCRIBE SCHEMA web; Describe Schema ------------------------------------------------------------------------- web hdfs://hacluster/user/hive/warehouse/web.db admintest USER (1 row)

示例 --PREPARE my_select1 FROM SELECT * FROM fruit; DESCRIBE OUTPUT my_select1; --PREPARE my_select2 FROM SELECT count(*) as my_count, 1+2 FROM fruit; DESCRIBE OUTPUT my_select2; --PREPARE my_create FROM CREATE TABLE foo AS SELECT * FROM fruit; DESCRIBE OUTPUT my_create;

运行示例 以Windows操作系统为例，运行obsutil clear -u，删除默认文件夹下分段上传任务的断点记录文件。 obsutil clear -u Clear checkpoint files for uploading in folder [xxxxx] [==================================================================] 100.00% 0s Succeed files is: 1 Failed files are: 0

命令结构 Windows操作系统 obsutil clear [checkpoint_dir] [-u] [-d] [-c] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] macOS/Linux操作系统 ./obsutil clear [checkpoint_dir] [-u] [-d] [-c] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]

参数说明 参数 约束 描述 checkpoint_dir 可选 断点记录文件的文件夹，默认为obsutil命令同级子文件夹.obsutil_checkpoint。 u 附加参数，可选 删除所有分段上传任务的断点记录文件。 说明： 同时会尝试删除每个断点记录文件中记录的分段上传任务。 d 附加参数，可选 删除所有分段下载任务的断点记录文件。 说明： 同时会尝试删除每个断点记录文件中记录的临时文件。 c 附加参数，可选 删除所有分段复制任务的断点记录文件。 说明： 同时会尝试删除每个断点记录文件中记录的分段复制任务。 config 附加参数，可选 运行当前命令时的自定义配置文件，可支持的配置参数请参考配置参数说明。 e 附加参数，可选 指定终端节点。 i 附加参数，可选 指定用户的AK。 k 附加参数，可选 指定用户的SK。 t 附加参数，可选 指定用户的securitytoken。 u，d，c三个参数必须至少指定一个。

示例 describe formatted show_table1 a; Describe Formatted Column ------------------------------ col_name a data_type integer min max num_nulls distinct_count 0 avg_col_len max_col_len num_trues num_falses comment (1 row)

示例 describe formatted show_table1 a; Describe Formatted Column ------------------------------ col_name a data_type integer min max num_nulls distinct_count 0 avg_col_len max_col_len num_trues num_falses comment (1 row)

命令结构 Windows操作系统 交互模式更新配置 obsutil config [-interactive] [-crr] [-config=xxx] 直接更新配置 obsutil config [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] [-crr] [-config=xxx] macOS/Linux操作系统 交互模式更新配置 ./obsutil config [-interactive] [-crr] [-config=xxx] 直接更新配置 ./obsutil config [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] [-crr] [-config=xxx]

运行示例 以Windows操作系统为例，运行obsutil config -interactive，更新默认配置文件的访问密钥和OBS服务地址。 obsutil config -interactivePlease input your ak:xxxxxxxxxxxxxxxxxxxxxxxxxPlease input your sk:xxxxxxxxxxxxxxxxxxxxxxxxxPlease input your endpoint:xxxxxxxxxxxxxxxxxxxxxxxxxPlease input your token:xxxxxxxxxxxxxxxxxxxxxxxxxConfig file url: C:\Users\tools\.obsutilconfigUpdate config file successfully!

参数说明 参数 约束 描述 interactive 附加参数，可选 使用交互模式更新配置。 须知： 为了安全性，建议您使用该模式来配置ak和sk。 e 附加参数，可选 将配置文件中的endpoint|endpointCrr取值更新为输入的值，endpoint|endpointCrr的详细描述请参见配置参数说明。 i 附加参数，可选 将配置文件中的ak|akCrr取值更新为输入的值，ak|akCrr的详细描述请参见配置参数说明。 k 附加参数，可选 将配置文件中的sk|skCrr取值更新为输入的值，sk|skCrr的详细描述请参见配置参数说明。 t 附加参数，可选 将配置文件中的token|tokenCrr取值更新为输入的值，token|tokenCrr的详细描述请参见配置参数说明。 crr 附加参数，可选 更新配置文件中客户端跨区域复制模式的相关配置信息。 说明： 不配置该参数，e、i、k、t更新的配置文件中的字段为endpoint、ak、sk、token。 配置该参数后，e、i、k、t更新的配置文件中的字段变为endpointCrr、akCrr、skCrr、tokenCrr。 config 附加参数，可选 运行当前命令时的自定义配置文件，可支持的配置参数请参考配置参数说明。 通过携带此参数并指定路径，可更新自定义配置文件的参数；不携带此参数则表示更新默认配置文件参数。