检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置HDFS Mover命令迁移数据 配置场景 Mover是一个新的数据迁移工具,工作方式与HDFS的Balancer接口工作方式类似。Mover能够基于设置的数据存储策略,将集群中的数据重新分布。 通过运行Mover,周期性地检测HDFS文件系统中用户指定的HDFS文件或目录,判
Client执行命令的目录需要可以直接访问该相对路径。 security.ssl.internal.keystore: ssl/flink.keystore security.ssl.internal.truststore: ssl/flink.truststore 在Flink的CLI yarn-session
如何在Spark命令中指定参数值 问题 如果用户不希望在界面上或配置文件设置参数值,如何在Spark命令中指定参数值? 回答 Spark的配置项,不仅可以在配置文件中设置,也可以在命令中指定参数值。 在Spark客户端,应用执行命令添加如下内容设置参数值,命令执行完成后立即生效。
property_name = expression [, ...] ) ] 描述 收集给定表的表和列统计信息。 可选WITH子句可用于指定connector的属性。使用下面命令可列出所有可用的属性:SELECT * FROM system.metadata.analyze_properties。当前只有hive
指定日志路径。 -v 指定日志中的额外信息。 -m <num_maps> 最大的同时运行的执行拷贝的任务数。 -numListstatusThreads 构建被拷贝文件的文件列表时所用的线程数,该选项会提高distcp的运行速度。 -overwrite 覆盖目标位置的文件。 -update
Metastore缓存,用以同步Hive数据源的表、分区、数据库等的Metadata。 语法 REFRESH CATALOG catalog_name 示例 登录FusionInsight Manager,选择“服务 > HetuEngine > 概览”,单击“HSConsole WebUI”后的HSConso
50端口被占用的解决办法与该办法类似。 以root用户登录DBService安装报错的节点主机,执行命令:netstat -nap | grep 20051查看占用20051端口的进程。 使用kill命令强制终止使用20051端口的进程。 约2分钟后,再次执行命令:netstat
为什么在Spark Shell中不能执行更新命令? 问题 为什么在Spark Shell中不能执行更新命令? 回答 本文档中给出的语法和示例是关于Beeline的命令,而不是Spark Shell中的命令。 若要在Spark Shell中使用更新命令,可以使用以下语法。 语法1 <carbon_context>
为什么在Spark Shell中不能执行更新命令? 问题 为什么在Spark Shell中不能执行更新命令? 回答 本文档中给出的语法和示例是关于Beeline的命令,而不是Spark Shell中的命令。 如果要在Spark Shell中使用更新命令,可以使用以下语法。 语法1 <carbon_context>
FE通过MySQL协议查询连接端口。 rpc_port 9020 29981 FE服务的Thrift Server端口。 be_port 9060 29984 BE上Thrift Server的端口号,用于接收来自FE的请求。 brpc_port 8060 29987 BE上的BRPC的端口,用于各BE实例之间进行通讯连接。
如何通过curl命令访问Manager REST API 说明 用户可通过openssl version查看系统的openssl版本,如果版本低于OpenSSL 1.0.1,需要为操作系统安装较高版本的openssl,以支持使用TLSv1.1和TLSv1.2与集群交互。 操作样例及步骤
指定当前会话所使用的catalog和schema。如果cataglog未指定,则默认使用当前的catalog。 示例 指定当前的会话到hive catalog下名为test的schema: USER hive.test 注意事项 无。 父主题: HetuEngine辅助命令语法
parameter1 [ , parameter2, ... ] ] 描述 执行预编译的SQL语句(prepared statement),并可以使用USING来指定输入参数。 示例 执行一个不带输入参数的预编译语句 PREPARE my_select1 FROM SELECT name
解决方法是客户端连接到Leader实例进行删除操作。 具体过程是首先根据如何查看哪个ZooKeeper实例是Leader查看Leader所在节点IP,使用连接客户端命令zkCli.sh -server Leader节点IP:2181成功后进行deleteall命令删除操作。具体操作请参见使用ZooKeeper客户端。
用于设置当前会话的指定属性。 示例 SET SESSION optimize_hash_generation = true; SET SESSION hive.optimized_reader_enabled = true; 父主题: HetuEngine辅助命令语法
解决方法是客户端连接到Leader实例进行删除操作。 具体过程是首先根据如何查看哪个ZooKeeper实例是Leader查看Leader所在节点IP,使用连接客户端命令zkCli.sh -server Leader节点IP:2181成功后进行deleteall命令删除操作。具体操作请参见使用ZooKeeper客户端。
statement_name 描述 从会话中的预处理语句列表中移除语句名为statement_name的语句。 示例 删除预处理语句name my_query: DEALLOCATE PREPARE my_select1; 父主题: HetuEngine辅助命令语法
解决办法 排查启动的MapReduce任务是否对应的HDFS文件个数很多,如果很多,减少文件数量,提前先合并小文件或者尝试使用combineInputFormat来减少任务读取的文件数量。 增大hadoop命令执行时的内存,该内存在客户端中设置,修改“客户端安装目录/HDFS/c
DISTRIBUTED | VALIDATE | IO} 描述 显示一条语句的逻辑的或者分布式的执行计划,也可以用于校验一条SQL语句,或者是分析IO。 参数TYPE DISTRIBUTED用于显示分片后的计划(fragmented plan)。每一个fragment都会被一个或者多个节点执行。Fragments
table_name 描述 用于刷新TABLE元数据缓存。 示例 refresh table fruit; REFRESH 父主题: HetuEngine辅助命令语法