检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
hadoop-common/CommandsManual.html#User_Commands 表1 HDFS客户端常用命令 命令 说明 样例 hdfs dfs -mkdir 文件夹名称 创建文件夹 hdfs dfs -mkdir /tmp/mydir hdfs dfs -ls 文件夹名称 查看文件夹
<系统域名>"); LoginUtil.setJaasFile(USER_PRINCIPAL, userKeyTableFile); } 用户可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名
IoTDBServer所在节点的IP地址可在MRS集群管理控制台的“组件管理”界面,单击“IoTDB”,选择“实例”页签查看。
查看集群环境和客户端环境的时间是否相差在5分钟之内,若超过5分钟,请修改客户端环境时间。 父主题: Hive应用开发常见问题
查看客户端的配置文件“conf/flink-conf.yaml”。 修改配置项“high-availability.zookeeper.path.root”对应的ZooKeeper目录,例如:/flink2。 重新提交任务。 父主题: Flink应用开发常见问题
查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题: 数据导入
netcat -l -p 9000 启动程序接受Socket数据,并执行联合查询。
开发Hive应用 编译并运行程序 指导用户将开发好的程序编译提交运行并查看结果。 调测Hive应用 父主题: Hive应用开发概述
CBO会调整执行计划,来最小化端到端的查询时间,中心思路2点: 尽早过滤不相关的数据。 最小化每个算子的代价。 CBO优化过程分为2步: 收集统计信息。 根据输入的数据集估算特定算子的输出数据集。 表级别统计信息包括:记录条数;表数据文件的总大小。
参考ClickHouse客户端使用实践使用客户端登录ClickHouse服务实例节点。注意:客户端命令clickhouse client中的host参数填写4中获取的ELB私有IP地址。 在客户端界面查看通过ELB可以正常连接到ClickHouse实例节点。
public BlockLocation[] getFileBlockLocations(FileStatus file, long start, long len) 通过该接口可查找指定文件在HDFS集群上块的位置,其中“file”为文件的完整路径,“start”和“len”来标识查找文件的块的范围
zookeeper.server.principal 为ZooKeeper服务端Principal,格式为“zookeeper/hadoop.系统域名”, 其中系统域名的值可通过登录Manager界面,选择“系统 > 权限 > 域和互信”,查看“本端域”参数获取。
滚动重启ZooKeeper服务请在ClickHouse业务空闲或低峰期进行操作。 请等待两小时后查看告警是否恢复。 是,操作结束。 否,执行3。 收集故障信息 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。
操作步骤 使用omm用户登录安装了Hive服务的节点,执行以下命令进入Hive安装目录。
出现此告警时,说明当前Doris实例设置的堆内存无法满足当前数据传输所需的堆内存,建议打开实例监控界面,在页面上查看“Doris堆内存资源状况”监控图表,观察该监控图表中“Doris使用的堆内存大小”的变化趋势,根据当前堆内存使用的大小,调整“-Xmx”的值为当前堆内存使用量的两倍
拓扑提交成功后请自行登录HBase集群查看WordCount表是否有数据生成。 如果使用票据登录,则需要使用命令行定期上传票据,具体周期由票据刷新截止时间而定,步骤如下。
等待大概10分钟时间,查看当前告警是否恢复。 是,操作结束。 否,执行4。 收集故障信息。 在FusionInsight Manager首页,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“HDFS”。
/*:conf/clickhouse-example.properties com.huawei.clickhouse.examples.Demo 查看调测结果 ClickHouse应用程序运行完成后,可通过以下方式查看程序运行情况: 通过运行结果查看程序运行情况。
在IDEA菜单栏中选择“Run > Debug 'Unnamed'”开启调试窗口,接着开始SparkPi的调试,比如单步调试、查看调用栈、跟踪变量值等,如图5所示。 图5 调试 父主题: Spark应用开发常见问题
待连接的IoTDBServer所在节点的业务IP地址,可通过登录FusionInsight Manage界面,选择“集群 > 服务 > IoTDB > 实例”查看。