检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
命令功能 查看指定hudi表的hoodie.properties文件中的配置。 命令格式 call show_hoodie_properties(table => '[table_name]'); 参数描述 表1 参数描述 参数 描述 table_name 需要查询的表名,支持database
> Impala”。 单击“查询管理”,列表默认显示所有正在进行的查询。 单击“已经结束的查询”可以查看已经完成查询的相关信息。 用户可以根据实际情况按照慢查询运行时长、查询id、用户、所属数据库进行查询。 用户可以通过“停止”操作手动停止正在进行查询的任务。 父主题: 使用Impala
以root用户登录记录的管理IP地址,并执行df -lh命令,查看磁盘占用率为100%的挂载目录,例如“${BIGDATA_DATA_HOME}/kafka/data1”。 进入该目录,执行du -sh *命令,查看该目录下各文件夹的大小。查看是否存在除“kafka-logs”目录外的其他文件,并判断是否可以删除或者迁移。
境中运行应用。 MapReduce应用程序运行完成后,可通过如下方式查看应用程序的运行情况。 通过运行结果查看程序运行情况。 登录MapReduce WebUI查看应用程序运行情况。 登录Yarn WebUI查看应用程序运行情况。 通过MapReduce日志获取应用程序运行情况。
Java Application”,设置Connection Properties,其中Host为运行的NodeManager节点IP,Port端口号为8000,然后单击“Debug”。 若使用IDE直接提交MapReduce任务,则IDE即成为客户端的角色,参考1修改二次开发工程中的“mapred-site
"age":30, "msg":"31 years old"} 使用ClickHouse客户端登录3中ClickHouse实例节点,查询ClickHouse表数据。例如,查询kafka_dest_tbl3本地复制表,Kafka消息中的数据已经同步到该表。 select * from kafka_dest_tbl3;
境中运行应用。 MapReduce应用程序运行完成后,可通过如下方式查看应用程序的运行情况。 通过运行结果查看程序运行情况。 登录MapReduce WebUI查看应用程序运行情况。 登录Yarn WebUI查看应用程序运行情况 通过MapReduce日志获取应用程序运行情况。 运行程序
user_log_kafka消费Kafka数据,查看Kafka监控发现凌晨开始出现消息堆积,数据一直没有被消费。 原因分析 Kafka出现消息堆积,说明ClickHouse消费数据时出现异常,需要查看ClickHouse的日志。 登录MRS集群,进入ClickHouse实例所在的节点,查看“/var/log/
本章节仅适用于MRS 3.3.0及之后版本。 命令功能 查看执行路径下损坏的parquet文件。 命令格式 call show_invalid_parquet(path => 'path') 参数描述 表1 参数描述 参数 描述 是否必填 path 需要查询的FS路径 是 示例 call show
Java Application”,设置Connection Properties,其中Host为运行的NodeManager节点IP,Port端口号为8000,然后单击“Debug”。 若使用IDE直接提交MapReduce任务,则IDE即成为客户端的角色,参考1修改二次开发工程中的“mapred-site
Manager,选择“集群 > 服务 > Hive > 实例”查看。 port可在FusionInsight Manager界面,选择“集群 > 服务 > Hive > 配置”,在搜索框中搜索“hive.server2.thrift.port”查看,默认值为“10000”。 执行以下命令运行Python3客户端:
境中运行应用。 MapReduce应用程序运行完成后,可通过如下方式查看应用程序的运行情况。 通过运行结果查看程序运行情况。 登录MapReduce WebUI查看应用程序运行情况。 登录Yarn WebUI查看应用程序运行情况。 通过MapReduce日志获取应用程序运行情况。
"age":30, "msg":"31 years old"} 使用ClickHouse客户端登录3中ClickHouse实例节点,查询ClickHouse表数据。例如,查询kafka_dest_tbl3本地复制表,Kafka消息中的数据已经同步到该表。 select * from kafka_dest_tbl3;
'input2', 'properties.bootstrap.servers' = 'Kafka的Broker实例业务IP:Kafka端口号', 'properties.group.id' = 'testGroup2', 'scan.startup.mode'
Hive执行SQL报错 原因分析 查看HiveServer日志,在对应时间点,有如下的报错信息。 图2 HiveServer日志 在如上报错信息中未发现重要信息,但从堆栈中发现metadata字样,怀疑报错是和MetaStore有关。 图3 堆栈中metadata字样 查看MetaStore日志,发现如下报错。
Java Application”,设置Connection Properties,其中Host为运行的NodeManager节点IP,Port端口号为8000,然后单击“Debug”。 若使用IDE直接提交MapReduce任务,则IDE即成为客户端的角色,参考1修改二次开发工程中的“mapred-site
Java Application”,设置Connection Properties,其中Host为运行的NodeManager节点IP,Port端口号为8000,然后单击“Debug”。 若使用IDE直接提交MapReduce任务,则IDE即成为客户端的角色,参考1修改二次开发工程中的“mapred-site
选择“false”,表示关闭压缩。 true 单击“保存并运行”,开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题: 数据导出
选择“false”,表示关闭压缩。 true 单击“保存并运行”,开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题: 创建Loader数据导出作业
> Impala”。 单击“查询管理”,列表默认显示所有正在进行的查询。 单击“已经结束的查询”可以查看已经完成查询的相关信息。 用户可以根据实际情况按照慢查询运行时长、查询id、用户、所属数据库进行查询。 用户可以通过“停止”操作手动停止正在进行查询的任务。 父主题: 使用Impala