检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
提升HDFS写数据性能 操作场景 在HDFS中,通过调整属性的值,使得HDFS集群更适应自身的业务情况,从而提升HDFS的写性能。 本章节适用于MRS 3.x及后续版本。 操作步骤 参数入口: 在FusionInsight Manager系统中,选择“集群 > 服务 > HDFS
Flink常见问题 数据倾斜 当数据发生倾斜(某一部分数据量特别大),虽然没有GC(Gabage Collection,垃圾回收),但是task执行时间严重不一致。 需要重新设计key,以更小粒度的key使得task大小合理化。 修改并行度。 调用rebalance操作,使数据分区均匀。
DBService日志介绍 日志描述 日志存储路径:DBService相关日志的默认存储路径为“/var/log/Bigdata/dbservice”。 gaussDB:“/var/log/Bigdata/dbservice/DB”(gaussDB运行日志目录),“/var/lo
example.JDBCExample为举例,具体以实际样例代码为准。 切换到“/opt/test”,执行以下命令,运行Jar包。 sh run.sh 查看Linux调测结果 “doris-jdbc-example”样例运行成功后,显示信息如下: 2023-08-17 23:13:13,473
success. Sqoop Shell: Type 'help' or '\h' for help. sqoop:000> 执行以下命令,查看当前连接器对应的ID。 show connector 显示如下信息: +----+----------------------------
success. Sqoop Shell: Type 'help' or '\h' for help. sqoop:000> 执行以下命令,查看当前连接器对应的ID。 show connector 显示如下信息: | Id | Name |
success. Sqoop Shell: Type 'help' or '\h' for help. sqoop:000> 执行以下命令,查看当前连接器对应的ID。 show connector 显示如下信息: +----+----------------------------
success. Sqoop Shell: Type 'help' or '\h' for help. sqoop:000> 执行以下命令,查看当前连接器对应的ID。 show connector 显示如下信息: | Id | Name |
DBService日志介绍 日志描述 日志存储路径:DBService相关日志的默认存储路径为“/var/log/Bigdata/dbservice”。 gaussDB:“/var/log/Bigdata/dbservice/DB”(gaussDB运行日志目录),“/var/lo
Flume基本原理 Flume是一个高可用、高可靠,分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接收方(可定制)的能力。其中Flume-NG是Flume的一个分支,其特点
Yarn汇聚日志过大导致节点磁盘被占满 用户问题 集群的磁盘使用率很高。 问题现象 Manager管理页面下主机管理显示磁盘使用率过高。 Yarn WebUI界面上显示只有少量任务在运行。 登录到集群的Master节点执行hdfs dfs -du -h / 命令发现如下文件占用大量磁盘空间。
MRS集群元数据概述 MRS的数据连接用于管理集群中组件使用的外部源连接,如Hive的元数据可以通过数据连接关联使用外部的关系型数据库。 本地元数据:元数据存储于集群内自带的本地GaussDB中,当集群删除时元数据同时被删除,如需保存元数据,需提前前往数据库手动保存元数据。 外置
准备Spark应用运行环境 操作场景 Spark的运行环境(即客户端)只能部署在Linux环境下。您可以执行如下操作完成运行环境准备。 准备运行调测环境 在弹性云服务器管理控制台,申请一个新的弹性云服务器,用于应用开发运行调测。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。
Kafka日志介绍 本章节内容适用于MRS 3.x及后续版本。 日志描述 日志路径:Kafka相关日志的默认存储路径为“/var/log/Bigdata/kafka”,审计日志的默认存储路径为“/var/log/Bigdata/audit/kafka”。 Broker:“/var
CDL日志介绍 日志描述 日志路径:CDL默认的日志存储路径为“/var/log/Bigdata/cdl/角色名简写”。 CDLService:“/var/log/Bigdata/cdl/service”(运行日志),“/var/log/Bigdata/audit/cdl/service”(审计日志)。
Yarn日志介绍 日志描述 Yarn相关日志的默认存储路径如下: ResourceManager:“/var/log/Bigdata/yarn/rm”(运行日志),“/var/log/Bigdata/audit/yarn/rm”(审计日志) NodeManager:“/var/l
Ranger日志介绍 日志描述 日志存储路径:Ranger相关日志的默认存储路径为“/var/log/Bigdata/ranger/角色名” RangerAdmin:“/var/log/Bigdata/ranger/rangeradmin”(运行日志),“/var/log/Big
配置MemArtsCC常用参数 参数入口 请参考修改集群服务配置参数进入MemArtsCC服务配置页面。 参数说明 表1 MemArtsCC参数说明 参数 参数说明 默认值 access_token_enable Aceess token认证的开关。 开启后,SDK通过worke
待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”,在“搜索”框里搜索“hadoop.ssl.enabled.protocols”,查看参数值是否包含“TLSv1”,若不包含,则在配置项“hadoop.ssl.enabled.protocols”中追加“,TLSv1”。清空“ssl
更新弹性伸缩策略 功能介绍 更新弹性伸缩策略。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/autoscaling-policy/{cluster_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String