检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
日志聚合下,如何查看Spark已完成应用日志 问题 当YARN开启了日志聚合功能时,如何在页面看到聚合后的container日志? 回答 请参考配置WebUI上查看Container日志。 父主题: Spark Core
3对接时存在Jetty兼容性问题如何处理? 出于安全考虑,MRS对部分存在严重安全漏洞的开源三方组件进行了版本升级,导致开源Kylin与MRS 1.9.3版本进行对接时存在Jetty版本的兼容性问题。 按以下步骤进行操作可以完成部署和对接。 在一个ECS节点进行MRS Client安
MRS集群中的弹性伸缩功能如何收费? 问: MRS集群中的弹性伸缩功能如何收费? 答: 在创建集群时,Task节点只配置了弹性伸缩的取值范围,而没有配置实例数量时,产品报价不会产生收费。如果客户配置了实例数量,产品报价会在浏览器下方即时显示出来。 如果在集群使用时,配置的弹性伸缩
如何取消集群风险告警的消息通知? 登录MRS服务控制台。 单击集群名称进入集群详情页面。 选择“告警管理 > 消息订阅规则”。 在待修改的规则所在行的“操作”列单击“编辑”,在“订阅规则”中取消对应风险告警。 单击“确定”完成修改。 父主题: 集群管理类
如何调整manager-executor进程内存? 问题现象 MRS服务在集群的Master1和Master2节点上部署了manager-executor进程,该进程主要用于将管控面对集群的操作进行封装,比如作业的提交、心跳上报、部分告警信息上报、集群创扩缩等操作。当客户从MRS
GenericJdbcConnector | | 2 | ftp-connector | 2.0.5-SNAPSHOT | org.apache.sqoop.connector.ftp.FtpConnector
Hadoop压力测试工具如何获取? 问: Hadoop压力测试工具如何获取? 答: Hadoop压力测试工具社区获取地址:https://github.com/Intel-bigdata/HiBench。 父主题: 性能优化类
如何查看各组件配置文件路径? 常用组件配置文件路径如下所示: 组件 配置文件目录 ClickHouse 客户端安装路径/ClickHouse/clickhouse/config Flink 客户端安装路径/Flink/flink/conf Flume Flume客户端安装目录/f
如何查看MRS集群配置信息? 集群创建完成后在MRS控制台单击集群名称进入集群基本信息页面,可以查看到集群的基本配置信息,包括集群的名称、ID、付费类型、工作地域、创建时间、Hadoop组件版本及节点的实例规格、容量。其中,节点的实例规格和容量决定了该集群对数据的分析处理能力。节
计费FAQ 创建MRS集群时计价器为什么未显示价格? MapReduce服务集群的Task节点如何收费? 退订MRS服务后,在ECS中退订弹性云服务器时报异常如何处理?
配置HDFS客户端元数据缓存提高读取性能 操作场景 通过使用客户端缓存元数据块的位置来提高HDFS读取性能。 此功能仅用于读取不经常修改的文件。因为在服务器端由某些其他客户端完成的数据修改,对于高速缓存的客户端将是不可见的,这可能导致从缓存中拿到的元数据是过期的。 本章节适用于MRS 3.x及后续版本。
Mapreduce服务集群的Task节点如何收费? 问: Mapreduce服务(MRS)集群的Task节点如何收费? 答: 包年/包月集群和按需计费集群的Task节点的计费模式为按需计费,即按实际使用时长计费,计费周期为一小时。 父主题: 计费类
ZooKeeper通过访问控制列表(ACL)来对znode进行访问控制。ZooKeeper客户端为znode指定ACL,ZooKeeper服务器根据ACL列表判定某个请求znode的客户端是否有对应操作的权限。ACL设置涉及如下四个方面。 查看ZooKeeper中znode的ACL。
配置HDFS客户端元数据缓存提高读取性能 操作场景 通过使用客户端缓存元数据块的位置来提高HDFS读取性能。 此功能仅用于读取不经常修改的文件。因为在服务器端由某些其他客户端完成的数据修改,对于高速缓存的客户端将是不可见的,这可能导致从缓存中拿到的元数据是过期的。 本章节适用于MRS 3.x及后续版本。
提交MapReduce任务时客户端长时间无响应 问题 向YARN服务器提交MapReduce任务后,客户端提示如下信息后长时间无响应。 16/03/03 16:44:56 INFO hdfs.DFSClient: Created HDFS_DELEGATION_TOKEN token
32766:from all lookup main 32767:from all lookup default 没有配置ntp外部服务器时只会有一条om路由信息“om_rt”。 本章节仅适用于MRS 3.x及以后版本。 如果FusionInsight Manager创建的路
/opt/omm/oms/auditLog(举例) SFTP用户名 指定登录SFTP服务器的用户名。 root(举例) SFTP密码 指定登录SFTP服务器的密码。 SFTP服务器的密码 SFTP公共密钥 可选参数,指定SFTP服务器的公共密钥,建议配置SFTP的公共密钥,否则可能存在安全风险。 -
Hue下载的Excel无法打开如何处理? 本案例适用于MRS 3.x之前版本。 以root用户登录任意一个Master节点,切换到omm用户。 su - omm 使用如下命令查看当前节点是否为OMS主节点。 sh ${BIGDATA_HOME}/om-0.0.1/sbin/status-oms
在Hive中drop表后如何完全释放磁盘空间 用户问题 在Hive命令行执行drop表的操作后,通过命令hdfs dfsadmin -report查看磁盘空间,发现表没有删除。 原因分析 在Hive命令行执行drop表只删除了外部表的表结构,并没有删除该表存储在HDFS上的表数据。
如何修改Clickhouse服务的allow_drop_detached配置项? 用root用户登录Clickhouse客户端所在节点。 进入客户端目录,配置环境变量。 cd /opt/客户端安装目录 source bigdata_env 如果当前集群已启用Kerberos认证,