检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
别优化,日志调整方式如下: cd 客户端安装目录/HDFS/hadoop/etc/hadoop vi log4j.properties 在文件中添加OBS日志级别配置: log4j.logger.org.apache.hadoop.fs.obs=WARN log4j.logger
检查diskmgt磁盘监控服务是否存在。 登录FusionInsight Manager页面,选择“运维 > 告警 > 告警”,查看该告警的详细信息,在定位信息中查看发生该告警的主机名称。单击主机名称,查看对应的IP地址。 使用root用户登录告警上报主机IP节点。 执行以下命令查看服务核心文件是否存在。
IES边缘小站MRS集群服务费:在智能边缘小站 IES可用区购买MRS集群时使用该计费项。 包年/包月、按需计费 核个数 * 节点个数 * 核规格单价 * 购买时长 MRS服务管理针对不同类型、不同Region集群的单核价格不相同,具体计费请以MRS价格计算器中的价格为准。 弹性云服务器
处理步骤 登录MRS服务管理控制台。 选择“现有集群”,选中当前安装出问题的集群并单击集群名称,进入集群基本信息页面。 在“节点管理”页签单击Master节点组中某一Master节点名称,登录到弹性云服务器管理控制台。 选择“弹性公网IP”页签,单击“绑定弹性公网IP”为弹性云服务器绑定一个弹性公网IP。
Flume > Flume管理”,即可查看当前Flume客户端列表及进程状态。 图1 Flume管理 选择“实例ID”,进入客户端监控列表,在“实时”区域框中,可查看客户端的各监控指标。 选择“历史”进入历史监控数据查询界面。筛选时间段,单击“查看”可显示该时间段内的监控数据。 父主题: Flume运维管理
全部配置”,进入全部配置页面。 在搜索框中输入参数名称,按照下表进行修改。 表1 安全配置项 配置项 描述 默认值 修改值 ssl.enabled 是否启用SSL通信加密。 false true 修改完成后单击“保存”,并单击“确定”。 单击“概览”,在ZooKeeper概览页面右上角选项“更多
CarbonData遵循严格解析,因此任何不可解析的数据都会被保存为null。例如,在BigInt列中加载double值(3.14),将会保存为null。 在Create Table中使用的Short和Long数据类型在DESCRIBE命令中分别显示为Smallint和Bigint。 可以使
登录到客户端下载的目标ECS。 在Linux系统中,使用如下命令解压客户端压缩包。 tar -xvf MRS_Storm_Client.tar tar -xvf MRS_Storm_ClientConfig.tar 进入“MRS_Services_ClientConfig”中,执行“install
无法同步,备集群可能查询不到最新数据。 HBase的Scan操作可能分解为多次RPC。由于相关session信息在不同集群间不同步,数据不能保证完全一致,因此双读只在第一次RPC时生效,ResultScanner close之前的请求会固定访问第一次RPC时使用的集群。 HBase
Zookeeper异常导致merge无法正常执行。 登录Manager页面,检查ZooKeeper是否存在服务不可用、ClickHouse服务在ZooKeeper的数量配额使用率超过阈值等相关告警,如果存在,请按照告警指导处理。 执行如下SQL排查是否存在副本同步队列任务积压: select
是 table 需要查询表的表名,支持database.tablename格式 否 path 需要查询表的路径 否 timestamp 在op指定为“run”时,可以指定timestamp来执行该时间戳对应的compaction计划以及该时间戳之前未执行的compaction计划
务运行。 External shuffle Service是长期存在于NodeManager进程中的一个辅助服务。通过该服务来抓取shuffle数据,减少了Executor的压力,在Executor GC的时候也不会影响其他Executor的任务运行。 操作步骤 登录FusionInsight
> 服务 > Yarn > ResourceManager(主)”打开WebUI界面,在ResourceManager(主)的WebUI界面中,单击提交的MapReduce任务,在打开的页面中查看诊断信息,根据诊断信息再采取相应的措施。 或者也可以通过查看MapReduce日志了
已安装Guardian服务。 操作步骤 使用Ranger管理员用户rangeradmin登录Ranger管理页面,具体操作可参考登录Ranger WebUI界面。 在首页中单击“EXTERNAL AUTHORIZATION”区域的组件插件名称“OBS”。 单击“Add New Policy”,添加OBS权限控制策略。
迭代计算(Iterative Computation):支持迭代计算,有效应对多步的数据处理逻辑。 数据挖掘(Data Mining):在海量数据基础上进行复杂的挖掘分析,可支持各种数据挖掘和机器学习算法。 流式处理(Streaming Processing):支持秒级延迟的流式处理,可支持多种外部数据源。
rver角色名称。进入ClickHouseServer“概览”页面,单击“配置文件”中的users.xml文件,查看ClickHouse用户密码。 命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 创建指定数据库只读权限角色,有如下两种方案:
配置”,在搜索框中搜索端口,根据相应的加密协议获取对应的端口号。 10.10.10.10:21005 Security Protocol 加密协议,包括: SASL_PLAINTEXT PLAINTEXT SASL_SSL SSL SASL_SSL Username 在实例创建期
are not in the running state. 集群已有任务执行中! 当前状态不允许转包周期集群。 状态不是【运行中】的集群,不允许执行缩容/扩容操作! 请等待集群任务执行完成且状态变为运行中 400 12000013 The task node does not exist
并将实时结果打印输出,如: apple:1 orange:1 apple:2 功能分解 根据上述场景进行功能分解,如表1所示: 表1 在应用中开发的功能 序号 步骤 代码示例 1 创建一个Spout用来生成随机文本 请参见创建Strom Spout 2 创建一个Bolt用来将收到的随机文本拆分成一个个单词
<provider>] [-metadata] [-help] list子命令显示provider中所有的密钥名,这个provider由用户在core-site.xml中配置或者由-provider参数指定。-metadata参数显示的是元数据。 父主题: HDFS应用开发常见问题