检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
提供shell命令完成HDFS文件系统的基本操作。 HTTP REST API 提供除Shell、Java API和C API以外的其他接口,可通过此接口监控HDFS状态等信息。 WEB UI 提供Web可视化组件管理界面。 keytab文件 存放用户信息的密钥文件,应用程序采用此密钥文件在组件中进行API方式认证。
提供shell命令完成HDFS文件系统的基本操作。 HTTP REST API 提供除Shell、Java API和C API以外的其他接口,可通过此接口监控HDFS状态等信息。 WEB UI 提供Web可视化组件管理界面。 父主题: HDFS开发指南(普通模式)
rm侧问题。 查看Storm状态。 对于MRS 3.x之前的版本集群:登录MRS Manager,在MRS Manager页面,选择“服务管理 > Storm”,查看Storm服务当前状态,发现状态为“良好”,且监控指标内容显示正确。 对于MRS 3.x及后续版本集群:登录FusionInsight
有效卷的最小值是1。大于等于0的值表示允许失败的卷数。 MRS 3.x之前版本:0 MRS 3.x及之后版本:-1 父主题: HDFS运维管理
ClickHouse用户权限管理实现了对集群中各个ClickHouse实例上用户、角色、权限的统一管理。通过Manager UI的权限管理模块进行创建用户、创建角色、绑定ClickHouse访问权限配置等操作,通过用户绑定角色的方式,实现用户权限控制。 管理资源:Clickhouse权限管理支持的资源如表1所示。
在用户意外修改、删除或需要找回数据时,系统管理员对ZooKeeper进行重大操作(如升级、重大数据调整等)后,系统数据出现异常或未达到预期结果,导致Kafka组件全部故障无法使用,或者迁移数据到新集群的场景中,需要对Kafka元数据进行恢复数据操作。 系统管理员可以通过FusionInsight
数据目录下文件或目录的权限不对,GaussDB要求文件权限至少是600,目录权限至少为700。 图2 目录权限列表 图3 文件权限列表 解决办法 按照图2和图3的权限列表,修改相应文件和目录的权限。 重启相应的DBServer实例。 父主题: 使用DBservice
检查znode容量配置和使用量 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,选中“告警ID”为“19017”的告警,查看“附加信息”中的阈值。 以root用户登录HBase客户端,用户密码为安装前用户自定义,请咨询系统管理员。执行以下命令进入客户端安装目录:
unner-DefaultSinkProcessor] | SRCIP=null OPERATION=close 父主题: Flume运维管理
更改DataNode的存储目录 操作场景 本章节适用于MRS 3.x及后续版本。 HDFS DataNode定义的存储目录不正确或HDFS的存储规划变化时,MRS集群管理员需要在FusionInsight Manager中修改DataNode的存储目录,以保证HDFS正常工作。适用于以下场景: 更改Data
“指定作业”,在作业列表中勾选需要删除的作业。 单击“确定”,开始删除作业。当弹出框中进度条显示100%,则说明作业删除完成。 父主题: 管理Loader作业
使用hive-table方式同步数据报错 使用hcatalog方式同步hive parquet表报错 使用Hcatalog方式同步Hive和MySQL之间的数据,timestamp和data类型字段会报错 父主题: 使用Sqoop
表异常 HBase占用网络端口,连接数过大会导致其他服务不稳定 有210000个map和10000个reduce的HBase BulkLoad任务运行失败 使用scan命令仍然可以查询到已修改和已删除的数据 如何处理由于Region处于FAILED_OPEN状态而造成的建表失败异常
Yarn客户端的端口信息错误导致提交任务后报错connection refused 通过Yarn WebUI查看作业日志时提示“Could not access logs page!” 通过Yarn WebUI查看队列信息时提示“ERROR 500”错误 通过Yarn WebUI页面查看作业日志提示“ERROR
e列加密功能),可以在创建表时指定加密算法实现对敏感数据的加密存储。HBase支持加密HFile和WAL内容,用户可以配置AES和SMS4算法进行数据的加密存储(参见加密HFile和WAL内容)。 数据传输安全性 在MRS集群中,Web通道访问支持HTTPS加密;RPC通信支持S
getExecutionEnvironment(); //将StormConfig设置到Job的环境变量中,用于构造Bolt和Spout //如果Bolt和Spout初始化时不需要config,则不用设置 env.getConfig().setGlobalJobParameters(stormConfig);
logInfo(Logging.scala:59) 2016-04-20 10:42:00,811 | ERROR | [Yarn application state monitor] | Yarn application has already exited with state FINISHED! | org
(filePaths.length > 1) { val firstStream = env.readTextFile(filePaths.apply(0)) firstStream.union(filePaths.drop(1).map(it => env.readTextFile(it)):
提供shell命令完成HDFS文件系统的基本操作。 HTTP REST API 提供除Shell、Java API和C API以外的其他接口,可通过此接口监控HDFS状态等信息。 WEB UI 提供Web可视化组件管理界面。 keytab文件 存放用户信息的密钥文件,应用程序采用此密钥文件在组件中进行API方式认证。
在缓存中找不到HDFS_DELEGATION_TOKEN如何处理 如何在提交MapReduce任务时设置任务优先级 MapReduce任务运行失败,ApplicationMaster出现物理内存溢出异常 MapReduce作业信息无法通过ResourceManager Web UI页面的Tracking