检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DEBUG DEBUG表示记录系统及数据库底层数据传输的信息。 如果您需要修改日志级别,请执行如下操作: 登录FusionInsight Manager系统。 选择“集群 > 待操作集群的名称 > 服务 > Oozie > 配置”。 选择“全部配置”。
DEBUG DEBUG表示记录系统及数据库底层数据传输的信息。 如果您需要修改日志级别,请执行如下操作: 登录FusionInsight Manager系统。 选择“集群 > 待操作集群的名称 > 服务 > Oozie > 配置”。 选择“全部配置”。
已获取MySQL数据库所在的IP地址,端口号,用户名及密码。
MRS 1.9.3.3补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.9.3.3 发布时间 2021-01-04 解决的问题 MRS 1.9.3.3 修复问题列表: MRS Manager 解决隔离节点问题 MRS大数据组件 解决Hive加载hook内存泄漏问题 MRS
cd opt/flume-client/fusionInsight-flume-1.9.0/bin 执行以下命令,生成并得到Flume客户端密钥库密码、信任列表密码和keystore-password加密的私钥信息。
hetu-cli --catalog 数据源名称 --schema 数据库名 例如执行以下命令: hetu-cli --catalog hetuengine_1 --schema default 执行以下命令,可正常查看数据库表信息或不报错即表示连接成功。
组件WebUI便捷访问 大数据组件都有自己的WebUI页面管理自身系统,但是由于网络隔离的原因,用户并不能很简便地访问到该页面。 例如访问HDFS的WebUI页面,传统的操作方法是需要用户创建ECS,使用ECS远程登录组件的UI,这使得组件的页面UI访问很是繁琐,对于很多初次接触大数据的用户很不友好
首先在Spark的配置文件“hive-site.xml”中,查看Hive的数据库路径的配置,默认为“/user/hive/warehouse”。Spark服务多实例默认数据库路径为“/user/hive/warehouse”,例如“/user/hive1/warehouse”。
dbDetail.log 数据库初始化日志 initSecurityDetail.log keytab文件下载初始化日志。 postinstallDetail.log Hue服务安装后工作日志。 prestartDetail.log Prestart日志。
' and table='table_name' 参考步骤2登录上报告警的ClickHouse节点,执行以下语句,其中database_name和table_name为写入的分布式表的库名和表名, select name,type from system.columns where
org.apache.hadoop.yarn.server.resourcemanager.monitor.capacity.ProportionalCapacityPreemptionPolicy yarn.resourcemanager.monitor.capacity.preemption.observe_only
执行如下命令登录数据库。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 gsql -p 20051 -d hivemeta -U username -W password 执行如下命令修改限制。
启用Ranger鉴权并为代理用户配置操作数据源的数据库、表、列的管理权限,具体操作请参考添加HetuEngine的Ranger访问权限策略。
提交MapReduce任务时客户端长时间无响应 问题 向YARN服务器提交MapReduce任务后,客户端长时间无响应。 回答 对于上述出现的问题,ResourceManager在其WebUI上提供了MapReduce作业关键步骤的诊断信息,对于一个已经提交到YARN上的MapReduce
Observer NameNode:与Active NameNode中的数据保持同步,处理来自客户端的读请求。 DataNode 用于存储每个文件的“数据块”数据,并且会周期性地向NameNode报告该DataNode的数据存放情况。
如何通过集群外的节点访问MRS集群? 创建集群外Linux操作系统ECS节点访问MRS集群 创建一个集群外ECS节点,具体请参考购买弹性云服务器。 ECS节点的“可用区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 在VPC管理控制台,申请一个弹性IP地址,并与ECS
使用原始类型数组替代集合类,如可使用fastutil库。 避免嵌套结构。 Key尽量不要使用String。 开发Spark应用程序时,建议序列化RDD。 RDD做cache时默认是不序列化数据的,可以通过设置存储级别来序列化RDD减小内存。
true false truststore-type JKS Java信任库类型。填写JKS或其他java支持的truststore类型。 truststore - Java信任库文件。 truststore-password - Java信任库密码。
同步MRS集群节点磁盘信息 当云硬盘实际信息与控制台展示的云硬盘信息不一致,或者节点列表展示的云硬盘信息显示“数据盘: --(请同步磁盘信息)”,需要同步最新云硬盘时,可以使用同步磁盘信息功能。 同步磁盘信息用于检查集群云磁盘最新信息并进行更新,使控制台展示的云硬盘信息与实际最新云硬盘信息保持一致
DBService修改密码脚本运行日志 modifyDBPwd_yyyy-mm-dd.log 修改密码工具运行日志 dbserver_switchover.log DBServer执行主备倒换脚本的日志(需执行主备倒换操作) GAUSSDB运行日志 gaussdb.log 记录数据库运行信息