检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
步数据,需要切换HBase容灾主备集群。 操作步骤 登录备集群FusionInsight Manager。 下载并安装HBase客户端。 在备集群HBase客户端,以hbase用户执行以下命令指定备集群写数据状态启用。 cd 客户端安装目录 source bigdata_env kinit
html#rest-api。 准备运行环境 安装客户端。在节点上安装客户端,如安装到“/opt/client”目录。 REST接口 通过以下命令可跳过REST接口过滤器获取相应的应用信息。 安全模式下,JobHistory仅支持https协议,故在如下命令的url中请使用https协议。 安全模式下,需要设置spark
定值后会被系统自动清除。如果产生该告警,请尽快联系运维人员进行处理。 打开FusionInsight Manager页面,在告警列表中,单击此告警所在行,在告警详情中查看该告警的主机地址,通过附加信息中的“DumpedFilePath”属性查看产生的core文件的存放路径。 以omm用户登录产生告警的主机,执行gdb
步数据,需要切换HBase容灾主备集群。 操作步骤 登录备集群FusionInsight Manager。 下载并安装HBase客户端。 在备集群HBase客户端,以hbase用户执行以下命令指定备集群写数据状态启用。 kinit hbase hbase shell set_clusterState_active
解决ZK脏数据导致Yarn服务不可用问题 OBS包升级 JDK版本升级 解决Yarn的ResourceManager内存泄漏问题 增加对调用ECS getSecuritykey接口异常的监控 优化刷新临时AK/Sk流程 解决ResourceManager内存泄露问题 解决Hive union语句合并小文件报错问题
DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别,请执行如下操作: 参考修改集群服务配置参数,进入IoTDB服务“全部配置”页面。 在左侧导航栏选择需修改的角色所对应的日志菜单。 选择所需修改的日志级别并保存。 配置IoTDB日志级别60秒后即可生效,无需重启服务。 日志格式
通过Distcp工具将OBS数据复制到目的集群的HDFS上。由于执行Distcp无法为OBS上的文件设置权限、属主/组等信息,因此当前场景在进行数据导出时也需要将HDFS的元数据信息进行导出并复制,以防HDFS文件属性信息丢失。 线下集群向云迁移 线下集群可以通过如下两种方式将数据迁移至云:
pred-default.xml”所在路径: find /opt/ -name 'mapred-default.xml' 查询到该配置文件在“/opt/Bigdata/*/*_WebHCat/etc/”目录下面,且该文件内容为空。 登录到Master1节点,将“/opt/Bigd
<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件,压缩文件保留个数可以在Manager界面中配置。 表1 HBase日志列表 日志类型 日志文件名 描述 运行日志 hbase-<SSH_USER>-<process_name>-<hostname>
并给用户组授予策略或角色,才能使得用户组中的用户获得对应的权限,这一过程称为授权。授权后,用户就可以基于被授予的权限对云服务进行操作。 在MRS管理控制台“现有集群” 列表,单击对应集群名称,进入集群信息页面。检查安全组中是否正确配置了本地IP。 MRS 3.x及之后版本:请参考“用户指南
操作步骤 登录集群的FusionInsight Manager界面,选择“集群 > 服务 > HBase > 配置”,进入HBase配置界面。 在搜索框中搜索并修改表1中的配置,开启Succinct Trie特性。 表1 Succinct Trie相关参数 参数名称 参数说明 修改值 是否必须修改
原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的100个压缩文件,压缩文件保留个数可以在Manager界面中配置。 表1 HDFS日志列表 日志类型 日志文件名 描述 运行日志 hadoop-<SSH_USER>-<process_name>-<hostname>
机是否可以ping通。 是,执行3。 否,执行2.d。 联系网络管理员恢复网络。 等待一段时间后,在告警列表中,查看告警是否清除。 是,处理完毕。 否,执行3。 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。
原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的100个压缩文件,压缩文件保留个数可以在Manager界面中配置。 表1 HDFS日志列表 日志类型 日志文件名 描述 运行日志 hadoop-<SSH_USER>-<process_name>-<hostname>
childopts则服务端参数worker.gc.childopts会被替换。 解决办法 如果想要修改拓扑的JVM参数,可以在命令中直接修改topology.worker.gc.childopts这个参数或者在服务端修改该参数,当topology.worker.gc.childopts为 "-Xms4096m
B的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>.[编号].gz”。默认最多保留最近的10个压缩文件,压缩文件保留个数可以在Manager界面中配置。 表1 ClickHouse日志列表 日志类型 日志文件名 描述 运行日志 /var/log/Bigdata/cl
<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件,压缩文件保留个数可以在Manager界面中配置。 表1 HBase日志列表 日志类型 日志文件名 描述 运行日志 hbase-<SSH_USER>-<process_name>-<hostname>
示例结果如下: 执行如下命令打开并编辑上述的ace.*.js文件,也即修改hash文件。 vim ace.18f1745e9832.js 在ace.*.js文件中搜索“t.onCompositionUpdate”关键字。 修改上图中红框中,蓝色下划线的内容,也即将蓝色下划线部分if
'info:valid','1' 上述数据的modify_time列可设置为样例程序启动后30分钟到60分钟内的时间值,即第二次同步周期。 在sparksql中创建HBase的hive外表,命令如下: create table external_hbase_table(key string
0及之后版本支持该参数。 12 可根据CPU、WAL积压情况调整。该参数为自定义配置,需选择“IoTDBServer(角色) > 自定义”,在自定义参数“engine.customized.configs”中添加该参数项及参数值。 写并发小,不用更改。 写并发大,可适当调大。 WAL积压,可适当调小。