检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Guardian日志介绍 日志描述 日志路径:Guardian相关日志的存储路径为:“/var/log/Bigdata/guardian/token-server”。 日志归档规则:Guardian的运行日志启动了自动压缩归档功能,当日志大小超过50MB的时候(此日志文件大小可进
MemArtsCC日志介绍 日志描述 日志路径:MemArtsCC相关日志的存储路径为:“/var/log/Bigdata/memartscc”。 日志归档规则:MemArtsCC的运行日志启动了自动压缩归档功能,当日志大小超过50MB的时候(此日志文件大小可进行配置),会自动压
MRS存算分离配置流程说明 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下,用户将数据存储在OBS服务中,使用MRS集群仅作数据计算处理的存算分离模式,从而实现按需灵活扩展资源、低成本的海量数据分析方案。 大数据存算分离场景,请务必使用OBS并行文件系统(并行文件系统
配置MRS组件默认日志级别与归档文件大小 如果需要在日志中调整记录的日志级别,则管理员可以修改FusionInsight Manager的日志级别。对于某个具体的服务,除了可以修改日志级别,还可以修改日志文件大小,防止磁盘空间不足日志无法保存。 本章节操作仅支持MRS 3.x及之后的版本。
导入并配置HBase样例工程 背景信息 获取HBase开发样例工程,将工程导入到IntelliJ IDEA开始样例学习。 前提条件 确保本地PC的时间与MRS集群的时间差要小于5分钟,若无法确定,请联系系统管理员。MRS集群的时间可通过FusionInsight Manager页面右下角查看。
导入并配置HDFS样例工程 操作场景 HDFS针对多个场景提供样例工程,帮助客户快速学习HDFS工程。 以下操作步骤以导入HDFS样例代码为例。 操作步骤 参考获取MRS应用开发样例工程,下载样例工程到本地。 导入样例工程到Eclipse开发环境。 第一种方法:打开Eclipse,选择“File
查看ClickHouse复制表数据同步监控 操作场景 Replicated*MergeTree系列引擎表同分片下的多个副本数据相互进行同步,MRS针对该场景下的表数据同步进行了状态监控。 约束限制 当前只支持Replicated*MergeTree系列引擎表并且建表语句携带ON CLUSTER关键字的表监控查询。
管理TTL策略 命令功能 开启TTL后,使用此命令添加/更新/删除/清空TTL策略。 命令格式 添加TTL策略: call ttl_policy_save(table => "[table]", path => "[path]", spec => "[spec]", level =>
导入并配置Storm样例工程 背景信息 Storm客户端安装程序目录中包含了Storm开发样例工程,将工程导入到IntelliJ IDEA开始样例学习。 前提条件 确保本地PC的时间与集群的时间差要小于5分钟,若无法确定,请联系系统管理员。集群的时间可通过FusionInsight
ZooKeeper日志介绍 日志描述 日志存储路径:“/var/log/Bigdata/zookeeper/quorumpeer”(运行日志),“/var/log/Bigdata/audit/zookeeper/quorumpeer”(审计日志) 日志归档规则:ZooKeeper
导入并配置Storm样例工程 背景信息 Storm客户端安装程序目录中包含了Storm开发样例工程,将工程导入到IntelliJ IDEA开始样例学习。 前提条件 确保本地PC的时间与集群的时间差要小于5分钟,若无法确定,请联系系统管理员。集群的时间可通过FusionInsight
导入并配置IoTDB样例工程 背景信息 获取IoTDB开发样例工程,将工程导入到IntelliJ IDEA开始样例学习。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src/iotdb-examples”目录下的样例工程,可根据实际业务场景选择对应的样例。
ClickHouse日志介绍 日志描述 日志路径:ClickHouse相关日志的默认存储路径为“${BIGDATA_LOG_HOME}/clickhouse”。 日志归档规则:ClickHouse日志启动了自动压缩归档功能,缺省情况下,当日志大小超过100MB的时候,会自动压缩,
Oozie日志介绍 日志描述 日志路径:Oozie相关日志的默认存储路径为: 运行日志:“/var/log/Bigdata/oozie”。 审计日志:“/var/log/Bigdata/audit/oozie”。 日志归档规则:Oozie的日志分三类:运行日志、 脚本日志和审计日
Flume日志介绍 日志描述 日志路径:Flume相关日志的默认存储路径为“/var/log/Bigdata/角色名”。 FlumeServer:“/var/log/Bigdata/flume/flume” FlumeClient:“/var/log/Bigdata/flume-client-n/flume”
Oozie日志介绍 日志描述 日志路径:Oozie相关日志的默认存储路径为: 运行日志:“/var/log/Bigdata/oozie”。 审计日志:“/var/log/Bigdata/audit/oozie”。 日志归档规则:Oozie的日志分三类:运行日志、 脚本日志和审计日
ZooKeeper日志介绍 日志描述 日志存储路径:“/var/log/Bigdata/zookeeper/quorumpeer”(运行日志),“/var/log/Bigdata/audit/zookeeper/quorumpeer”(审计日志) 日志归档规则:ZooKeeper
Flume日志介绍 日志描述 日志路径:Flume相关日志的默认存储路径为“/var/log/Bigdata/角色名”。 FlumeServer:“/var/log/Bigdata/flume/flume” FlumeClient:“/var/log/Bigdata/flume-client-n/flume”
Loader日志介绍 日志描述 日志存储路径:Loader相关日志的默认存储路径为“/var/log/Bigdata/loader/日志分类”。 runlog:“/var/log/Bigdata/loader/runlog”(运行日志) scriptlog:“/var/log/B
JobGateway日志介绍 日志描述 日志路径:JobGateway相关日志的存储路径为:“/var/log/Bigdata/job-gateway/”。 日志归档规则:JobGateway的运行日志启动了自动压缩归档功能,当日志大小超过20MB的时候(此日志文件大小可进行配置