检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“重复”:勾选时表示此资源配置组按调度周期重复运行。不勾选时请设置一个资源配置组应用的日期与时间。 “重复策略”:支持“每天”、“每周”和“每月”。仅在“重复”模式中生效。 “在”:表示资源配置组应用的开始与结束时间。请设置一个唯一的时间区间,如果与已有配置组的时间区间有重叠,则无法保存。
运行日志的级别优先级从高到低分别是error、warning、trace、information、debug,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。 表2 日志级别 级别 描述 error error表示系统运行的错误信息。 warning
Flume提供了如表2所示的日志级别。 运行日志的级别优先级从高到低分别是FATAL、ERROR、WARN、INFO、DEBUG,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。 表2 日志级别 日志类型 级别 描述 运行日志 FATAL FATAL表示系统运行的致命错误信息。
2个服务。 管理单个图表的操作,可参见查看MRS集群资源监控指标。 查看静态资源(2.x及之前版本) 在MRS Manager,单击“系统设置”,在“资源管理”区域单击“静态服务池”。 单击“状态”。 查看系统资源调整基数。 “系统资源调整基数”表示集群中每个节点可以被集群服务使
以root用户登录HBase客户端,用户密码为安装前用户自定义,请咨询系统管理员。执行以下命令进入客户端安装目录: cd 客户端安装目录 然后执行以下命令设置环境变量: source bigdata_env 如果集群采用安全版本,要执行以下命令进行安全认证: kinit hbase 按提示输入密码(向MRS集群管理员获取密码)。
以root用户登录HBase客户端,用户密码为安装前用户自定义,请咨询系统管理员。执行以下命令进入客户端安装目录: cd 客户端安装目录 然后执行以下命令设置环境变量: source bigdata_env 如果集群采用安全版本,要执行以下命令进行安全认证: kinit hbase 按提示输入密码(向MRS集群管理员获取密码)。
以root用户登录HBase客户端,用户密码为安装前用户自定义,请咨询系统管理员。执行以下命令进入客户端安装目录: cd 客户端安装目录 然后执行以下命令设置环境变量: source bigdata_env 如果集群采用安全版本,要执行以下命令进行安全认证: kinit hbase 按提示输入密
ZooKeeper中提供了如表2所示的日志级别。日志级别优先级从高到低分别是FATAL、ERROR、WARN、INFO、DEBUG。程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。 表2 日志级别 级别 描述 FATAL FATAL表示当前事件处理出现严重错误信息,可能导致系统崩溃。
执行程序路径:本示例使用Flink客户端的WordCount程序为例。 运行程序参数:使用默认值。 执行程序参数:设置应用程序的输入参数,“input”为待分析的测试数据,“output”为结果输出文件。 例如本示例中,设置为“--input obs://mrs-demo-data/flink/mrs_flink_test
在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Guardian”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除
当集群写入压力较大,不建议修改此配置。需要给常规Merge留出空闲线程,避免“Too manyparts parts”。 对于已存在的大表(数据量超亿级别),不要使用修改或新设置TTL的方式来实现数据老化能力,推荐使用定时任务“alter table table_name on cluster default_cluster
compaction阈值。 配置示例和预期输出: 用户将所有历史数据加载到CarbonData,此数据的一个segment的大小假定为500GB。 用户设置major compaction参数的阈值:“carbon.major.compaction.size” = “491520(480gb *
Hive > 配置 > 全部配置”。 选择“HiveServer(角色) > 自定义”,对参数文件“hive-site.xml”添加自定义参数,设置“名称”为“hive.overwrite.directory.move.trash”,“值”为“true”。 单击“保存”保存配置。单击“
分配的用户需配置以下特性。 使用参数“spark.dynamicAllocation.executorIdleTimeout”并将此参数值设置为15min(或平均查询时间)。 正确配置参数“spark.dynamicAllocation.maxExecutors”,不推荐使用默认
节点剩余内存不足导致HBase启动失败 HDFS性能差导致HBase服务不可用告警 参数不合理导致HBase启动失败 残留进程导致Regionsever启动失败 HDFS上设置配额导致HBase启动失败 HBase version文件损坏导致启动失败 无业务情况下,RegionServer占用CPU高 HBase
分配的用户需配置以下特性。 使用参数“spark.dynamicAllocation.executorIdleTimeout”并将此参数值设置为15min(或平均查询时间)。 正确配置参数“spark.dynamicAllocation.maxExecutors”,不推荐使用默认
directory”为本地安装的Maven版本。 然后根据实际情况设置好“User settings file”和“Local repository”参数,依次单击“Apply > OK”。 图12 选择本地Maven安装目录 设置IntelliJ IDEA的文本文件编码格式,解决乱码显示问题。
> 自定义”。在自定义配置项中,给参数“custom”添加配置项“spark.sql.warehouse.location.first”,设置值为“true”。 图1 spark.sql.warehouse.location.first配置 在左侧的导航列表中选择“JDBCServer
默认值 说明 unclean.leader.election.enable true 是否允许不在ISR中的副本被选举为Leader,如果设置为true,可能会造成数据丢失。 auto.leader.rebalance.enable true 是否使用Leader自动均衡功能。
import java_import from pyspark.sql import SparkSession # 创建SparkSession,设置kryo序列化 spark = SparkSession\ .builder\ .appName("SparkHbasetoHbase")