检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
待操作集群的名称 > 服务 > ZooKeeper > 配置 > 全部配置 > 配额”中参数“max.znode.count”的值,调大阈值。 图2 修改规则 在“资源使用(按二级Znode)”中,选择“ > 按Znode数量”,进入“按容量”的“阈值设置”页面,单击“操作”下的“修改”。参考“集群
ultiplexing”。 “replicating”表示同样的内容会发给每一个channel。 “multiplexing”表示根据分发规则,有选择地发给某些channel。 interceptors - 拦截器配置。详细配置可参考Flume官方文档:https://flume
导入(导出)文件时,支持对文件进行合并,如输入文件为海量个文件,可以合并为n个文件(n值可配) 导入(导出)文件时,可以对文件进行过滤,过滤规则同时支持通配符和正则表达式 支持批量导入/导出ETL任务 支持ETL任务分页查询、关键字查询和分组管理 对外部组件提供浮动IP 父主题: Loader
分区键:配置是否为分区列。可以不指定分区列,也可以指定多个分区列。配置多个列为分区列时,会按照配置列的先后顺序对其进行拼接。 map 是 无 数据处理规则 将字段值输出到Hive表中。 如果指定了一个或多个列为分区列,则在作业配置第四步“输出设置”页面上,会显示“分割程序”属性,该属性表示使用多少个处理器去对分区数据进行处理。
分区键:配置是否为分区列。可以不指定分区列,也可以指定多个分区列。配置多个列为分区列时,会按照配置列的先后顺序对其进行拼接。 map 是 无 数据处理规则 将字段值输出到SparkSQL表中。 如果指定了一个或多个列为分区列,则在作业配置第四步“输出设置”页面上,会显示“分割程序”属性,该属
分区键:配置是否为分区列。可以不指定分区列,也可以指定多个分区列。配置多个列为分区列时,会按照配置列的先后顺序对其进行拼接。 map 是 无 数据处理规则 将字段值输出到Hive表中。 如果指定了一个或多个列为分区列,则在作业配置第四步“输出设置”页面上,会显示“分割程序”属性,该属性表示使用多少个处理器去对分区数据进行处理。
Manager故障可能导致MapReduce任务失败 当应用程序从lost_and_found队列移动到其他队列时,应用程序不能继续执行 如何限制存储在ZKstore中的应用程序诊断消息的大小 为什么将非ViewFS文件系统配置为ViewFS时MapReduce作业运行失败 开启Native
(__ pc() <= s->code_end()) failed: overflowed buffer”,表示此问题是由JDK导致,需要如何解决? 回答 修复步骤如下: 在RegionServer启动失败的某个节点执行 su - omm,切换到omm用户。 在omm用户下执行java
Manager故障可能导致MapReduce任务失败 当应用程序从lost_and_found队列移动到其他队列时,应用程序不能继续执行 如何限制存储在ZKstore中的应用程序诊断消息的大小 为什么将非ViewFS文件系统配置为ViewFS时MapReduce作业运行失败 开启Native
ultiplexing”。 “replicating”表示同样的内容会发给每一个channel。 “multiplexing”表示根据分发规则,有选择地发给某些channel。 interceptors - 拦截器配置。 仅可在“properties.properties”文件中配置。
为什么多次运行Spark应用程序会引发致命JRE错误 IE浏览器访问Spark2x原生UI界面失败,无法显示此页或者页面显示错误 Spark2x如何访问外部集群组件 对同一目录创建多个外表,可能导致外表查询失败 访问Spark2x JobHistory中某个应用的原生页面时页面显示错误
并且导入时间长。 在有索引的多个字段中,选择字段值最离散的字段作为分区列,不离散的分区列会导致多个导入MR任务负载不均衡。 分区列的排序规则必须支持大小写敏感,否则在数据导入过程中,可能会出现数据丢失。 不建议分区列选择类型为float或double的字段,因为精度问题,可能导
并且导入时间长。 在有索引的多个字段中,选择字段值最离散的字段作为分区列,不离散的分区列会导致多个导入MR任务负载不均衡。 分区列的排序规则必须支持大小写敏感,否则在数据导入过程中,可能会出现数据丢失。 不建议分区列选择类型为float或double的字段,因为精度问题,可能导
并实现毫秒级数据查询。 分布式数据查询:利用Spark实现海量数据的分析查询。 实时数据处理 实时数据处理通常用于异常检测、欺诈识别、基于规则告警、业务流程监控等场景,在数据输入系统的过程中,对数据进行处理。 例如在梯联网行业,智能电梯的数据,实时传入到MRS的流式集群中进行实时告警。
KerberosServer所有请求数”,查看告警的平滑次数和告警阈值是否设置合理。 是,执行7。 否,执行5。 根据实际请求数情况修改平滑次数和告警阈值,并应用修改后的规则。 等待2分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行7。 收集故障信息 在FusionInsight Manager界面,选择“运维
下面以编写一个AddDoublesUDF为例,说明UDF的编写和使用方法。 功能介绍 AddDoublesUDF主要用来对两个及多个浮点数进行相加。在该样例中可以掌握如何编写和使用UDF。 一个普通UDF必须继承自“org.apache.hadoop.hive.ql.exec.UDF”。 一个普通UDF必须
系统会根据配置的日志大小自动清理日志,如果需要保存更多的信息请设置一个较大的数值。为确保日志文件的完整性,建议根据实际业务量大小,在日志文件基于规则清理前,手动将日志文件备份存储至其他文件夹中。 个别服务不支持通过界面修改日志级别。 单击“保存”,在“保存配置”单击“确定”。 验证日志级别设置已生效,请下载日志并查看。
SlapdServer进程连接数”,查看告警的平滑次数和告警阈值是否设置合理。 是,执行7。 否,执行5。 根据实际进程连接数情况修改平滑次数和告警阈值,并应用修改后的规则。 等待2分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行7。 收集故障信息 在FusionInsight Manager界面,选择“运维
dataPattern="form"> <!-- 参数名:文件名 --> <!--校验规则:userName_13位数字_keytab.tar;区分大小写--> <parameter name="file_name"
不可和用户名相同或用户名的倒序字符相同。 不可以为常见的易破解密码。 不可与最近N次使用过的密码相同,N为配置MRS集群用户密码策略中“重复使用规则”的值。 MRS 2.x及之前版本: 在MRS Manager,单击“系统设置”。 在“权限配置”区域,单击“用户管理”。 在要初始化密码用户所在行,单击“更多