检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Custom合并中,用户可以指定几个segment的id合并为一个大的segment。所有指定的segment的id必须存在并且有效,否则合并将会失败。Custom合并通常在非高峰时段进行。 具体的命令操作,请参考ALTER TABLE COMPACTION。 表1 合并参数 参数 默认值
在装载过程中无需启停服务器。 UDF函数名称是大小写不敏感的。 请不要给UDF函数注册一个内置函数的名字。使用内置函数的名字给UDF注册会失败。 不同的JAR包中建议不要有全类名相同但实现功能逻辑不一样的类。例如UDF(UDAF/UDTF):udf1、udf2分别对应资源udf1
在Custom合并中,用户可以指定几个segment的id合并为一个大的segment。所有指定的segment的id必须存在并且有效,否则合并将会失败。Custom合并通常在非高峰时段进行。 具体的命令操作,请参考ALTER TABLE COMPACTION。 表1 合并参数 参数 默认值
率超出阈值,会影响RegionServer对外提供服务的能力,导致RegionServer处理读写的并发能力下降,业务读写时延变大或者请求失败。 可能原因 handler配置值过低。 请求存在热点问题。 处理步骤 查看告警定位信息 在FusionInsight Manager首页,选择“运维
在“起止时间”的输入框单击选择日期和时间。 “起止时间”按照华为云支持人员的建议选取。 结束时间的选择的时间必须大于开始时间选择的时间,否则,无法根据时间筛选日志。 父主题: MRS集群运维
Policy”,添加Yarn权限控制策略。 根据业务需求配置相关参数。 表1 Yarn权限参数 参数名称 描述 Policy Name 策略名称,可自定义,不能与本服务内其他策略名称重复。 Policy Conditions IP过滤策略,可自定义,配置当前策略适用的主机节点,可填写一个或多个IP
目录:表示创建一个目录,输入目录名后单击“创建”完成。 存储策略定义使用介绍 若Hue的服务配置参数“fs_defaultFS”配置为“viewfs://ClusterX”时,不能启用存储策略定义功能。 登录FusionInsight Manager。 在FusionInsight Manager界面,选择“系统 >
过1MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>_<编号>.gz”。最多保留最近的20个压缩文件。 日志归档规则用户不能修改。 表1 DBService日志列表 日志类型 日志文件名 描述 DBServer运行相关日志 dbservice_serviceCheck
先确保配置了此策略,可参考表2进行配置。 表1 HetuEngine权限参数 参数名称 描述 Policy Name 策略名称,可自定义,不能与本服务内其他策略名称重复。 Enabled:启用当前策略。 Disabled:不启用当前策略。 Policy Conditions IP
合并的已压缩的segment数量。 如何调优 每次CarbonData加载创建一个segment,如果每次加载的数据量较小,将在一段时间内生成许多小文件,影响查询性能。配置该参数将小的segment合并为一个大的segment,然后对数据进行排序,可提高查询性能。 压缩的策略根据
xecutorBackend。然后由集群管理器在不同的应用之间调度资源。Driver同时会启动应用程序DAG调度、Stage划分、Task生成。 然后Spark会把应用的代码(传递给SparkContext的JAR或者Python定义的代码)发送到Executor上。 所有的Ta
同一个集群最多能使用10个tag,tag的名称(key)不能重复。 取值范围: 不涉及 默认取值: 不涉及 log_collection 否 Integer 参数解释: 集群创建失败时,是否收集失败日志。 约束限制: 不涉及 取值范围: 0:不创建OBS桶仅用于MRS集群创建失败时的日志收集。 1:创建OB
Join时需要注意小表不能过大,如果小表将内存基本用尽,会使整个系统性能下降甚至出现内存溢出的异常。 Sort Merge Bucket Map Join 使用Sort Merge Bucket Map Join必须满足以下2个条件: join的两张表都很大,内存中无法存放。 两张表都按照join
对于Kerberos安全认证提供HDFS用户信息。 krb5.conf Kerberos server配置信息。 不同集群的“user.keytab”、“krb5.conf”不能共用。 “conf”目录下的“log4j.properties”文件,客户可根据自己的需要进行配置。 代码样例 如下是代码片段,详细代码请参考com
376455 ms on 10-196-115-2 (694/153378) 单个任务运行时间超过6分钟,从而导致连接超时问题,最终使得任务失败。 将参数中的核数设置为1,“--executor-cores 1”,任务正常完成,单个任务处理时间在合理范围之内(15秒左右)。 16/02/29
二级索引表使用hive注册,并以json格式的值存储在HiveSERDEPROPERTIES中。由hive支持的SERDEPROPERTIES的最大字符数为4000个字符,无法更改。 父主题: 使用CarbonData(MRS 3.x及之后版本)
主题名 产生告警的Kafka Topic。 对系统的影响 Partition所在的磁盘分区IO过于繁忙,产生告警的Kafka Topic上可能无法写入数据。 可能原因 Topic副本数配置过多。 生产者消息批量写入磁盘的参数设置不合理。该Topic承担的业务流量过大,当前Partition的设置不合理。
assignment”进入分区迁移页面。 在“Brokers”处选择要将主题重新分配的Broker。 单击“Generate Partition Assignments”生成分区迁移方案。 继续单击“Run assignment”执行分区迁移方案,完成分区迁移。 父主题: Kafka运维管理
合并的已压缩的segment数量。 如何调优 每次CarbonData加载创建一个segment,如果每次加载的数据量较小,将在一段时间内生成许多小文件,影响查询性能。配置该参数将小的segment合并为一个大的segment,然后对数据进行排序,可提高查询性能。 压缩的策略根据
Policy”,添加Spark2x权限控制策略。 根据业务需求配置相关参数。 表1 Spark2x权限参数 参数名称 描述 Policy Name 策略名称,可自定义,不能与本服务内其他策略名称重复。 Policy Conditions IP过滤策略,可自定义,配置当前策略适用的主机节点,可填写一个或多个IP