检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
File Channel:基于WAL(预写式日志Write-Ahead Logging)的持久化实现。 JDBC Channel:基于嵌入Database的持久化实现。 Channel支持事务,可提供较弱的顺序保证,可以和任何数量的Source和Sink工作。 Sink Sink负责将
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 附加信息 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 内存使用过高,部分查询任务可能因为内存不足而失败。 可能原因 该节点实例内存使用率过大,或配置的内存不合理。
Hive定时查看默认数据仓库的状态,发现Hive默认数据仓库被删除。 处理步骤 检查Hive默认数据仓库。 以root用户登录客户端所在节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行以下命令,检查“hdfs://hacluster/user/{用户名}/.Trash/Current/ ”目录下是否存在该warehouse目录。
HBase > 配置 > 全部配置”,搜索并修改ThriftServer实例的配置参数“hbase.thrift.security.qop”。该参数值需与“hbase.rpc.protection”的值一一对应。保存配置,重启配置过期节点服务使更改的配置生效。 “hbase.rpc.protection”与“hbase
HBase > 配置 > 全部配置”,搜索并修改ThriftServer实例的配置参数“hbase.thrift.security.qop”。该参数值需与“hbase.rpc.protection”的值一一对应。保存配置,重启配置过期节点服务使更改的配置生效。 “hbase.rpc.protection”与“hbase
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 附加信息 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 内存使用过高,部分查询任务可能因为内存不足而失败。 可能原因 Impalad进程正在执行较大量查询任务。 处理步骤
根据业务需求配置相关参数。 表1 HDFS权限参数 参数名称 描述 Policy Name 策略名称,可自定义,不能与本服务内其他策略名称重复。 Policy Conditions IP过滤策略,可自定义,配置当前策略适用的主机节点,可填写一个或多个IP或IP段,并且IP填写支持“*”通配符,例如:192
bigdata.mapreduce.examples.FemaleInfoCollector类: 样例1:类CollectionMapper定义Mapper抽象类的map()方法和setup()方法。 public static class CollectionMapper
fromArgs(args); final String hostName = paraTool.get("hostName"); // 修改hosts文件,使用主机名 final String keytab = paraTool.get("keytab");
优化元数据预先缓存的能力: 登录FusionInsight Manager界面,选择“集群 > 服务 > ClickHouse > 配置 > 全部配置”,修改以下参数。 参数 值 参数说明 merge_tree_metadata_cache.continue_if_corrupted true
在Spark客户端机器中,通过修改“conf/yarn-site.xml”文件,添加并配置“yarn.resourcemanager.connect.max-wait.ms”和“yarn.resourcemanager.connect.retry-interval.ms”,这样可以更改重试次数,Spark应用可以提早退出。
32768 其中“hdfs”和“hbase”表示业务中用到的操作系统用户名称。 只有root用户有权限编辑“limits.conf”文件。 如果修改的配置不生效,请确认“/etc/security/limits.d”目录下是否有针对操作系统用户的其他nofile值。这样的值可能会覆盖“
conf文件,并将keytab文件和krb5.conf文件放入到样例代码中的conf目录,安全登录方法如下代码所示。 认证信息需要根据实际环境修改。 public static final String PRINCIPAL= "test@HADOOP.COM"; public static
将“python-examples/pyCLI_sec.py”和“python-examples/pyline.py”的conf数组中的“hadoop.hadoop.com”修改为hadoop.实际域名。实际域名可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信 > 本端域” 查看。
<系统域名>", "krb_service":"hive"} 创建连接,执行HQL,样例代码中仅执行查询所有表功能,可根据实际情况修改HQL内容,输出查询的列名和结果到控制台。 try: with HAConnection(hosts = hosts
bigdata.mapreduce.examples.FemaleInfoCollector类: 样例1:类CollectionMapper定义Mapper抽象类的map()方法和setup()方法。 public static class CollectionMapper
bigdata.mapreduce.examples.FemaleInfoCollector类: 样例1:类CollectionMapper定义Mapper抽象类的map()方法和setup()方法。 public static class CollectionMapper
" : 373, "numActiveBatches" : 0, "numProcessedRecords" : 1, "numReceivedRecords" : 1, "avgInputRate" : 0.002680965147453083, "avgSchedulingDelay"
bigdata.mapreduce.examples.FemaleInfoCollector类: 样例1:类CollectionMapper定义Mapper抽象类的map()方法和setup()方法。 public static class CollectionMapper
否,需要先安装MRS 3.2.0-LTS.1.8补丁,安装完需要重启相关服务,具体请参考MRS 3.2.0-LTS.1.8版本补丁说明。 检查集群是否有非标修改组件配置的操作 询问客户是否有做过相关操作。 查看该客户档案,是否有记录相关非标操作。 是,需要详细评估补丁跟非标配置的兼容性。 否,检查结束。