检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
即可实现将对应列加密。列加密只支持存储在HDFS上的TextFile和SequenceFile文件格式的表。Hive列加密不支持视图以及Hive over HBase场景。 Hive列加密机制目前支持的加密算法有两种,在建表时指定: AES(对应加密类名称为:org.apache
ZKFC是需要和NameNode一一对应的服务,即每个NameNode都需要部署ZKFC。它负责监控NameNode的状态,并及时把状态写入Zookeeper。ZKFC有选择哪个NameNode作为主NameNode的权利。 Colocation 同分布(Colocation)功能是将存在关联关系的数据或可能
'\t') CarbonData也支持\001和\017作为分隔符。 对于CSV数据,分隔符为单引号(')时,单引号必须在双引号(" ")内。例如:'DELIMITER'= "'"。 QUOTECHAR:可以在加载命令中提供分隔符和引号字符。默认值为"。 OPTIONS('DELIMITER'='
扩容过程中已有节点停止或故障。 处理步骤 在FusionInsight Manager首页,选择“集群 > 服务 > ClickHouse > 实例”。 查看是否有停止、退服或故障的实例。 是,执行3。 否,执行4。 启动实例,或修复实例故障,直到所有实例运行状态都是良好。 在FusionInsight
是,操作结束。 否,执行5。 登录1查询到主机地址,查看“/var/log/Bigdata/meta/mrs-meta.log”日志中是否有报错,根据日志进行排查处理。 查看当前告警是否恢复。 是,操作结束。 否,执行7。 重新绑定委托 登录MapReduce服务管理控制台。 选
周期备份任务失败,可能会导致长时间没有可用的备份包,在系统出现异常时,无法恢复。 可能原因 该告警产生原因依赖于该任务的详细情况,直接获取日志和任务详情来处理该告警。 处理步骤 查看磁盘空间是否不足 在MRS Manager界面,单击“告警管理”。 在告警列表中单击该告警的,从“定位信息”处获得“任务名”。
的下拉菜单,选择“定制”,在“OBS元数据操作”中勾选“OBS接口调用平均时间”,单击“确定”,查看OBS元数据接口调用平均时间,确定是否有接口调用时间超过阈值。 是,执行3。 否,执行5。 图1 OBS接口调用平均时间 选择“集群 > 待操作集群的名称 > 运维 > 告警 > 阈值设置
上角的下拉菜单,选择“定制”,在“OBS元数据操作”中勾选“OBS接口调用成功率”,单击“确定”,查看OBS元数据接口调用成功率,确定是否有接口调用成功率低于阈值。 是,执行3。 否,执行5。 图1 OBS接口调用成功率 选择“集群 > 待操作集群的名称 > 运维 > 告警 > 阈值设置
选择“定制”,在“OBS数据写操作”中勾选“OBS数据写操作接口调用成功率”,单击“确定”,查看OBS数据写操作接口调用成功率,确定是否有接口调用成功率低于阈值。 是,执行3。 否,执行5。 图1 OBS数据写操作接口调用成功率 选择“集群 > 待操作集群的名称 > 运维 > 告警
distcp默认拷贝文件时不记录原block大小导致在原文件block.size不是128M时校验失败,需要在distcp命令增加-pb参数。 原因分析 HDFS在写的时候有设置块大小,默认128M,某些组件或者业务程序写入的文件可能不是128M,如8M。 <name>dfs.blocksize</name> <
选择“定制”,在“OBS数据读操作”中勾选“OBS数据读操作接口调用成功率”,单击“确定”,查看OBS数据读操作接口调用成功率,确定是否有接口调用成功率低于阈值。 是,执行3。 否,执行5。 图1 OBS数据读操作接口调用成功率 选择“集群 > 待操作集群的名称 > 运维 > 告警
所有的map运行完后,只有个别节点有reduce在运行。这时候集群资源没有得到充分利用,需要增加reduce的个数以便每个节点都有任务处理。 原则三:每个task的执行时间要合理。 如果一个job,每个map或reduce的执行时间只有几秒钟,就意味着这个job的大部分时间都消耗在task的调度和进程启停
度。 配置进程参数 Flink on YARN模式下,有JobManager和TaskManager两种进程。在任务调度和运行的过程中,JobManager和TaskManager承担了很大的责任。 因而JobManager和TaskManager的参数配置对Flink应用的执行
粒度权限功能。 前提条件 开启细粒度权限控制的用户,权限管理请参考创建IAM用户并授权使用MRS。 需要对IAM的委托和OBS细粒度策略有一定了解。 给集群配置有OBS访问权限的委托 请参考配置MRS集群通过IAM委托对接OBS配置OBS访问权限的委托。 配置的委托对该集群上所有
待操作集群的名称 > 服务 > ZooKeeper”,单击“资源”,在精细化监控“资源使用(按二级Znode)”中单击“按Znode数量”,查看监控中是否有顶级Znode被写入较多数据。 是,执行2。 否,执行4。 登录FusionInsight Manager,选择“运维 > 告警 > 告警”,打开告警“ALM-13008
WebUI,请参考访问Hue WebUI界面。 在左侧导航栏单击,然后选择“SparkSql”,进入“SparkSql”。 “SparkSql”支持以下功能: 执行和管理SparkSql语句。 在“保存的查询”中查看当前访问用户已保存的SparkSql语句。 在“查询历史记录”中查看当前访问用户执行过的SparkSql语句。
到一个或多个Channel。Source有两种类型:数据驱动和轮询。 典型的Source样例如下: 和系统集成并接收数据的Sources:Syslog、Netcat。 自动生成事件数据的Sources:Exec、SEQ。 用于Agent和Agent之间通信的IPC Sources:Avro。
所有的map运行完后,只有个别节点有reduce在运行。这时候集群资源没有得到充分利用,需要增加reduce的个数以便每个节点都有任务处理。 原则三:每个task的执行时间要合理。 如果一个job,每个map或reduce的执行时间只有几秒钟,就意味着这个job的大部分时间都消耗在task的调度和进程启停
父租户有多个目录,请选择其中任何一个。 路径:填写租户目录的路径。 如果当前租户不是子租户,新路径将在HDFS的根目录下创建。 如果当前租户是一个子租户,新路径将在指定的目录下创建。 完整的HDFS存储目录最多包含1023个字符。HDFS目录名称包含数字、大小写字母、空格和下划线
的类型有数据驱动和轮询两种。 典型的Source类型如下: 和系统集成的Sources:Syslog、Netcat。 自动生成事件的Sources:Exec、SEQ。 用于Agent和Agent之间通信的IPC Sources:Avro。 Source必须至少和一个Channel关联。