检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的数据请求发送到MRS集群并动态转发到对应的站点。 前提条件 访问MRS集群Manager前,确保集群不处于启动中、停止中、停止、删除中、已删除、冻结状态。 操作视频 本视频为您介绍如何为MRS集群绑定弹性公网IP,并访问集群中组件的WebUI页面。 因不同版本操作界面可能存在差
的数据请求发送到MRS集群并动态转发到对应的站点。 前提条件 访问MRS集群Manager前,确保集群不处于启动中、停止中、停止、删除中、已删除、冻结状态。 操作视频 本视频为您介绍如何为MRS集群绑定弹性公网IP,并访问集群中组件的WebUI页面。 因不同版本操作界面可能存在差
将原始类型中'INT64'的TIMESTAMP_MICROS转换为Hive的timestamp N false --decode-partition 如果分区在写入过程中已编码,则解码分区值 N false --batch-sync-num 指定每批次同步hive的分区数 N 1000 Hive Sync时会判
方法一:申请一台Windows的ECS访问MRS集群操作Impala,在安装开发环境后可直接运行样例代码。 在“现有集群”列表中,单击已创建的集群名称。 记录集群的“可用分区”、“虚拟私有云”,以及Master节点的“默认安全组”。 在弹性云服务管理控制台,创建一个新的弹性云服务器。
是,执行3。 否,执行2。 联系网络管理员查看是否为网络故障,并修复故障。 是,执行3。 否,执行5。 等待5分钟,查看告警列表中,该告警是否已清除。 是,处理完毕。 否,执行4。 分别登录主备管理节点,执行su - omm命令切换到omm,用户进入“${BIGDATA_HOME}/
<name>dfs.namenode.acls.enabled</name> <value>false</value> </property> 如果集群已启用Kerberos认证(安全模式),执行以下命令使用具有相应OBS路径“Read”和“Write”权限的用户进行认证,如果集群未启用Ker
table_comment] [WITH (property_name = expression [,… ] ) ] 描述 使用LIKE子句可以在一个新表中包含一个已存在的表所有的列定义。可以使用多个LIKE来复制多个表的列。 如果使用了INCLUDING PROPERTIES,表的所有属性也会被复制到新表,该选项最多只能对一个表生效。
件等操作。 执行HDFS Shell的方法: 初始化环境变量。 source /opt/client/bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。当前用户为准备HDFS应用开发用户时增加的开发用户。
将原始类型中'INT64'的TIMESTAMP_MICROS转换为Hive的timestamp N false --decode-partition 如果分区在写入过程中已编码,则解码分区值 N false --batch-sync-num 指定每批次同步hive的分区数 N 1000 Hive Sync时会判
Streaming中定义了每60s一个批次,回写数据总共为600MB。而Kafka中定义了接收数据的阈值大小为500MB。那么此时回写数据已超出阈值。此时,会出现上述错误。 图1 应用场景 解决措施: 方式一:推荐优化Spark Streaming应用程序中定义的批次时间,降低批
Streaming中定义了每60s一个批次,回写数据总共为600MB。而Kafka中定义了接收数据的阈值大小为500MB。那么此时回写数据已超出阈值。此时,会出现上述错误。 图1 应用场景 解决措施: 方式一:推荐优化Spark Streaming应用程序中定义的批次时间,降低批
检查ZooKeeper服务状态。 查看ZooKeeper服务的运行状态是否为“良好”。 是,执行8。 否,执行6。 如果ZooKeeper服务已停止,则启动ZooKeeper服务,否则参考ALM-13000 ZooKeeper服务不可用的处理步骤进行操作。 再次执行5。 检查Broker实例状态。
时提供大SQL、慢SQL的诊断与优化建议。 本章节适用于MRS 3.2.0及以后版本。 前提条件 集群运行正常并至少安装一个QAS实例。 已创建用于访问HetuEngine WebUI界面的用户,如Hetu_user,用户创建具体操作请参见创建HetuEngine权限角色。 开启SQL诊断功能
alter '表名', {NAME => '列族名', BLOCKCACHE => true} 执行以下命令检查列族的BLOCKCACHE参数是否已更改为“true”: describe '表名' 等待几分钟后,在告警列表中查看该告警是否清除。 是,处理完毕。 否,执行14。 检查Reg
OperateLog_store_YY_MM_DD_HH_MM_SS.csv”,保存的审计日志历史文件数最大为50。 审计日志自动保存后,已归档的审计日志将不会在FusionInsight Manager界面中展示,Manager中可见的审计日志范围为上一次自动保存后至当前的审计日志内容。
Kafka普通用户组。添加入本组的用户,需要被kafkaadmin组用户授予特定主题的读写权限,才能访问对应主题。 前提条件 已安装Kafka客户端。 用户已明确业务需求,并准备一个属于kafkaadmin组的用户,作为Kafka管理员用户。 操作步骤 登录FusionInsight
blacklisting的相关参数 参数 描述 默认值 dfs.client.failover.proxy.provider.[nameservice ID] 利用已通过的协议创建namenode代理的Client Failover proxy provider类。 将参数值设置为“org.apache.hadoop
列,1代表第2列,依次类推。 创建列加密表时,表所在的目录必须是空目录。 使用insert语句向设置列加密的表中导入数据。 假设test表已存在且有数据: insert into table <table_name> select <col_list> from test; 父主题:
blacklisting的相关参数 参数 描述 默认值 dfs.client.failover.proxy.provider.[nameservice ID] 利用已通过的协议创建namenode代理的Client Failover proxy provider类。 将参数值设置为“org.apache.hadoop
表1 配置参数 参数 描述 默认值 dfs.client.failover.proxy.provider.[nameservice ID] 用已通过的协议创建namenode代理的Client Failover proxy provider类。配置成org.apache.hadoop