检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
er使用的基本时间单位,心跳、超时的时间都由它来规定。 4000 ZooKeeper内部时间由参数ticktime和参数synclimit控制,如需调大ZooKeeper内部超时时间,需要调大客户端连接ZooKeeper的超时时间。 父主题: 使用ZooKeeper
Hive表HDFS数据目录被误删,但是元数据仍然存在,导致执行任务报错。 回答 这是一种误操作的异常情况,需要手动删除对应表的元数据后重试。 例如: 执行以下命令进入控制台: source ${BIGDATA_HOME}/FusionInsight_BASE_xxx/install/FusionInsight-dbservice-2
MRS 3.0.5.1补丁安装过程中会自动重启Executor、Controller进程,安装过程中将影响作业提交以及集群扩缩容等管控面集群控制功能,请选择适当的时间进行补丁安装。 MRS 3.0.5.1补丁安装完成后需要在FusionInsight Manager Web界面重启
Executor的信息,对于JDBCServer长任务来说,Executor的动态回收是常态,Lost Executor个数太多,会撑爆“Executor”页面,因此需要控制页面显示的Lost Executor个数。 配置描述 在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1
Hive表HDFS数据目录被误删,但是元数据仍然存在,导致执行任务报错。 回答 这是一种误操作的异常情况,需要手动删除对应表的元数据后重试。 例如: 执行以下命令进入控制台: source ${BIGDATA_HOME}/FusionInsight_BASE_8.1.0.1/install/FusionInsight-dbservice-2
Executor的信息,对于JDBCServer长任务来说,Executor的动态回收是常态,Lost Executor个数太多,会撑爆“Executor”页面,因此需要控制页面显示的Lost Executor个数。 配置描述 在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1
WebUI界面创建名为my-cluster的默认Kafka集群,用户也可以在KafkaManager的WebUI界面自行添加已经通过MRS控制台创建的Kafka集群,用于管理多个Kafka集群。 登录KafkaManager的WebUI界面。 在页面上方选择“Cluster > Add
MapReduce中常见的类如下: org.apache.hadoop.mapreduce.Job:用户提交MR作业的接口,用于设置作业参数、提交作业、控制作业执行以及查询作业状态。 org.apache.hadoop.mapred.JobConf:MapReduce作业的配置类,是用户向Hadoop提交作业的主要配置接口。
[ak, sk,] format, structure, [compression]) path:访问域名/OBS文件路径,登录OBS管理控制台,在左侧导航栏单击“并行文件系统”,在“并行文件系统”页面单击对应的文件系统名称,在“文件”页面单击文件名称,文件“链接”即path路径,如图1所示。
MapReduce中常见的类如下: org.apache.hadoop.mapreduce.Job:用户提交MR作业的接口,用于设置作业参数、提交作业、控制作业执行以及查询作业状态。 org.apache.hadoop.mapred.JobConf:MapReduce作业的配置类,是用户向Hadoop提交作业的主要配置接口。
scaleOutCluster 集群缩容 cluster scaleInCluster 在您开启了云审计服务后,系统开始记录云服务资源的操作。云审计服务管理控制台保存最近7天的操作记录。相关操作步骤请参考“云审计服务(CTS) > 用户指南”。
通过ECS访问MRS集群Manager 进入MRS管理控制台。 在“现有集群”列表中,单击指定的集群名称。 记录集群的“可用区”、“虚拟私有云”、“安全组”。 在管理控制台首页服务列表中选择“弹性云服务器”,进入ECS管理控制台,创建一个新的弹性云服务器。 弹性云服务器的“可用区
新安装客户端。 如果需要在管理控制台执行作业提交操作,需要使用omm用户登录主OMS节点并执行sh /opt/executor/bin/refresh-client-config.sh命令刷新集群内置客户端。 创建OBS并行文件系统 登录OBS控制台。 选择“并行文件系统 > 创建并行文件系统”。
Maxwell是一个开源程序(https://maxwells-daemon.io),通过读取MySQL的binlog日志,将增删改等操作转为JSON格式发送到输出端(如控制台/文件/Kafka等)。Maxwell可部署在MySQL机器上,也可独立部署在其他与MySQL网络可通的机器上。 Maxwell运行在L
la报找不到类路径。 回答 Impala默认将UDF对应的jar包缓存到“/tmp”目录下,由--local_library_dir配置项控制,“/tmp”目录下的文件保存一定时间后会被操作系统删除,导致Impala查询时出现缺类错误。 登录Manager界面,选择“集群 > 服务
使用HDFS Colocation存储Hive表 操作场景 HDFS Colocation(同分布)是HDFS提供的数据分布控制功能,利用HDFS Colocation接口,可以将存在关联关系或者可能进行关联操作的数据存放在相同的存储节点上。Hive支持HDFS的Colocati
使用HDFS Colocation存储Hive表 操作场景 HDFS Colocation(同分布)是HDFS提供的数据分布控制功能,利用HDFS Colocation接口,可以将存在关联关系或者可能进行关联操作的数据存放在相同的存储节点上。Hive支持HDFS的Colocati
警相关的配置参数有两个: spark.thriftserver.proxy.create.session.monitor.enabled,控制是否启用该告警功能,集群默认配置为true。 spark.thriftserver.proxy.create.session.timeout
升级Master节点规格会导致业务中断,请尽量安排业务空闲期升级Master节点规格。 集群Master节点规格升级(一键升级) 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在“节点管理”页签Master节点组的“操作”列选择“升级
MapReduce中常见的类如下: org.apache.hadoop.mapreduce.Job:用户提交MR作业的接口,用于设置作业参数、提交作业、控制作业执行以及查询作业状态。 org.apache.hadoop.mapred.JobConf:MapReduce作业的配置类,是用户向Hadoop提交作业的主要配置接口。