检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
convertInsertingPartitionedTable=true命令在Spark会话中配置。 重启相关组件 补丁安装完成后,需要手动重启相关大数据组件服务,使补丁生效。 提供两种重启方式,请根据业务自行选择重启方式: 滚动重启:影响小,耗时长。 离线重启:会断服,耗时短。 登录MRS管理控制台或FusionInsight
te.xml”、“core-site.xml”和“hdfs-site.xml”是否为适配应用运行修改或新增过配置内容。 是,将相关内容同步更新到新的配置文件中,并替换旧的配置文件。 否,使用新的配置文件替换HBase上层应用中原有的配置文件。 配置HBase上层应用所在主机与备集群的网络连接。
的对话框中单击“确定”。 如果重置LDAP账户密码需要重启ACS,操作步骤如下: 使用PuTTY,以omm用户登录主管理节点,执行以下命令更新域配置: sh ${BIGDATA_HOME}/om-server/om/sbin/restart-RealmConfig.sh 提示以下信息表示命令执行成功:
e.xml”文件中“hive.server2.async.exec.threads”数量,适当增大该数值(如:增大原数值的20%)。 保存更新配置。 查看本告警是否恢复。 是,操作结束。 否,执行9。 收集故障信息。 在FusionInsight Manager首页,选择“运维 >
curl-x.x.x ./configure make make install 使用如下命令更新curl的动态链接库: ldconfig 安装成功后,重新登录节点环境,使用如下命令查看curl版本是否更新成功: curl --version 获取JobHistory中所有应用信息: 命令:
efully用于判断是否需要等待所有接收到的数据处理完成。 UpdateStateByKey(func) 更新DStream的状态。使用此方法,需要定义State和状态更新函数。 window(windowLength, slideInterval) 根据源DStream的窗口批次计算得到一个新的DStream。
enabled”的值置为“false”并保存配置。单击“实例”,勾选所有HSBroker,选择“更多 > 重启实例”,根据界面提示重启实例以使配置生效。 父主题: 管理HetuEngine计算实例
> 待操作集群的名称 > HDFS > 实例”勾选状态为“配置过期”的DataNode实例,选择“更多 > 重启实例”使GC_OPTS配置生效。 重启期间服务业务可能受损或中断,建议选择业务低峰期操作。 等待5分钟,检查该告警是否恢复。 是,处理完毕。 否,执行5。 查看是否有关联告警
hive_client”,记作“$HCAT_CLIENT”,并确保已经安装好Hive和Yarn客户端。运行环境变量使HCAT_CLIENT生效。 export HCAT_CLIENT=/opt/hive_client 执行以下命令用于配置环境变量信息(以客户端安装路径为“/opt/client”为例):
hive_client”,记作“$HCAT_CLIENT”,并确保已经安装好Hive和Yarn客户端。运行环境变量使HCAT_CLIENT生效。 export HCAT_CLIENT=/opt/hive_client 执行以下命令用于配置环境变量信息(以客户端安装路径为“/opt/client”为例):
的“全部配置”页面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 保存配置,在弹出窗口中单击“确定”使配置生效。 日志格式 Kafka的日志格式如下所示 表4 日志格式 日志类型 格式 示例 运行日志 <yyyy-MM-dd HH:mm:ss,SSS>|<Log
r权限控制策略后,通过FusionInsight Manager创建的角色中关于该组件的权限将失效(HDFS与Yarn的组件ACL规则仍将生效),用户需通过Ranger管理界面添加策略进行资源的赋权。 Ranger的权限模型由多条权限策略组成,权限策略主要由以下几方面组成: 资源
序,所以在每次执行日志归档任务后,会新增一条MR执行记录。 本功能归档的日志来源于日志收集功能,因此只有在日志收集功能开启状态下本功能才会生效。 父主题: MapReduce
图1 Spark应用运行架构 操作流程 本实践基本操作流程如下所示: 步骤1:创建MRS集群:创建一个分析集群,版本号为MRS 3.1.0,不启用Kerberos认证。 步骤2:准备样例程序和数据:创建OBS并行文件系统,并将Spark2x样例程序和样例数据上传到OBS并行文件系统中。
以实现与外部系统的集成。 几乎所有OpenTSDB功能都可通过API访问,例如查询时间序列数据,管理元数据和存储数据点。详情请参见:https://opentsdb.net/docs/build/html/api_http/index.html。 父主题: 组件介绍
1.1/hadoop-yarn/hadoop-yarn-common/yarn-default.xml MRS 3.2.0及之后版本:https://hadoop.apache.org/docs/r3.3.1/hadoop-yarn/hadoop-yarn-common/yarn-default
LOG.info("Status Code : " + statusCode); if (statusCode != HttpStatus.SC_OK) { LOG.info("Request failed! " + response.getStatusLine());
开发。 Java API 提供Java语言的API,提供过滤、join、窗口、聚合等数据处理能力。 有关Flink的详细信息,请参见:https://flink.apache.org/ 父主题: Flink应用开发概述
DBService > 数据库 > 数据库连接数使用率 (DBServer)”,单击“操作”栏的“修改”按钮,进入修改规则界面,修改后单击“确定”,修改即生效,如图4所示。 图4 设置告警阈值 等待2分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行9。 收集故障信息 在FusionInsight
properties 单击“保存”,保存配置。 选择“集群 > 服务 > HetuEngine > 更多 > 重启服务”,重启HetuEngine服务让参数生效。 若存在运行中的计算实例需重启HetuEngine计算实例。 使用HetuEngine管理员用户登录Manager,选择“集群 > 服务