检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备MapReduce开发和运行环境 准备开发环境 在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Windows系统或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。
在进行二次开发时,要准备的开发环境如表1所示。同时需要准备运行调测的Linux环境,用于验证应用程序运行正常。 表1 开发环境 准备项 说明 操作系统 Windows系统,推荐Windows 7及以上版本。 安装JDK 开发环境的基本配置。版本要求:1.8及以上。 安装和配置Eclipse
Flume Client端与Flume Server端网络故障。 Flume Client端进程故障。 Flume Client端配置错误。 处理步骤 检查Flume Client与Flume Server的网络状况。 登录告警定位参数中描述的Flume ClientIP所在主机,执行以下命令切换root用户。
准备一个应用程序运行测试的Linux环境。 准备运行调测环境 在弹性云服务器管理控制台,申请一个新的弹性云服务器,用于用户应用程序开发、运行、调测。 弹性云服务器的主机操作系统选择“EulerOS”,版本请根据需要选择。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。
false); } [1]userdir获取的是编译后资源路径下conf目录的路径。 前提条件 已获取样例工程运行所需的配置文件及认证文件,详细操作请参见准备连接HBase集群配置文件。 配置安全登录 请根据实际情况,在“com.huawei.bigdata.hbase.example
安全模式下,登录IoTDBServer所在节点的用户名和密码由FusionInsight Manager统一控制,参考准备集群认证用户信息,确保该用户具有操作IoTDB服务的角色权限。 需在本地环境变量中设置环境变量认证用户名和认证用户密码,建议密文存放,使用时解密,确保安全。其中: 认证用户名为访问IoTDB的用户名。
登录FusionInsight Manager,选择“系统 > 权限 > 角色” 单击“添加角色”,输入“角色名称”和“描述”。 在“配置资源权限”的表格中选择“待操作集群的名称 > Hive > Hive读写权限”。 在数据库列表中单击用户B创建的表所在的数据库名称,显示用户B创建的表。 在用户B创建的表的“权限”列,勾选“查询”。
by和primary key)。 ReplacingMergeTree 相对于MergeTree,它会用最新的数据覆盖具有相同主键的重复项。 删除老数据的操作是在分区异步merge的时候进行处理,只有同一个分区的数据才会被去重,分区间及shard间重复数据不会被去重,所以应用侧想要获取到最新数据,需要配合argMax函数一起使用。
kadmin/admin的默认密码为“KAdmin@123”,首次登录后会提示该密码过期,请按照提示修改密码并妥善保存。 执行以下命令,重置组件运行用户密码。此操作对所有服务器生效。 cpw 组件运行用户名 例如:cpw oms/manager 集群中,默认的密码复杂度要求: 密码字符长度为8~32位。
onfig.xml、validate-rule-session.xml、 validate-rule-user.xml三个配置文件。 处理步骤 以omm用户登录主Master节点的“/opt/Bigdata/om-server_*/apache-tomcat-*/webapps/
Manager的数据库异常,所有核心业务和相关业务进程,例如告警和监控功能,都会受影响。 可能原因 浮动IP地址异常。 数据库异常。 处理步骤 检查主管理节点的浮动IP地址状态。 打开MRS集群详情页面,在告警管理页签的告警列表中,单击此告警所在行,在告警详情中,查看该告警的主机地址及资源名称。
表4 响应Body参数 参数 参数类型 描述 result String 参数解释: 更新映射请求操作结果。 约束限制: 不涉及 取值范围: succeeded:操作成功 failed:操作失败 默认取值: 不涉及 状态码: 400 表5 响应Body参数 参数 参数类型 描述 error_code
la和Python两种语言。在Spark目录下,执行./bin/spark-shell即可进入Scala交互式界面从HDFS中获取数据,再操作RDD。 示例:一行代码可以实现统计一个文件中所有单词。 scala> sc.textFile("hdfs://10.96.1.57:9000//wordcount_data
la和Python两种语言。在Spark目录下,执行./bin/spark-shell即可进入Scala交互式界面从HDFS中获取数据,再操作RDD。 示例:一行代码可以实现统计一个文件中所有单词。 scala> sc.textFile("hdfs://10.96.1.57:9000//wordcount_data
可能原因 对接第三方AD服务配置项错误 FusionInsight与第三方AD服务之间网络连接故障 AD服务器故障 AD服务故障 处理步骤 检查第三方AD配置。 在FusionInsight Manager页面,选择“系统 > 权限 > 第三方AD”,打开第三方AD配置页面。
"[--class, --driver-memory, --executor-cores, --master, yarn-cluster, s3a://obs-test/hadoop-mapreduce-examples-3.1.1.jar, dddd]", "launcher_id" :
如果主Manager进程资源异常,主备倒换无法进行,影响运维基本功能使用。 可能原因 主备Manager节点间链路异常。 节点名配置错误。 防火墙禁用端口。 处理步骤 检查主备Manager服务器间的网络是否正常。 在FusionInsight Manager页面,选择“运维 > 告警 > 告警”,单击
在Linux环境中调测HDFS应用 操作场景 HDFS应用程序支持在Linux环境中运行。在程序代码完成开发后,可以上传Jar包至准备好的Linux环境中运行。 HDFS应用程序运行完成后,可直接通过运行结果查看应用程序运行情况,也可以通过HDFS日志获取应用运行情况。 前提条件
查看Kafka服务状态: MRS Manager界面操作:登录MRS Manager,依次选择“服务管理 > Kafka”,查看当前Kafka状态,发现状态为良好,且监控指标内容显示正确。 FusionInsight Manager界面操作:登录FusionInsight Manager,选择“集群
指标所属服务:指标所属的服务名名称,标明指标所属的服务类型,如HDFS、HBase等。 指标所属角色:指标所属的角色名名称,标明指标所属的实际角色类型,如JobServer、RegionServer等。 配置MRS集群监控指标数据转储(MRS 3.x及之后版本) 登录FusionInsight Manager。