检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在HDFS上创建一个文件夹“/tmp/examples/multi-components/mapreduce/input/”,并上传data.txt到此目录,命令如下: 登录HDFS客户端。 cd 客户端安装目录 source bigdata_env kinit 组件业务用户 在Linux系统HDFS客户端使用命令hdfs
节点故障(2.x及以前版本)产生。 是,执行1.c。 否,执行1.d。 按ALM-12006 节点故障(2.x及以前版本)提供的步骤处理该告警。 登录告警节点,查看告警角色所在安装目录用户、用户组、权限等是否正常。正常用户、用户组、权限为“omm:ficommon 750”。 是,执行1
键的接口函数有所了解。 作为存储引擎,通常情况下Kudu会和计算引擎一起协同工作: 首先在计算引擎上(比如Impala)用SQL语句创建表对象; 然后通过Kudu的驱动往这个表里写数据; 在计算引擎上直接查询这个表里的数据。 在本开发程序示例中,为了不引入额外的计算引擎,将以Kudu为主,全部通过Java
Hue提供了Oozie作业管理器功能,使用户可以通过界面图形化的方式使用Oozie。 Hue界面主要用于文件、表等数据的查看与分析,禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作,建议在确认对业务没有影响后通过各组件的相应操作方法进行处理,例如使用HDFS客户端对HDFS文件进行操作
多 > 查询历史”。 在弹出的窗口中,指定一次成功执行的“备份路径”,单击“查看”,打开此次任务执行的备份路径信息,查找以下信息: “备份对象”表示备份的数据源。 “备份路径”表示备份文件保存的完整路径。 选择正确的项目,在“备份路径”中选中备份文件的完整路径并复制。 在FusionInsight
如果数据要备份至OBS中,需要当前集群已对接OBS,并具有访问OBS的权限。 备份HDFS NameNode元数据 在FusionInsight Manager,选择“运维 > 备份恢复 > 备份管理”。 单击“创建”。 在“任务名称”填写备份任务的名称。 在“备份对象”选择待操作的集群。
clientInfo.getProperty("principal"); 在安全模式下,需要Kerberos用户以及keytab文件路径等信息进行登录认证。 // 设置新建用户的userName,其中"xxx"指代之前创建的用户名,例如创建的用户为developuser,则USER_NAME为developuser
clientInfo.getProperty("principal"); 在安全模式下,需要Kerberos用户以及keytab文件路径等信息进行登录认证。 // 设置新建用户的userName,其中"xxx"指代之前创建的用户名,例如创建的用户为developuser,则USER_NAME为developuser
任意目录。 将myfunctions-0.0.1-SNAPSHOT目录上传到HDFS中。 同时上传6中target目录下的所有jar包。 登录客户端安装节点,执行安全认证。 cd /opt/client source bigdata_env kinit HetuEngine的用户
启动Job 删除Job IoTDB审计日志 维护管理 授权 收回权限 认证和登录信息 业务操作 删除时间序列/分区/函数/索引 修改时间序列操作 ClickHouse审计日志 维护管理 授权 收回权限 认证和登录信息 业务操作 创建数据库/表 插入、删除、查询、执行数据迁移任务 DBService审计日志
的接口函数有所了解。 开发思路 作为存储引擎,通常情况下会和计算引擎一起协同工作: 首先在计算引擎上(比如Impala)用SQL语句创建表对象; 然后通过Kudu的驱动往这个表里写数据; 于此同时可以在计算引擎上直接查询这个表里的数据。 在本开发程序示例中,为了不引入额外的计算引擎,将以Kudu为主,全部通过Java
Hue提供了Oozie作业管理器功能,使用户可以通过界面图形化的方式使用Oozie。 Hue界面主要用于文件、表等数据的查看与分析,禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作,建议在确认对业务没有影响后通过各组件的相应操作方法进行处理,例如使用HDFS客户端对HDFS文件进行操作
经过查询发现是ApplicationMaster(以下简称AM)反应缓慢,最终超时失败。 此任务的问题是,task数量变多时,AM管理的对象也线性增长,因此就需要更多的内存来管理。AM默认分配的内存堆大小是1GB。 操作步骤 通过调大如下的参数来进行AM调优。 参数入口: 在Yarn客户端的“mapred-site
经过查询发现是ApplicationMaster(以下简称AM)反应缓慢,最终超时失败。 此任务的问题是,task数量变多时,AM管理的对象也线性增长,因此就需要更多的内存来管理。AM默认分配的内存堆大小是1GB。 操作步骤 通过调大如下的参数来进行AM调优。 参数入口: 在Yarn客户端的“mapred-site
模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “目的端NameNode IP地址”:填写备集群NameNode业务平面IP地址,支持主节点或备节点。 “目的端路径”:填写备集群保存备份数据的HDFS目录。不支持填写HDFS中的隐藏目录,例如快照
Job创建后的Jobid 返回结果 参数 描述 status 包含job状态信息的json对象。 profile 包含job信息的json对象。WebHCat解析JobProfile对象中的信息,该对象因Hadoop版本不同而不同。 id Job的id。 percentComplete 完成百分比,比如75%
能运行Flink样例工程。 前提条件 MRS服务集群开启了Kerberos认证,没有开启Kerberos认证的集群忽略该步骤。 操作步骤 登录MRS Manager,在MRS Manager界面选择“系统设置 > 角色管理 > 添加角色”。 填写角色的名称,例如flinkrole。
是,执行4。 否,执行10。 等待一段时间,检查该告警是否恢复。 是,处理完毕。 否,执行5。 增加Supervisor Slot数量配置。 登录FusionInsight Manager管理界面,选择“集群 > 待操作集群的名称 > 服务 > Storm > 配置 > 全部配置”。
53:23011,是10网段的IP地址。由于192网段的IP和10网段的IP不能互通,所以导致访问Spark Web UI界面失败。 处理步骤 登录10.10.169.53客户端机器。 修改“/etc/hosts”文件,将10.120.169.53更改为相对应的192网段的IP地址。
已安装集群客户端,例如安装目录为“/opt/hadoopclient”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 操作步骤 以客户端安装用户,登录安装客户端的节点。 执行su - omm命令,切换到omm用户。 执行以下命令,切换到客户端安装目录。 cd /opt/hadoopclient