检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
备份HDFS业务数据 操作场景 为了确保HDFS日常用户的业务数据安全，或者系统管理员需要对HDFS进行重大操作（如升级或迁移等），需要对HDFS数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight
kinit {用于认证的业务用户} 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /data（hdfs dfs命令有同样的作用），创建对应目录。 在Linux系统HDFS客户端使用命令hadoop fs -put data /data，上传数据文件。 在样例代码中配置相关参数。
建表时指定Location为OBS路径： 以客户端安装用户登录安装客户端的节点，并进入spark-sql客户端： cd 客户端安装目录 kinit 组件操作用户 spark-sql --master yarn 在创建表时指定Location为OBS文件系统路径。 例如，创建一个表“test”，该
参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 设备分区名 产生告警的磁盘分区。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务失败：磁盘
配置MRS集群通过IAM委托对接OBS MRS支持用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算模式。MRS通过IAM服务的“委托”机制进行简单配置， 实现使用ECS自动获取的临时AK/SK访问OBS。避免了AK/SK直接暴露在配置文件中的风险。 通过绑定委托
txt到此目录，命令如下： 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input（hdfs dfs命令有同样的作用），创建对应目录。 进入到HDFS客户端下的“/tmp/input”目录，在Linux系统HDFS客户端使用命令在Linux系统HDFS客户端使用命令hadoop
3个block，在新集群17.9/128M = 1个block，因此实际在磁盘的物理大小因分割而导致校验失败。 解决办法 distcp时，增加-pb参数。该参数作用为distcp时候保留block大小，确保新集群写入文件blocksize和老集群一致。 图2 distcp时保留block大小 父主题：
快速使用Hive进行数据分析 Hive是基于Hadoop的一个数据仓库工具，可将结构化的数据文件映射成一张数据库表，并提供类SQL的功能对数据进行分析处理，通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 背景信息
务的服务票据ST。 图2 认证流程图 LDAP数据读写 LDAP作为用户数据存储中心，存储了集群内用户的信息，包含密码，附属信息等。用户操作用户数据或进行Kerberos认证需要访问LDAP。 图3 数据修改过程 LDAP数据同步 安装集群前OMS LDAP数据同步 图4 OMS
数值名称 描述 设定要求 baseTaskCount 任务总量基数，只有当应用的task总数（map端与reduce端之和）不小于该值时配置才会起作用 不能为空且大于零 taskStep 任务增量步进，与memoryStep共同决定内存调整量 不能为空且大于零 memoryStep 内存增量步进，在"yarn
否，执行5。 执行lsblk命令，是否可以查到“磁盘名”字段值与磁盘设备的映射关系。 是，执行6。 否，执行21。 以root用户登录上报告警的节点，执行lsscsi | grep "/dev/sd[x]"命令查看磁盘的设备信息，判断磁盘是否建立了RAID。 其中/dev/sd[x]为1中获取到的上报告警的磁盘名称。
java”文件中的“TOPIC”变量，例如：public final static String TOPIC = "kafka-topic"。 该样例默认的时序数据模板为“设备名称,时间戳,值”，例如“sensor_1,1642215835758,1.0”，可根据实际场景在“Constant.java”文件修改“
jar参数中指定main函数所在类。 代码样例 下面代码片段在com.huawei.storm.example.wordcount.WordCountTopology类中，作用在于构建应用程序并提交。 public static void main(String[] args) throws
txt到此目录，命令如下： 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input（hdfs dfs命令有同样的作用），创建对应目录。 进入到HDFS客户端下的“/tmp/input”目录，在Linux系统HDFS客户端使用命令hadoop fs -putinput_data1
txt到此目录，命令如下： 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input（hdfs dfs命令有同样的作用），创建对应目录。 进入到HDFS客户端下的“/tmp/input”目录，在Linux系统HDFS客户端使用命令hadoop fs -put
txt到此目录，命令如下： 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input（hdfs dfs命令有同样的作用），创建对应目录。 进入到HDFS客户端下的“/tmp/input”目录，在Linux系统HDFS客户端使用命令hadoop fs -putinput_data1
使用Loader导入数据 操作场景 该任务指导用户完成将数据从外部的数据源导入到MRS的工作。 一般情况下，用户可以手工在Loader界面管理数据导入导出作业。当用户需要通过shell脚本来更新与运行Loader作业时，必须对已安装的Loader客户端进行配置。 前提条件 创建或
10003(kafka) 解决办法 MRS Manager界面操作： 登录MRS Manager。 选择“系统设置 > 用户管理”。 在操作用户对应的“操作”列，单击“修改”。 为用户加入kafkaadmin组。单击“确定”完成修改操作。 图1 修改用户信息 通过命令id查询用户组信息。
-test下面的文件夹test_obs_orc的文件列表。 cd 客户端安装目录 source bigdata_env kinit 组件操作用户（集群未开启Kerberos认证请跳过该操作） hadoop fs -ls "obs://obs-test/test_obs_orc"
ces_ClientConfig\Storm\config”，获取相关配置文件。 主要配置文件说明如表2所示。 表2 配置文件 文件名称 作用 storm.yaml 配置Storm集群信息。 streaming-site.xml 配置Storm详细参数。 在应用开发过程中，如需在
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
