检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
计算和存储能力，完成海量数据的处理。企业自行部署Hadoop系统有成本高，周期长，难运维和不灵活等问题。 针对上述问题，华为云提供了大数据MapReduce服务（MRS），MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。MRS提供租户完全可控
因不同版本操作界面可能存在差异，相关视频供参考，具体以实际环境为准。 前提条件 用户已经将作业所需的程序包和数据文件上传至OBS或HDFS文件系统中。 如果作业程序需要读取以及分析OBS文件系统中的数据，需要先配置MRS集群的存算分离，请参考配置MRS集群存算分离。 通过管理控制台提交作业 登录MRS管理控制台。
据生态系统中，Alluxio 位于计算和存储之间，为包括 Apache Spark、Presto、Mapreduce 和 Apache Hive的计算框架提供了数据抽象层，使上层的计算应用可以通过统一的客户端API和全局命名空间访问包括HDFS和OBS在内的持久化存储系统，从而实现了对计算和存储的分离。
息的管理、查询。 通过Flink作业处理OBS数据 本实践指导使用MRS集群内置的Flink WordCount作业程序，来分析OBS文件系统中保存的源数据，以统计源数据中的单词出现次数。 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，
行相关运维操作以及设置条件筛选和搜索主机；还可单击“导出全部”，在“保存类型”选择“TXT”或“CSV”，单击“确定”导出所有主机的信息。系统默认为“主机视图”，单击“角色视图”切换视图类型，也可单击编辑按钮自定义各视图展示的内容。 表2 主机视图类型说明 视图类型 说明 主机视图
“System_administrator”角色，主组为“hive”。 处理步骤 登录FusionInsight Manager。 选择“系统 > 权限 > 用户”。 在用户列表上方，单击“添加用户”，并配置如下信息，其他参数保持默认。 用户名：自定义，例如hueuser。 用户类型：选择“人机”。
lib chown omm:wheel jar包文件名 chmod 600 jar包文件名 登录FusionInsight Manager系统，选择“集群 > 服务 > Loader > 更多 > 重启服务”输入管理员密码重启Loader服务。 父主题： 使用Loader
DROP COLUMNS (b1,c1); ALTER TABLE test_db.carbon DROP COLUMNS (b1,c1); 系统响应 运行DESCRIBE命令，将不会显示已删除的列。 父主题： CarbonData语法参考
准备一个提交Flink作业的用户。 登录Manager，选择“系统 > 权限 > 角色”，单击“添加角色”，输入角色名称与描述。在“配置资源权限”的表格中选择“待操作集群的名称 > Flink”，勾选“FlinkServer管理操作权限”，单击“确定”，返回角色管理。 选择“系统 > 权限 > 用户”，单击“添
principal=oracle/hadoop@<系统域名> # keytab file client.keytab.file=./conf/login/oracle.keytab 登录FusionInsight Manager，选择“系统 > 权限 > 域和互信”，“本端域”参数即为当前系统域名。 表1 配置参数说明
principal=oracle/hadoop@<系统域名> # keytab file client.keytab.file=./conf/login/oracle.keytab 登录FusionInsight Manager，选择“系统 > 权限 > 域和互信”，“本端域”参数即为当前系统域名。 表1 配置参数说明
就可以避免工作内容的丢失。状态信息需要让Active/Standby的ResourceManager都能访问。当前系统提供了三种共享状态信息的方法：通过文件系统共享（FileSystemRMStateStore）、通过LevelDB数据库共享（LeveldbRMStateSto
若选择克隆作业，需填写克隆作业数量（最多支持50个，默认10个。） 克隆作业时设置的克隆作业数量不代表最终实际克隆的作业数，部分作业类型暂不支持，会被系统自动过滤。 单击“确定”。 在生成的集群购买页，如保持配置不变，则填写相关密码或密钥后，单击“立即购买”即可克隆集群。 如需修改配置，也可
column1 = 'xxx'); 示例5： delete from columncarbonTable1 where column2 >= 4; 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题： DML
show_active_instant_detail(table => 'hudi_table1', instant => '20220913144936897'"); 系统响应 可在客户端中查看查询结果。 父主题： Hudi CALL COMMAND语法说明
配置HetuEngine通过Guardian访问OBS。 HetuEngine对接MemArtsCC当前仅支持EulerOS和银河麒麟操作系统。 修改HetuEngine配置 登录FusionInsight Manager，选择“集群 > 服务 > HetuEngine > 配置
对应的连接的使用权限。 操作步骤 设置作业基本信息 登录“Loader WebUI”界面。 登录FusionInsight Manager系统，具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。 单击“LoaderServer(节点名称，主)”打开“Loader
parquet.compression.codec”配置项只适用于设置非分区表的parquet压缩格式。 配置参数 参数入口： 在Manager系统中，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”，在搜索框中输入参数名称。 表1 参数介绍
table carbon01; 上述命令将从物理上删除所有DELETE SEGMENT命令删除的segment和合并后的旧的segment。 系统响应 可在driver日志中查看命令运行成功或失败。 父主题： DML
tering的表 如果需要对指定分区进行clustering，参考格式：predicate => "dt = '2021-08-28'" 系统响应 可在客户端中查看查询结果。 父主题： Hudi CALL COMMAND语法说明
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
