检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
能力，包括小批量流式处理、离线批处理、SQL查询、数据挖掘等，用户可以在同一个应用中无缝结合使用这些能力。Spark2x的开源新特性请参考Spark2x开源新特性说明。 Spark的特点如下： 通过分布式内存计算和DAG（无回路有向图）执行引擎提升数据处理能力，比MapReduce性能高10倍到100倍。
> 样例工程名称 > Lifecycle > compile”，双击“compile”运行maven的compile命令。 图2 maven工具 clean和compile 方法二 在IDEA的下方Terminal窗口进入“pom.xml”所在目录，手动输入mvn clean compile命令进行编译。
选择“保存 > 确定”后等待操作成功。 滚动重启Yarn服务，输入密码并单击“确定”后等待操作成功。 进入主管理节点重启AOS服务。 使用PuTTY工具以omm用户登录主OMS服务器。 执行以下命令，防止“PuTTY”超时退出。 TMOUT=0 执行完本章节操作后，请及时恢复超时退出时间，
getClassLoader().getResource("conf").getPath() + File.separator; //In Linux environment //String userdir = System.getProperty("user.dir") +
getClassLoader().getResource("conf").getPath() + File.separator; //In Linux environment //String userdir = System.getProperty("user.dir") +
1之前版本） 准备一个用于安装MRS集群客户端的Linux弹性云服务器。 云服务器操作系统及版本建议如下： 表2 操作系统参考列表 CPU架构 操作系统 支持的版本号 x86计算 Euler EulerOS 2.5 SUSE SUSE Linux Enterprise Server 12
远端节点上部署路径若已存在，该路径下不能包含任何文件。若不存在，该路径会被创建。登录远端节点用户需要对该路径具有执行和写权限。 使用WinSCP工具，以客户端安装用户将压缩文件保存到客户端安装的目录，例如“/opt/hadoopclient”。 解压软件包。 例如下载的客户端文件为“F
ckHouse集群整体迁移到另外一个机房的新集群当中。 为了解决上述场景下对搬迁能力的要求，MRS提供了ClickHouse集群数据一键式工具搬迁能力，将源集群中的ClickHouse数据库、表对象DDL、业务数据迁移到新建集群中。 迁移方案原理介绍 Replicated*MergeTree引擎的复制表迁移：
值对应的字段，设置为时间类型，才能精确到秒并完成导入。数据中包含比秒更精确的部分不会被导入。 导入到Hive分区表内表时，Hive默认不会扫描新导入的数据，需要执行如下HQL修复表才可以查询到新导入数据： MSCK REPAIR TABLE table_name; 转换步骤配置不
class); job.setOutputValueClass(Text.class); // HBase提供工具类添加HBase运行依赖到Job TableMapReduceUtil.addDependencyJars(job);
class); job.setOutputValueClass(Text.class); // HBase提供工具类添加HBase运行依赖到Job TableMapReduceUtil.addDependencyJars(job);
Manager界面上看不到该客户端的相关信息。 “-c”（可选）：指定业务配置文件，该文件需要用户根据自己业务生成，具体操作可在Flume服务端中“配置工具”页面参考Flume业务配置指南章节生成，并上传到待安装客户端节点上的任一目录下。如果安装时未指定（即不配置该参数），可在安装后上传已经生成的业务配置文件properties
常。 ClickHouse数据类型说明 MRS的ClickHouse服务数据类型如表1所示。 ClickHouse完整数据类型介绍，请参考开源官方数据类型介绍。 表1 ClickHouse数据类型 分类 关键字 数据类型 描述 数据类型 Int8 Int8 取值范围：-128~127
ce /opt/hiveclient/bigdata_env 执行以下命令认证用户。 kinit Hive业务用户 执行以下命令登录客户端工具。 beeline 执行以下命令更新用户的管理员权限。 set role admin; 创建库表操作 在“Policy Name”填写策略名称。
退服操作仅针对ClickHouseServer进行，不支持对ClickHouseBalancer进行退服操作。 本操作仅适用于MRS 3.1.2及之后版本。 使用PuTTY工具，以root用户登录ClickHouseServer所在节点，执行如下命令： echo 'select * from system.clusters'
403。 解决ClickHouse问题： ClickHouse偶现libunwind内存越界，导致进程重启。 ClickHouse的迁移工具内部有数据迁移时长限制，数据量较大时迁移失败。 Nodeagent进程连接ZooKeeper，异常链接不释放。 数据库进入只读导致任务失败。
常。 ClickHouse数据类型说明 MRS的ClickHouse服务数据类型如表1所示。 ClickHouse完整数据类型介绍，请参考开源官方数据类型介绍。 表1 ClickHouse数据类型 分类 关键字 数据类型 描述 数据类型 Int8 Int8 取值范围：【-128，127】
Httpd：/var/log/Bigdata/httpd（httpd安装、运行日志） logman：/var/log/Bigdata/logman（日志打包工具日志） NodeAgent：/var/log/Bigdata/nodeagent（NodeAgent安装、运行日志） okerberos：
如果MRS集群节点故障或者网络不通，需要先隔离该节点，否则补丁会安装失败。 新特性 支持在Hue WebUI中使用HetuEngine SQL编辑器。 运维巡检工具查询优化。 Flink流读Hudi新增了对消息滞留时间和消息堆积时间的监控。 解决的问题 MRS 3.2.0-LTS.1.5修复问题列表：
解决Ranger日志归档文件没有压缩，没有清理，导致严重告警，磁盘容量不足的问题 解决非Kerberos集群Hive对接Ldap后，Ranger开源界面无法联想Hive表的问题 Presto： 解决Presto中EventListener类加载器无法加载plugin类的问题 Oozie:
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
