检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对于旧版本仓库，源集群和目的集群的时区应该相同。 新的数据库和旧数据库的名字应该相同。 如果表是聚合表，则应将所有聚合表复制到新的数据库位置。 如果旧集群使用HIVE元数据库来存储表结构，则刷新将不起作用，因为文件系统中不存在表结构定义schema文件。 示例 REFRESH TABLE dbcarbon.productSalesTable;
根据表1，对如下参数进行设置。 表1 AM作业保留相关参数 参数 说明 默认值 yarn.app.mapreduce.am.work-preserve 是否开启AM作业保留特性。 false yarn.app.mapreduce.am.umbilical.max.retries AM作业保留特性中，运行的容器尝试恢复的最大次数。
ecurity-examples/OozieMapReduceExample Oozie提交MapReduce任务示例程序。 本示例演示了如何通过Java API提交MapReduce作业和查询作业状态，对网站的日志文件进行离线分析。 oozie-examples/ooziese
如果是跨集群对Hive表或分区数据进行导入导出，且目标集群和源集群都开启了Kerberos认证，需配置跨集群互信。 如果使用Import/Export命令导入导出其他用户创建的表或分区，需要授予用户对应表的权限： 集群未启用Ranger鉴权，需登录FusionInsight Manag
习，或者可以根据指导，新建一个Spark工程。 导入并配置Spark样例工程 新建Spark样例工程（可选） 配置安全认证 如果您使用的是开启了kerberos认证的MRS集群，需要进行安全认证。 配置Spark应用安全认证 根据场景开发工程 提供了Scala、Java、Pyth
配置Storm样例工程。 如果集群启用了安全服务，按登录方式分为以下两种。 keytab方式：需要从管理员处获取一个“人机”用户，用于认证，并且获取到该用户的keytab文件。 票据方式：从管理员处获取一个“人机”用户，用于后续的安全登录，开启Kerberos服务的renewab
source bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户，当前用户需要具有创建ClickHouse表的权限，具体请参见添加ClickHouse角色，为用户绑定对应角色。如果当前集群未启用Kerberos认证，则无需执行本步骤。 如果是MRS
BY能够用于给指定的分桶列进行排序；BUCKETS能够被用于指定分桶数；EXTERNAL可用于指定创建外部表；STORED AS能被用于指定文件存储的格式；LOCATION能被用于指定在HDFS上存储的路径。 想要查看支持哪些column属性，可以运行以下命令，会显示当前对接的catalog分别支持哪些列属性。
control，基于策略的权限控制）方式进行权限管理，可对HDFS、Hive、HBase等组件进行更加细粒度的数据访问控制。 组件同时只支持一种权限控制机制，当组件启用Ranger权限控制策略后，通过FusionInsight Manager创建的角色中关于该组件的权限将失效（HDFS与Yarn的组件AC
oozie-examples/oozienormal-examples/OozieMapReduceExample Oozie提交MapReduce任务示例程序。 本示例演示了如何通过Java API提交MapReduce作业和查询作业状态，对网站的日志文件进行离线分析。 oozie-examples/oozieno
”列，单击“修改”。 在“修改资源分配”窗口设置任务队列在此资源池中的资源容量策略，需确保最大资源项大于0。 配置HetuEngine参数开启Coordinator放置策略，输入节点资源标签。 选中“集群 > 服务 > HetuEngine > 配置 > 全部配置”，配置如下参数，单击“保存”保存配置。
先使用kinit命令获取kerberos认证的缓存。 使用准备MRS应用开发用户章节中创建的开发用户执行以下命令运行客户端程序： kinit -kt keytab的存储路径 username cd python3-examples python3 pyCLI_sec.py 在命令行终端查看样例代码中的HQL所查询出的结果。例如：
处理，以避免程序出现未知异常。可以使用try-catch块来处理异常，并在必要时记录异常信息。 UDF中应避免定义静态集合类用于临时数据的存储，或查询外部数据存在较大对象，否则会导致内存占用过高。 应该避免类中import的包和服务侧包冲突，可通过grep -lr "完全限定类名
表1 参数介绍 参数 描述 默认值 spark.sql.parquet.compression.codec 对于非分区parquet表，设置其存储文件的压缩格式。 snappy 父主题： Spark Core企业级能力增强
能，集群的运行状态也将无法监控。 注册华为云并实名认证 如果用户已注册华为云，可直接登录管理控制台，访问MRS服务。如果用户没有登录管理控制台的账号，请先注册华为云。注册成功后，该账号可访问华为云的所有服务，包括MRS服务。 打开华为云网站。 单击“注册”，根据提示信息完成注册。
理的问题 解决Spark打印ERROR日志的问题 解决Spark的JobHistory进程挂起，不自愈，且无告警上报的问题 解决Spark开启推测执行加载分区为null的问题 解决Spark的JDBCServer进程注入进程Z状态故障、故障注入期间进程不自愈、无进程异常告警、Sp
图1展示了用户将两个不同时间到期的资源，同时续费一个月，并设置“统一到期日”后的效果对比。 图1 统一到期日 更多关于统一到期日的规则请参见如何设置统一到期日。 父主题： 续费
IP地址。 以客户端安装用户，登录客户端的节点，执行如下命令： cd {客户端安装路径} source bigdata_env 安全模式（开启Kerberos）： kinit 组件业务用户 clickhouse client --host 上报告警的ClickHouseServer实例IP
执行以下命令创建目的表t2： create table t2(col1 int,col2 int); 本样例工程中创建的表使用Hive默认的存储格式，暂不支持指定存储格式为ORC的表。 使用Yarn客户端提交任务。 yarn --config $HADOOP_HOME/etc/hadoop jar
r.properties 调小“log4j.appender.sparklog.MaxFileSize”参数值（表示生成一份日志文件的最大存储大小，默认为50MB），例如修改为“20MB”。 调小“log4j.appender.sparklog.MaxBackupIndex”参数
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
