检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Presto通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，Presto即可通过presto_cli.sh客户端创建表存储在OBS中。 Presto对接OBS 未开启Kerberos认证的集群 使用客户端安装用户，登录已安装客户端的节点。 执行以下命令配置环境变量：
主备集群必须已配置跨集群拷贝，请参见启用MRS集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 规划好恢复数据保存表的数据库，数据表在HDFS的保存位置，以及访问恢复数据的用户清单。 检查Hive备份文件保存路径。 停止Hive的上层应用。 恢复Hive业务数据 在FusionInsight
在弹出的“Ssh”窗口中配置以下参数并单击“添加”。 User and Host：User为3中配置互信的用户，参数配置格式为：运行SSH任务的用户@运行SSH任务的节点的IP地址。例如该配置项的值可设置为：root@x.x.x.x。 Ssh command：提交作业的具体命令。
在弹出的“Ssh”窗口中配置以下参数并单击“添加”。 User and Host：User为3中配置互信的用户，参数配置格式为：运行SSH任务的用户@运行SSH任务的节点的IP地址。例如该配置项的值可设置为：root@x.x.x.x。 Ssh command：提交作业的具体命令。
Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-defaults.conf配置文件中，在spark
Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-default.conf配置文件中，在spark
图4 Project Defaults 在打开的“Project Structure”页面中，选择“SDKs”，单击绿色加号添加JDK。 图5 添加JDK 在弹出的“Select Home Directory for JDK”窗口，选择对应的JDK目录，然后单击“OK”。 图6 选择JDK目录
如果报错的是三方包里面的类，可能是因为Spark已经自带了相关的jar包，但是和代码中使用的版本不一致。 操作步骤 方案一： 针对jar包冲突的问题，可以确认是否不需使用三方工具的包，如果可以更改为集群相同版本的包，则修改引入的依赖版本。 建议用户尽量使用MRS集群自带的依赖包。 方案二： jar包版本修改演示
如果报错的是三方包里面的类，可能是因为Spark已经自带了相关的jar包，但是和代码中使用的版本不一致。 操作步骤 方案一： 针对jar包冲突的问题，可以确认是否不需使用三方工具的包，如果可以更改为集群相同版本的包，则修改引入的依赖版本。 建议用户尽量使用MRS集群自带的依赖包。 方案二： jar包版本修改演示
MRS服务集群开启了Kerberos认证，没有开启Kerberos认证的集群忽略该步骤。 操作步骤 登录MRS Manager，在MRS Manager界面选择“系统设置 > 角色管理 > 添加角色”。 填写角色的名称，例如mrrole。 编辑角色，在“权限”的表格中选择“Yarn > Scheduler
> 权限 > 角色”，添加一个拥有Hive管理员权限的角色。 在FusionInsight Manager页面，选择“系统 > 权限 > 用户 ”。 在指定用户对应的“操作”列单击“修改”。 为用户绑定拥有Hive管理员权限的角色，并单击“确定”完成权限添加。 父主题： 使用Hive
HBase提供工具类添加HBase运行依赖到Job TableMapReduceUtil.addDependencyJars(job); // 安全模式下必须要执行这个操作 // HBase添加鉴权信息到Job，map或reduce任务将会使用此处的鉴权信息
操作步骤 根据需要修改“jaas-zk.conf”中“KeyTab”文件在Linux节点上放置的路径。例如："/opt/client/conf/user.keytab"。 修改样例代码的配置文件路径，例如： private final static String PATH_TO_KRB5_CONF
指定规模，而计算完毕后，则自动释放计算节点，尽可能的降低使用成本。 平衡突发查询 大数据集群上，由于有大量的数据，企业会经常面临临时的分析任务，例如支撑企业决策的临时数据报表等，都会导致对于资源的消耗在极短时间内剧增。MRS提供的弹性伸缩能力，可以在突发大数据分析时，及时补充计算
索引名需要符合正则要求，不支持其他字符，正则要求支持的字符为：[a-zA-Z_0-9-.]:。 数据表必须存在，要创建的索引不能已存在。 索引表不支持多版本 不支持在多版本（VERSION>1）的数据表上创建索引，且索引表的版本VERSION=1。 单个数据表的索引个数不能超过5个 不建议为单个数
单击“Add New Policy”，为2新建的用户组添加相应OBS路径的“Read”和“Write”权限，OBS目录若不存在则需要提前创建，且不允许带通配符*。 图1 为Flink用户组新增OBS路径读和写的权限 父主题： MRS集群服务对接OBS示例
MRS大数据组件 解决obs委托的5min内140次的访问限制问题 Kafka支持开源方式访问 解决SPARK-27637开源问题 优化hive滚动重启 obs包升级 补丁兼容关系 MRS 1.9.0.6补丁包中包含MRS 1.9.0版本发布的所有补丁解决的问题。 安装补丁的影响 安装MRS
--create --topic 主题名称 --partitions 主题占用的分区数 --replication-factor 主题的备份数 --zookeeper ZooKeeper的任意一个节点的业务IP:clientPort/kafka ./kafka-topics.sh
// 设置job的并发度为2 env.setParallelism(2) //设置Zookeeper为注册服务器 val zkRegisterServerHandler = new ZookeeperRegisterServerHandler //添加用户自定义算子产生数据
// 设置job的并发度为2 env.setParallelism(2) //设置Zookeeper为注册服务器 val zkRegisterServerHandler = new ZookeeperRegisterServerHandler //添加用户自定义算子产生数据
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
