检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
务。 可能原因 主备FlinkServer节点间链路中断。 同步文件不存在，或者文件权限有误。 处理步骤 检查主备FlinkServer服务器间的网络是否正常。 在FusionInsight Manager页面，选择“集群 > 服务 > Flink > 实例”，查看并记录“FlinkServer
AM委托对接OBS。 存算分离功能使用流程： 配置存算分离集群。 请选择如下其中一种配置即可（推荐使用委托方式）。 通过为MRS集群绑定ECS委托方式访问OBS，避免了AK/SK直接暴露在配置文件中的风险，具体请参考配置MRS集群通过IAM委托对接OBS。 在MRS集群中配置AK
的告警信息影响到服务的使用，其告警级别达到致命时，则发送信息通知给对应租户。 在用户集群的ECS机器被删除、关机、修改规格、重启、更新OS的行为，会导致大数据集群异常，当检测到用户的虚拟机出现以上状态的时候，发送通知给对应用户。 创建主题 主题是消息发布或客户端订阅通知的特定事件
配置MRS租户队列 用户可以根据业务需求，在MRS修改指定租户的队列配置，对队列进行扩容或缩容。Yarn任务队列和资源池关联，可实现资源的分配和调度。 前提条件 如果通过MRS管理控制台操作，需要已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。
数据存储 MRS集群节点仅用于存储用户业务数据，非业务数据建议保存在对象存储服务或其他弹性云服务器中。 MRS集群节点仅用于运行MRS集群内服务，其他客户端应用程序、用户业务程序建议申请独立弹性云服务器部署。 请根据业务需要规划集群节点的磁盘，如果需要存储大量业务数据，请及时增加云硬
为：“/srv/BigData/data2”，则执行以下命令： mount /dev/vdb2 /srv/BigData/data2 弹性云服务器重启后，挂载会失效。您可以修改“/etc/fstab”文件，将新建磁盘分区设置为开机自动挂载，具体请参见设置开机自动挂载磁盘分区。 参见访问FusionInsight
kafka --kerberos.domain.name hadoop.系统域名.com //10.96.101.32:21007表示kafka服务器的IP:port SSL加密配置 服务端配置。 登录FusionInsight Manager页面，选择“集群 > 服务 > Kafka >
通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults
通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults
是，集群已绑定委托。 否，执行4.b。 单击“管理委托”，为集群绑定具有OBS文件系统操作权限的委托。 您可以直接选择系统默认的“MRS_ECS_DEFAULT_AGENCY”，也可以单击“新建委托”自行创建其他具有OBS文件系统操作权限的委托。 提交wordcount作业。 在M
修改或重置MRS集群admin用户密码 “admin”是Manager的系统管理员账号，建议用户参考修改admin用户密码定期修改密码，提高系统安全性。用户在密码丢失情况可参考重置admin用户密码进行重置。 修改该密码会导致已经下载的用户凭证不可用，请修改该密码后重新下载认证凭据并替换旧凭据。
IoTDB特指其中的时间序列数据库组件。 图3 IoTDB结构 用户可以通过JDBC/Session将来自设备传感器上采集的时序数据和服务器负载、CPU内存等系统状态数据、消息队列中的时序数据、应用程序的时序数据或者其他数据库中的时序数据导入到本地或者远程的IoTDB中。用户还
指定可以存储在znode中的数据的最大长度。单位是Byte。默认值为0xfffff，即低于1MB。 说明： 如果更改此选项，则必须在所有服务器和客户端上设置该系统属性，否则将出现问题。 0xfffff 父主题： ZooKeeper常见问题
通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults
指定可以存储在znode中的数据的最大长度。单位是Byte。默认值为0xfffff，即低于1MB。 说明： 如果更改此选项，则必须在所有服务器和客户端上设置该系统属性，否则将出现问题。 0xfffff 父主题： ZooKeeper常见问题
Flink SQL逻辑开发建议 在aggregate和join等操作前将数据过滤来减少计算的数据量 提前过滤可以减少在shuffle阶段前的数据量，减少网络IO，从而提升查询效率。 比如在表join前先过滤数据比在ON和WHERE时过滤可以有效较少join数据量。因为执行顺序从发
使用CDM服务迁移Hive数据至MRS集群 应用场景 本章节适用于将线下IDC机房或者公有云Hive集群中的数据（支持数据量在几十TB级别或以下的数据量级）迁移到华为云MRS服务。 使用华为云CDM服务“场景迁移功能”可以一键式便捷地完成Hive数据的迁移。 本章节以通过华为云CDM服务
通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults
配置MRS集群组件回收站目录清理策略 操作场景 在MRS 3.2.0-LTS.1及后续版本中，MRS集群内组件默认支持数据防误删策略，在基于OBS的Hadoop大数据系统中，客户可以兼容使用Hadoop FS原生的垃圾回收功能。 组件用户删除的文件数据并不会直接被删除，而是会保存
使用CDM服务迁移Hadoop数据至MRS集群 应用场景 本章节适用于将线下IDC机房或者公有云Hadoop集群中的数据（支持数据量在几十TB级别或以下的数据量级）迁移到华为云MRS服务。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移为例介绍。不同版本操作可能
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
