检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作。 JavaReceiverInputDStream<T>：定义任何从网络接收数据的输入流。 Spark Streaming的常见方法与Spark Core类似，下表罗列了Spark Streaming特有的一些方法。 表4 Spark Streaming方法 方法 说明 J
API是JavaStreamingContext，JavaDStream和JavaPairDStream。 Spark Streaming的常见方法与Spark Core类似，下表罗列了Spark Streaming特有的一些方法。 表4 Spark Streaming方法介绍 方法 说明
fka、Storm等大数据组件，并具备在后续根据业务需要进行定制开发的能力，帮助企业快速构建海量数据信息处理系统，并通过对海量信息数据实时与非实时的分析挖掘，发现全新价值点和企业商机。 产品架构 MRS集群各版本组件情况请参见MRS组件版本一览表。 MRS逻辑架构如图1所示。 图1
其中“<server_IP>:<server_Port>”是指定JDBCServer节点的URL。 “CLIENT_HOME”是指客户端路径。 多主实例模式与非多主实例模式两种模式的JDBCServer接口相比，除连接方式不同外其他使用方法相同。由于Spark JDBCServer是Hive中的H
分桶表不支持insert into 分桶表（bucket table）不支持insert into，仅支持insert overwrite，否则会导致文件个数与桶数不一致。 使用WebHCat的部分REST接口的前置条件 WebHCat的部分REST接口使用依赖于MapReduce的JobHistoryServer实例，具体接口如下：
key：通过AK/SK方式访问OBS时访问OBS的密钥ID。 fs.obs.secret.key：通过AK/SK方式访问OBS时访问OBS与密钥ID对应的密钥。 - 命令参考 用于展示提交作业时提交到后台执行的命令。 mrs-spark-sql-wrapper -e 表2 运行程序参数
操作。 JavaReceiverInputDStream<T>：定义任何从网络接收数据的输入流。 Spark Streaming的常见方法与Spark Core类似，下表罗列了Spark Streaming特有的一些方法。 表4 Spark Streaming方法 方法 说明 J
操作。 JavaReceiverInputDStream<T>：定义任何从网络接收数据的输入流。 Spark Streaming的常见方法与Spark Core类似，下表罗列了Spark Streaming特有的一些方法。 表4 Spark Streaming方法 方法 说明 J
大数据量的维度表建议采用HBase 数据量比较大，而且不要数据高一致的场景，可以采用HBase类的KV库提供维度表点查关联能力。 由于K-V库的数据需由另外的作业写入，与当前的Flink作业会存在一定的时差，容易导致当前Flink作业查询K-V库时不是最新的数据，且由于lookup查询不支持回撤，关联的结果存在一致性问题。
Manager界面，单击“审计”，在审计页面单击“高级搜索”，单击“操作类型”右侧的，选择“保存配置 > 确定”，再单击“搜索”。 查看搜索结果中“服务”列为与HBase相关的服务，例如ZooKeeper、HDFS、HBase等，历史修改的配置是否可能影响HBase服务状态，表1为部分可能影响HBase服务状态的配置：
表1 周期备份参数 参数 示例 参数说明 开始时间 2024/11/22 10:29:11 任务第一次启动的时间。 周期 1天 任务下次启动，与上一次运行的时间间隔，支持按“小时”或按“天”。 备份策略 每次都全量备份 首次全量备份，后续增量备份 每次都全量备份 每n次进行一次全量备份
表1 周期备份参数 参数 示例 参数说明 开始时间 2024/11/22 10:29:11 任务第一次启动的时间。 周期 1天 任务下次启动，与上一次运行的时间间隔，支持按“小时”或按“天”。 备份策略 每次都全量备份 仅支持“每次都全量备份”。 说明： 备份Manager数据和组件
系统管理员可以通过FusionInsight Manager创建恢复DBService任务。只支持创建任务手动恢复数据。 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的DBService数据。
告警阈值可进行调整，用户也可以根据需要自定义集群监控指标，或屏蔽对应告警，使告警不再上报。 MRS集群阈值转告警监控指标可分为节点信息指标与集群服务指标，相关指标及其对系统的影响、默认阈值等信息请参考监控指标参考。 方案架构 Manager的整体逻辑架构如图1所示。 图1 Manager逻辑架构
图2 新建LakeFormation数据连接 创建完成后，在“数据连接”页面记录已创建数据连接的ID。 获取账号ID信息 使用待配置MRS与LakeFormation对接的用户，登录管理控制台。 单击用户名，在下拉列表中单击“我的凭证”。 在“API凭证”页面获取“账号ID”、项目列表中查看项目ID。
的时间。 表分区个数 Hive所有表分区个数监控，返回值的格式为：数据库#表名，表分区个数。 HQL的Map数 Hive周期内执行的HQL与执行过程中调用的Map数统计，展示的信息包括：用户、HQL语句、Map数目。 HQL访问次数 周期内HQL访问次数统计信息。 Kafka Kafka磁盘使用率分布
表1 周期备份参数 参数 示例 参数说明 开始时间 2024/11/22 10:29:11 任务第一次启动的时间。 周期 1天 任务下次启动，与上一次运行的时间间隔，支持按“小时”或按“天”。 备份策略 每次都全量备份 首次全量备份，后续增量备份 每次都全量备份 每n次进行一次全量备份
口功能，只能提供Get、Scan查询服务。 操作步骤 将在准备集群认证用户信息时获取的主集群keytab认证文件“user.keytab”与“krb5.conf”放置到二次样例“src/main/resources/conf”目录下。 参考准备连接HBase集群配置文件章节，获取
读取Hive数据 String hiveData = readHive(name); // Map输出键值对，内容为HBase与Hive数据拼接的字符串 context.write(new Text(name), new Text("hbase:" + hbaseData
用户”，在用户名中选择developuser，单击操作“更多 > 下载认证凭据”下载认证凭据文件，保存后解压得到用户的“user.keytab”文件与“krb5.conf”文件。Keytab文件用于在样例工程中进行安全认证，具体使用请参考各服务的开发指南指导。 如果用户类型是人机，需要先修
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
