检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据采集 使用kafka采集数据时报错IllegalArgumentException 采集数据时报错HoodieException 采集数据时报错HoodieKeyException 父主题： Hudi常见问题
检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限，并获取该任务对应的连接的使用权限。 操作前需要进行如下配置： 获取关系型数据库对应的驱动jar包保存在Lo
id”的值，例如“1”。然后单击“添加”。 “Job id”是需要编排的Loader作业的ID值，可从Loader页面获取。 创建需要调度的Loader作业，并获取该作业ID，具体操作请参见使用Loader相关章节。 单击Oozie编辑器右上角的。 保存前如果需要修改作业名称（默认为“My Workfl
处理过程中的工作流等。 业务作业类型Hive SQL、Spark SQL、Spark Python等，是否需要使用MRS的第三方包，参考MRS应用开发样例。 调度系统，需要考虑调度系统对接MRS集群。 迁移后，业务割接允许中断时长，识别平台业务优先级。 识别在迁移过程中不能中断的
sionInsight-Hive-*/hive-*/lib/”目录下。 MRS 3.3.0及之后版本如果需要将Hive元数据存储到RDS PostgreSQL数据库中，还需要登录到所有的MetaStore实例节点执行以下命令替换SQL文件内容： sed -i 's#PRIMARY
API简单地给出每个batch区间需要读取的偏移量位置。然后，每个batch的Job被运行，而对应偏移量的数据在Kafka中已准备好。这些偏移量信息也被可靠地存储在checkpoint文件中，应用失败重启时可以直接读取偏移量信息。 图1 Direct Kafka接口数据传输 需要注意的是，Spark
临时函数，只能在当前会话使用，重启会话后需要重新创建。 永久函数，可以在多个会话中使用，不需要每次创建。 用户自定义函数需要用户控制函数中变量的内存、线程等资源的占用，如果控制不当可能会导致内存溢出、CPU使用高等问题。 若集群开启了Ranger鉴权，需要关闭Ranger鉴权后才能使用Python的UDF函数。
过KafkaUI进行分区迁移。 前提条件 MRS集群管理员已明确业务需求，并准备一个Kafka用户（属于kafkaadmin组，普通模式不需要）。 已安装Kafka客户端。 Kafka实例状态和磁盘状态均正常。 根据待迁移分区当前的磁盘空间占用情况，评估迁移后，不会导致新迁移后的磁盘空间不足。
具有supergroup组权限的用户（普通集群跳过该步骤） 执行命令以下命令查看数据仓库目录权限是否为770： hdfs dfs -ls /tmp | grep hive-scratch 是，执行29。 否，执行27。 执行以下命令修复默认数据仓库权限： hdfs dfs -chmod 770 /tmp/hive-scratch
client”。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下，“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。（普通模式不涉及） 如需在集群间拷贝数据，拷贝数据的集群双方都需要启用集群间拷贝数据功能。 操作步骤 登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。
x及之后版本请参考配置Kafka数据均衡工具。 前提条件 MRS集群管理员已明确业务需求，并准备一个Kafka管理员用户（属于kafkaadmin组，普通模式不需要）。 已安装Kafka客户端，客户端安装目录如“/opt/client”。 本示例需创建两个Topic，可参考7，分别命名为“test_2
2.0版本为例，讲解如何使用DBeaver访问MRS HetuEngine。 方案架构 出于管理和信息收集的需要，企业内部会存储海量数据，包括数目众多的各种数据库、数据仓库等，此时会面临数据源种类繁多、数据集结构化混合、相关数据存放分散等困境，导致跨源查询开发成本高，跨源复杂查询耗时长。
当集群数据量达到一定规模后，JVM的默认配置将无法满足集群的业务需求，轻则集群变慢，重则集群服务不可用。所以需要根据实际的业务情况进行合理的JVM参数配置，提高集群性能。 操作步骤 参数入口： HBase角色相关的JVM参数需要配置在安装有HBase服务的节点的“${BIGDATA_HOME}/Fusion
录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。 如果设置的任务需要使用指定Yarn队列功能，该用户需要已授权有相关Yarn队列的权限。 设置任务的用户需要获取该任务的执行权限，并获取该任务对应的连接的使用权限。 操作步骤 是否第一次从MRS导入数据到关系型数据库？
Flume与其他组件的关系 Flume与HDFS的关系 当用户配置HDFS作为Flume的Sink时，HDFS就作为Flume的最终数据存储系统，Flume将传输的数据全部按照配置写入HDFS中。 具体操作场景请参见典型场景：从本地采集静态日志保存到HDFS和典型场景：从本地采集动态日志保存到HDFS。
不随集群的删除而删除，也能够避免集群迁移时Ranger元数据的迁移。 停用集群组件Ranger鉴权 该操作仅在MRS 3.1.0及之后版本需要执行。 登录FusionInsight Manager页面，选择“集群 > 服务 > 服务名称”。 当前MRS 3.1.x集群支持Ranger鉴权的组件为:
准备Spark应用Java开发环境 操作场景 Java开发环境可以搭建在Windows环境下，而运行环境（即客户端）只能部署在Linux环境下。 操作步骤 对于Java开发环境，推荐使用IDEA工具，安装要求如下。 JDK使用1.7版本（或1.8版本） IntelliJ IDEA（版本：13
集群连接名称描述信息。 - 版本 选择集群版本。 MRS 3 是否安全版本 是，安全集群选择是。需要输入访问用户名和上传用户凭证； 否，非安全集群选择否。 是 访问用户名 访问用户需要包含访问集群中服务所需要的最小权限。只能包含英文字母、数字和下划线，且不能多于100个字符。 “是否安全版本”选择“是”时存在此参数。
关的权限设置。Hive默认管理员账号为hive，初始密码为Hive@123。 前提条件 已安装Ranger服务且服务运行正常。 已创建用户需要配置权限的用户、用户组或Role。 用户加入hive组。 操作步骤 使用Ranger管理员用户rangeradmin登录Ranger管理页面，具体操作可参考登录Ranger
pattern配置项设置单副本的数据文件和目录。 MRS 1.9.3.9及其后续补丁安装后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端（即用户自行搭建的客户端）。如果集群之前安装了1.9.3.8补丁，不需要做此操作。 主Master节点的原始客户端全量更新，请参
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
