检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS Hive 获取MRS Hive配置文件方法如下: 获取“krb5.conf”和“user.keytab”文件。 参考下载用户认证文件,在MRS Manager下载用户认证文件,解压后得到“krb5.conf”和 “user.keytab”文件。 获取“hiveclient
后端服务器地址 填写后端服务器的IP地址。 是否备用节点 开启后对应后端服务器为备用节点,仅当非备用节点全部故障时工作。 端口 填写后端服务器的访问端口号,端口为0时使用负载通道的端口。 启停状态 选择是否启用服务器,只有启用后,请求才会分发到该服务器上。 配置健康检查配置。 健康
FDI通过公网对接其他租户的MRS HIVE如何配置? 首先需要将MRS的IP全部绑定EIP,然后在MRS配置文件中的私网IP全部替换成EIP,再到hdfs-site.xml文件中添加一个配置项“dfs.client.use.datanode.hostname”,值设为“true”。
单击“上传文件”,上传FI Hive配置文件。配置文件获取请参考获取FI Hive配置文件。 获取FI Hive配置文件: 参考下载用户认证文件,在MRS Manager下载用户认证文件,解压后得到“krb5.conf”和 “user.keytab”文件,即FI Hive配置文件。 完成数
MRS Hive数据源测试连接失败 原因分析 可能是以下两种原因导致: MRS Hive的配置文件中使用的私网IP,私网IP与FDI数据面IP不通导致连接失败。 HDFS URL填写了根目录hdfs:///hacluster,机机交互用户名填写的用户不具备管理员权限导致连接失败。
MRS Hive是否支持分区? MRS Hive支持分区。 在输入Mapping信息时,可以参考下面格式: { "partion_col":{ "origin_col": "源表分区字段名", "target_col": "目标分区字段名" }, "col_seq":{ "index_0":"源表字段1"
接入MRS Hive数据源 概述 ROMA Connect支持把MRS Hive作为一个数据源,并用于数据集成任务。在使用MRS Hive数据源前,您需要先接入数据源。 若两个数据集成任务分别使用了不同版本的MRS数据源(包含MRS Hive、MRS HDFS和MRS HBase
接入HIVE数据源 概述 ROMA Connect支持把HIVE作为一个数据源,用于创建数据API。在使用HIVE数据源前,您需要先接入数据源。 数据集成中仅支持百万以内数据量。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。
单击“上传文件”,上传MRS Hive配置文件。配置文件获取请参考获取MRS Hive配置文件。 获取MRS Hive配置文件: 参考下载用户认证文件,在MRS Manager下载用户认证文件,解压后得到“krb5.conf”和 “user.keytab”文件,即MRS Hive配置文件。 文件
MRS Hive目标端写入时出现数据乱码 原因分析 创建任务时,目标端存储类型选择与建表时类型不一致。 比如建表时存储类型为text(文本文件),而创建任务时目标端存储类型选择了RCFile格式。 解决方案 修改界面选择的存储类型与建表时一致即可。 父主题: 数据集成任务
MRS Hive写入时数据全部写在第一个字段里 原因分析 建表时没有使用列分隔符。 解决方案 在数据库中执行以下命令设置分隔符: alter table 表名set serdeproperties('field.delim'='分隔符') 父主题: 数据集成任务
MRS Hive、MRS HBase和MongoDB的Mapping映射手动输入时,是否区分大小写? Mapping映射时会区分大小写,源端字段、目标端字段都必须和所选择的字段大小写一致。若不一致,MRS Hive和MRS HBase将会运行异常,MongoDB数据库不受影响,运行正常。
MRS Hive目标字段和源端字段数据类型不匹配时,数据是否能集成到目标端? 目标端MRS Hive和源端字段数据类型不匹配时,例如源端字段为datetime,目标端字段为date,数据可以集成到目标端,但是数据类型不匹配的字段值会为NULL,其他字段正常集成。 父主题: 数据集成普通任务
在页面中配置云服务器信息。 表3 云服务器配置 参数 说明 是否备用节点 开启后对应后端服务器为备用节点,仅当非备用节点全部故障时工作。 端口 填写后端服务器的访问端口号,端口为0时使用负载通道的端口。 启停状态 选择是否启用服务器,只有启用后,请求才会分发到该服务器上。 添加后端服务器地址。 单击“添加后端服务器地址”。
HDFS集群节点都绑定了EIP,在创建MRS Hive数据源时,上传的配置文件中全部用的EIP,Hosts里面也配置好IP与Hostname,但是在上传文件时HDFS的Master节点返回的node节点的IP为内网IP,所以连接不通,导致FDI任务执行异常。 解决方案 修改在创建MRS Hive数据源时上传的hdfs-site
不同,数据源的接入配置有所差异。 操作步骤 接入DWS数据源 接入GaussDB数据源 接入FI Hive数据源 接入MySQL数据源 接入MongoDB数据源 接入MRS Hive数据源 接入MRS HBase数据源 接入FI HBase数据源 接入Oracle数据源 接入SQL
执行以下命令,检查日志归档是否已开启。 archive log list; 若回显打印“Database log mode: No Archive Mode”,说明日志归档未开启,继续执行下一步。 若回显打印“Database log mode: Archive Mode”,说明日志归档已开启,直接跳到1
database archivelog; alter database open; 执行以下命令,确认日志归档是否已成功开启。 archive log list; 当回显打印“Database log mode: Archive Mode”,说明日志归档已开启。 执行以下命令退出数据库连接。
HDFS数据源前,您需要先接入数据源。 若两个数据集成任务分别使用了不同版本的MRS数据源(包含MRS Hive、MRS HDFS和MRS HBase),且该MRS数据源均开启了Kerberos认证,则这两个数据集成任务不能同时运行,否则会导致集成任务运行失败。 前提条件 每个接
HBase数据源前,您需要先接入数据源。 若两个数据集成任务分别使用了不同版本的MRS数据源(包含MRS Hive、MRS HDFS和MRS HBase),且该MRS数据源均开启了Kerberos认证,则这两个数据集成任务不能同时运行,否则会导致集成任务运行失败。 前提条件 每个接