检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用hive-table方式同步数据报错 问题 使用hive-table方式同步数据报错。 回答 修改hive-site.xml,加入如下值。 父主题: Sqoop常见问题
ithQJM.html#Automatic_Failover HDFS HA实现方案 图1 典型的HA部署方式 在一个典型的HA集群中(如图1),需要把两个NameNodes配置在两台独立的机器上。在任何一个时间点,只有一个NameNode处于Active状态,另一个处于Stan
配置Flume通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,Flume即可运行OBS作业。 本章节适用于MRS 3.x及之后的版本。 Flume对接OBS 创建用于存放数据的OBS文件夹。 登录OBS控制台。 单击“并行文件系统”进入并行文件系统页面。
可能原因 安装或扩容过程中,实例数或分配方式不能满足拓扑要求。 处理步骤 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,找到本告警,根据告警中的“定位信息”和“附加信息”分析告警原因。 参考下表,根据告警附加信息说明和处理方式进行处理。 告警附加信息
> HBase > 配置 > 全部配置”,搜索并修改ThriftServer实例的配置参数“hbase.thrift.security.qop”。该参数值需与“hbase.rpc.protection”的值一一对应。保存配置,重启配置过期节点服务使更改的配置生效。 “hbase.rpc
界面。 选择“数据源”,单击“添加数据源”。在“添加数据源”页面填写参数。 配置“基本配置”,填写数据源名称,选择数据源类型“Hive”。 配置“Hive配置”,参数配置请参考表1。 表1 Hive配置 参数 描述 取值样例 驱动 默认为fi-hive-hadoop。 fi-hive-hadoop
ft-example”为ThriftServer实例服务的调用实现。 前提条件 已获取样例工程运行所需的配置文件及认证文件,详细操作请参见准备连接HBase集群配置文件。 配置样例代码 代码认证 以下代码在“hbase-thrift-example”样例工程的“com.huawei
已安装”时,才能进入下一步操作。 升级安装失败或者重试后仍然失败,不能直接回滚,请联系运维人员。 修改配置 不涉及。 重启相关组件 补丁安装完成后,需要手动重启相关大数据组件服务,使补丁生效。 提供两种重启方式,请根据业务自行选择重启方式: 滚动重启:影响小,耗时长。 离线重启:会断服,耗时短。
“登录方式”选择“SSH私钥”时,需要配置该参数。 单击“添加文件”选择SSH私钥文件并上传。 自动部署到节点 是 是否自动部署到节点。客户端类型选择“完整客户端”时,支持配置该参数。 是,客户端会自动在当前节点上安装部署。 否,客户端不会自动安装部署。需要在客户端下载成功后手动进行安装。 客户端部署路径 /opt/testclient
安全模式下登录方式分为两种,票据登录和keytab文件登录,两种方式操作步骤基本一致。票据登录方式为开源提供的能力,存在票据过期问题,后期需要人工上传票据,并且可靠性和易用性较差,因此推荐使用keytab方式。 应用开发操作步骤 确认Storm和HBase组件已经安装,并正常运行。
安全模式下登录方式分为两种,票据登录和keytab文件登录,两种方式操作步骤基本一致。票据登录方式为开源提供的能力,存在票据过期问题,后期需要人工上传票据,并且可靠性和易用性较差,因此推荐使用keytab方式。 应用开发操作步骤 确认Storm和HBase组件已经安装,并正常运行。
使用hcatalog方式同步数据,报错getHiveClient方法不存在 问题 使用hcatalog方式同步数据,报错getHiveClient方法不存在。 回答 将https://repo.huaweicloud.com/repository/maven/huaweiclou
rs参数,还需要配置其他,否则会报“ClassNotFoundException”错误,yarn-client和yarn-cluster模式下稍有不同。 yarn-client模式下 在除--jars参数外,在客户端“spark-defaults.conf”配置文件中,将“spark
为准。 安全模式下登录方式分为两种,票据登录和keytab文件登录,两种方式操作步骤基本一致,票据登录方式为开源提供的能力,后期需要人工上传票据,存在可靠性和易用性问题,因此推荐使用keytab方式。 应用开发操作步骤 确认Storm和HDFS组件已经安装,并正常运行。 将sto
主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2.x及之前版本)。 重新安装客户端前建议先对老客户端进行备份。 若您根据业务场景修改过客户端配置,请重装客户端后再次修改客户端配置。 父主题: MRS集群补丁说明
rs参数,还需要配置其他,否则会报“ClassNotFoundException”错误,yarn-client和yarn-cluster模式下稍有不同。 yarn-client模式下 在除--jars参数外,在客户端“spark-defaults.conf”配置文件中,将“spark
rs参数,还需要配置其他,否则会报“ClassNotFoundException”错误,yarn-client和yarn-cluster模式下稍有不同。 yarn-client模式下 在除--jars参数外,在客户端“spark-defaults.conf”配置文件中,将“spark
如果任务失败,选择“重试安装”,只有当“状态”显示为“已安装”时,才能进入下一步操作。 升级安装失败或者重试后仍然失败,不能直接回滚,请联系运维人员。 修改配置 不涉及 重启相关组件 补丁安装完成后,需要手动重启相关大数据组件服务,使补丁生效。 提供两种重启方式,请根据业务自行选择重启方式: 滚动重启:影响小,耗时长。
extraLibraryPath”。 不添加表1中配置项时,使用方式与原有方式一致,程序可正常执行,只是在不同模式下需切换配置。 配置参数 参数入口: 在Manager系统中,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”,在搜索框中输入参数名称。 表1 参数介绍
rs参数,还需要配置其他,否则会报“ClassNotFoundException”错误,yarn-client和yarn-cluster模式下稍有不同。 yarn-client模式下 在除--jars参数外,在客户端“spark-defaults.conf”配置文件中,将“spark