检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安装MRS客户端 操作场景 该操作指导安装工程师安装MRS集群所有服务(不包含Flume)的客户端。Flume客户端安装请参见安装Flume客户端。 客户端可以安装集群内节点,也可以安装在集群外节点,本章节以安装目录“/opt/client”为例进行介绍,请以实际集群版本为准。 在集群外节点安装客户端前提条件
表1 配置参数说明 配置参数 说明 示例 server.url Loader服务的浮动IP地址和端口(21351)。 为了兼容性,此处支持配置多个IP地址和端口,并以“,”进行分隔。其中第一个必须是Loader服务的浮动IP地址和端口(21351),其余的可根据业务需求配置。 10
调整HetuEngine集群节点资源配置 HetuEngine默认的内存大小参数和硬盘溢出路径参数默认并非最佳,需要根据实际业务和集群的服务器配置情况调整集群节点资源配置,以获得最佳的性能效果。 调整HetuEngine集群节点资源步骤 登录FusionInsight Manager页面。
path at index” 问题 运行应用程序时,操作失败,日志显示如图1所示。 图1 操作失败日志 回答 可能的原因是URL中带空格导致服务器端无法正确识别URL。 需要去掉URL中的空格。 父主题: Manager应用开发常见问题
Manager界面,选择“集群 > 服务 > HBase > 配置”,下表是用于启用此功能的配置参数。 表1 参数描述 参数 描述 默认值 hbase.region.assignment.auto.recovery.enabled 配置该参数以启用或禁用Region分配恢复线程功能。 true
6及以后版本,用户对于getAcl操作需要有读权限。 前提条件 已安装ZooKeeper客户端。例如安装目录为“/opt/client”。 已获取MRS集群管理员用户和密码。 操作步骤 启动ZooKeeper客户端 以root用户登录安装了ZooKeeper客户端的服务器。 进入客户端安装目录。 cd /opt/client
由于MRS集群节点的NTP时间不同步导致集群访问OBS时鉴权失败 问题现象 集群访问OBS上报403异常。 原因分析 集群Master节点NTP时间与集群外节点的NTP服务器时间不同步,时间相差超过15min,导致集群访问OBS时鉴权失败,上报403异常。 处理步骤 以root用户登录集群主Master节点。
6及以后版本,用户对于getAcl操作需要有读权限。 前提条件 已安装ZooKeeper客户端。例如安装目录为“/opt/client”。 已获取MRS集群管理员用户和密码。 操作步骤 启动ZooKeeper客户端 以root用户登录安装了ZooKeeper客户端的服务器。 进入客户端安装目录。 cd /opt/client
待操作集群的名称 > 服务 > Spark2x > 配置 > 全部配置”,搜索参数spark.driver.extraLibraryPath和spark.executor.extraLibraryPath,并清空其参数值。 在“全部配置”中选择“ SparkResource2x”。
待操作集群的名称 > 服务 > Spark2x > 配置 > 全部配置”,搜索参数spark.driver.extraLibraryPath和spark.executor.extraLibraryPath,并清空其参数值。 在“全部配置”中选择“ SparkResource2x”。
务IP地址。 将云服务器的“业务端口”都设置为Doris FE服务的MySQL协议查询连接端口,默认为“9030”,可在Doris组件的服务配置页面搜索“query_port”查看。 单击“下一步:确认配置”确认配置。 确认配置无误后,单击“提交”完成ELB配置。 单击创建的监听
导入并配置Oozie样例工程 操作场景 将下载的样例工程导入到Windows开发环境IDEA中即可开始样例学习。 前提条件 已在Linux环境中安装了完整客户端。 获取Oozie服务器URL(任意节点),这个URL将是客户端提交流程任务的目标地址。 URL格式为:https://
具体计费请以MRS价格计算器中的价格为准。 弹性云服务器 计费因子:vCPU和内存,不同规格的实例类型提供不同的计算和存储能力。 包年/包月、按需计费 节点个数 * 弹性云服务器单价 * 购买时长 弹性云服务器单价请以弹性云服务器价格计算器中的价格为准。 云硬盘(系统盘和数据盘)
待操作集群的名称 > 服务 > Spark2x > 配置 > 全部配置”,搜索参数spark.driver.extraLibraryPath和spark.executor.extraLibraryPath,并清空其参数值。 在“全部配置”中选择“ SparkResource2x”。
待操作集群的名称 > 服务 > Spark2x > 配置 > 全部配置”,搜索参数spark.driver.extraLibraryPath和spark.executor.extraLibraryPath,并清空其参数值。 在“全部配置”中选择“ SparkResource2x”。
前提条件 已安装ClickHouse客户端。 在Manager已创建具有ClickHouse相关表权限的用户。 已准备好备份服务器。 备份数据 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source
前提条件 已安装ClickHouse客户端。 在Manager已创建具有ClickHouse相关表权限的用户。 已准备好备份服务器。 备份数据 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source
tion)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器的连接以及与ZooKeeper的连接。Connection通过ConnectionFactory类实例化。创建Connection是重量级
tion)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器的连接以及与ZooKeeper的连接。Connection通过ConnectionFactory类实例化。创建Connection是重量级
本文将以“从SFTP服务器导入数据到HDFS”的作业为例,通过引用作业模板的方式,介绍loader-tool工具的使用方法。 本章节适用于MRS 3.x及后续版本。 前提条件 已安装并配置Loader客户端,具体操作请参见使用命令行运行Loader作业。 操作步骤 使用安装客户端的用户登录客户端所在节点。