检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hue WebUI中Oozie编辑器的时区设置问题 问题 在Hue设置Oozie工作流调度器的时区时,部分时区设置会导致任务提交失败。 回答 部分时区存在适配问题,建议时区选择“Asia/Shanghai”,如图1所示。 图1 时区选择 支持的时区可以参考Oozie WebUI页
设置Spark Core并行度 操作场景 并行度控制任务的数量,影响shuffle操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到更优。 查看CPU使用情况和内存占用情况,当任务和数据不是平均分布在各节点,而是集中在个别节点时,可以增大并行
6。 “服务器IP地址”:填写NAS服务器IP地址。 “端口号”:填写CIFS协议连接NAS服务器使用的端口号,默认值为“445”。 “用户名”:填写配置CIFS协议时设置的用户名。 “密码”:填写配置CIFS协议时设置的密码。 “源端路径”:填写备份文件在NAS服务器中保存的完
MySQL数据库 ClickHouse面向OLAP场景提供高效的数据分析能力,支持通过MySQL等数据库引擎将远程数据库服务器中的表映射到ClickHouse集群中,后续可以在ClickHouse中进行数据分析。以下操作通过ClickHouse集群和RDS服务下的MySQL数据库实例对接进行举例说明。
Manager创建恢复HBase任务并恢复数据。只支持创建任务手动恢复数据。 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据,建议手动备份最新管理数据后,再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的HBase数据。 对系统的影响 恢复过程的数据还原阶段,系
Manager创建恢复HDFS任务。只支持创建任务手动恢复数据。 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据,建议手动备份最新管理数据后,再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的HDFS数据。 对于Yarn任务运行时使用的目录(例如“
Loader数据导入导出概述 Loader数据导入简介 Loader是实现MRS与外部数据源如关系型数据库、SFTP服务器、FTP服务器之间交换数据和文件的ETL工具,支持将数据或文件从关系型数据库或文件系统导入到MRS系统中。 Loader支持如下数据导入方式: 从关系型数据库导入数据到HDFS/OBS
store数据为384.00MB,所以flush操作失败并且region server会终止。 在region server终止时,HMaster对终止的region server的WAL文件进行replay操作以恢复数据。由于限制了磁盘空间quota值,导致WAL文件的repl
Store数据为384.00MB,所以flush操作失败并且region server会终止。 在region server终止时,HMaster对终止的region server的WAL文件进行replay操作以恢复数据。由于限制了磁盘空间quota值,导致WAL文件的repl
设置HBase和HDFS的句柄数限制 操作场景 当打开一个HDFS文件时,句柄数限制导出,出现如下错误: IOException (Too many open files) 此时可以参考该章节设置HBase和HDFS的句柄数。 设置HBase和HDFS的句柄数限制 联系集群管理员
设置HBase和HDFS的句柄数限制 操作场景 当打开一个HDFS文件时,句柄数限制导出,出现如下错误: IOException (Too many open files) 此时可以参考该章节设置HBase和HDFS的句柄数。 设置HBase和HDFS的句柄数限制 联系集群管理员
参数Host和Port,如下图所示。 其中Host为获取的Worker运行的主机IP地址,Port为调试的端口号(确保该端口在运行机器上没被占用)。 图3 配置参数 当改变Port端口号时,在WORKER_GC_OPTS中追加的调试参数也要跟着改变,比如Port设置为8011,对应的调试参数则变更为-Xdebug
“前端协议”选择“TCP”,“前端端口”填写相应的访问端口号,配置完成单击“下一步:配置后端分配策略”。 配置后端分配策略。 “分配策略类型”参数选择“加权轮询算法”,并开启“会话保持”,单击“下一步:添加后端服务器”。 添加后端服务器。 在“云服务器”界面,单击“添加云服务器”,添加所有Doris
参数Host和Port,如下图所示。 其中Host为获取的Worker运行的主机IP地址,Port为调试的端口号(确保该端口在运行机器上没被占用)。 图3 配置参数 当改变Port端口号时,在WORKER_GC_OPTS中追加的调试参数也要跟着改变,比如Port设置为8011,对应的调试参数则变更为-Xdebug
远端主机开启了防火墙。 处理步骤 两台主机处于不同VPC网络中 放开远端主机的22端口。 密码填写错误 请检查密码是否正确,密码中不能有特殊符号。 远端主机开启防火墙 先将这个MRS集群客户端下载到服务器端主机,然后通过Linux提供的scp命令复制到远端主机。 父主题: 集群管理类
型的规格。 MRS支持的弹性云服务器(ECS)和裸金属服务器(BMS)混合部署,部署方式如下: Master、Core和Task节点均使用ECS部署。 Master、Core使用BMS部署,Task使用ECS部署。 Master、Core节点任意使用ECS和BMS混合部署,Task节点使用ECS部署。
登录用户密码 xxx “登录方式”选择“密码”时,需要配置该参数。 配置为登录用户的密码。 SSH私钥 - “登录方式”选择“SSH私钥”时,需要配置该参数。 单击“添加文件”选择SSH私钥文件并上传。 自动部署到节点 是 是否自动部署到节点。客户端类型选择“完整客户端”时,支持配置该参数。
支持两种方式选择备份数据: 添加备份数据文件 单击导航中某个数据库的名称,将展开显示此数据库中的所有表,勾选指定的表。 MRS 3.2.0及之后版本: 单击“添加”。 在“文件目录”框内选择要备份的表,单击“添加”添加到“备份文件”框内。 单击“确定”添加备份数据文件。 正则表达式筛选
“服务器IP地址”:填写NAS服务器IP地址。 “端口号”:填写CIFS协议连接NAS服务器使用的端口号,默认值为“445”。 “用户名”:填写配置CIFS协议时设置的用户名。 “密码”:填写配置CIFS协议时设置的密码。 “服务器共享路径”:填写用户配置的NAS服务器共享目
行环境准备。 准备运行调测环境 在弹性云服务器管理控制台,申请一个新的弹性云服务器,用于应用开发运行调测。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的网卡需要与MRS集群在同一个网段中。