检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ruser”,加入用户组hive、hadoop,主组选择“hadoop”组,关联角色“Manager_administrator”。 操作步骤 准备操作 使用root用户登录RTDServer所在节点,获取关系型数据库对应的驱动Jar包,本场景需要获取“opengaussjdbc-V500R002C00
文件。“人机”用户第一次登录时需修改密码。(普通模式不涉及) 如需在集群间拷贝数据,拷贝数据的集群双方都需要启用集群间拷贝数据功能。 操作步骤 登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env
否 Integer 参数解释: 集群创建失败时,是否收集失败日志。 约束限制: 不涉及 取值范围: 0:不创建OBS桶仅用于MRS集群创建失败时的日志收集。 1:创建OBS桶仅用于MRS集群创建失败时的日志收集。 默认取值: 1 node_groups 是 Array of NodeGroupV2
Manager系统,选择“集群 > 待操作集群的名称 > 服务 > Loader > 更多 > 重启服务”,输入管理员密码重启Loader服务。 操作步骤 设置作业基本信息 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问FusionInsight
区块检查是否配置server_id,log-bin与binlog_format,若没有配置请执行如下命令添加配置项并重启MySQL,若已经配置则忽略此步骤。 $ vi my.cnf [mysqld] server_id=1 log-bin=master binlog_format=row
JDK,不支持在Windows环境中直接运行应用程序。 需要在运行样例代码的本机hosts文件中设置访问节点的主机名和IP地址映射,主机名和IP地址请保持一一对应。 操作步骤 单击IDEA右边Maven窗口的“Reimport All Maven Projects”,进行maven项目依赖import。 图1 reimport
记录导致进程运行时错误的错误信息,如输入对象为空、编解码失败等错误。 进程运行环境信息日志 记录进程运行环境的信息,如资源状态、环境变量等。 脚本日志 记录脚本执行的过程信息。 资源回收日志 记录资源回收的过程信息。 服务卸载时的清理日志 记录卸载服务时执行的步骤操作信息,如清除目录数据、执行时间等
如果设置的作业需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤 设置作业基本信息 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问FusionInsight
注意:该值越大,生成的HFile越多,会导致HBase compaction压力增大,该参数取值范围为[1,10],默认值为“1”,建议根据实际资源情况进行设置。 操作步骤 以客户端安装用户,登录安装客户端的节点。 执行以下命令切换到客户端目录。 cd 客户端安装目录 执行以下命令配置环境变量。 source
区块检查是否配置server_id,log-bin与binlog_format,如果没有配置请执行如下命令添加配置项并重启MySQL,如果已经配置则忽略此步骤。 $ vi my.cnf [mysqld] server_id=1 log-bin=master binlog_format=row
nodelabel -setLabelExpression命令。 Java API设置方式通过NodeLabelFileSystem实例化对象调用setLabelExpression(String src, String labelExpression)方法。src为HDFS上的
产生告警的磁盘名。 对系统的影响 磁盘慢盘故障,导致业务性能下降,阻塞业务的处理能力,严重时可能会导致服务不可用。 可能原因 磁盘老化或者磁盘坏道。 处理步骤 检查磁盘状态。 打开MRS集群详情页面,在实时告警列表中,单击此告警。在“告警详情”区域,获取告警所在主机信息和故障磁盘信息。 确认上报告警的节点是否为虚拟化环境。
集群中已安装ClickHouse、HDFS、Yarn、Flink和Kafka等服务。 客户端已安装,例如安装路径为:/opt/client。 创建作业步骤 使用root用户登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source
ut的场景。 本章节适用于MRS 3.x及之后版本。 前提条件 调用HBase的put或delete接口,把数据保存到HBase中。 操作步骤 写数据服务端调优 参数入口:登录FusionInsight Manager,选择“集群 > 服务 > HBase > 配置 > 全部配置
sh脚本下载并刷新客户端配置文件。 客户端默认使用安装目录下文件Version中的“wsom=xxx”所配置的浮动IP刷新客户端配置,如需刷新为其他集群的配置文件,请执行本步骤前修改Version文件中“wsom=xxx”的值为对应集群的浮动IP地址。 父主题: 管理MRS集群客户端
需要把数据实时写入到HBase中或者对于大批量、连续Put的场景。 前提条件 调用HBase的put或delete接口,把数据保存到HBase中。 操作步骤 写数据服务端调优 参数入口:登录FusionInsight Manager,选择“集群 > 服务 > 配置 > 全部配置”,进入HBas
nodelabel -setLabelExpression命令。 Java API设置方式通过NodeLabelFileSystem实例化对象调用setLabelExpression(String src, String labelExpression)方法。src为HDFS上的
如果设置的作业需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤 设置作业基本信息 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问集群Manager。
登录FusionInsight Manager系统,选择“集群 > 服务 > Loader > 更多 > 重启服务”,输入管理员密码重启Loader服务。 操作步骤 设置作业基本信息 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问集群Manager。
policy”,然后勾选“HTTP_ONLY”,单击“保存”,单击“确定”,重启HDFS服务。 “HTTP_ONLY”默认是勾选的。 操作步骤 登录FusionInsight Manager页面,单击“集群 > 待操作集群的名称 > 服务”,选择“HDFS”,单击进入HDFS服务状态页面。