检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
addResource(new Path(userdir + "hbase-site.xml"), false); } [1]userdir获取的是编译后资源路径下conf目录的路径。 安全登录 请根据实际情况,修改“userName”为实际用户名,例如“developuser”。 private
when connect apache zookeeper ", e); } } [1]userdir获取的是编译后资源目录的路径。将初始化需要的配置文件“core-site.xml”、“hdfs-site.xml”、“hbase-site.xml”和用于安
的调度和监控,以及重新执行已经失败的任务。 MapReduce主要特点如下: 大规模并行计算 适用于大型数据集 高容错性和高可靠性 合理的资源调度 常用概念 Hadoop shell命令 Hadoop基本shell命令,包括提交MapReduce作业,终止MapReduce作业,进行HDFS文件系统各项操作等。
when connect apache zookeeper ", e); } } [1]userdir获取的是编译后资源目录的路径。将初始化需要的配置文件“core-site.xml”、“hdfs-site.xml”、“hbase-site.xml”放置到"
取决于IAM同步时,用户所绑定的IAM策略,提交作业策略请参考IAM用户同步MRS集群说明章节中表1。 用户提交作业,如果涉及到具体组件的资源使用,如HDFS的目录访问、Hive表的访问等相关组件的权限时,需由admin(Manager管理员)用户进行授权,给提交作业用户赋予相关组件权限。
> 服务 > Yarn > 实例 > NodeManager(对应上报告警实例IP地址)”,单击图表区域右上角的下拉菜单,选择“定制 > 资源”,勾选“NodeManager内存使用率”。查看堆内存使用情况。 图1 定制NodeManager内存使用率 查看NodeManager
出现此告警时,说明当前Loader实例设置直接内存大小无法满足当前业务使用场景,建议打开实例监控界面,在页面上调出“Loader直接内存资源状况”监控图表,观察该监控图表中“Loader使用的直接内存大小”的变化趋势,根据当前直接内存使用的大小,调整“-XX:MaxDirect
节点的Region。 Storm/ Supervisor 规则:缩容后集群slot数足够运行当前已提交的任务。 原因:防止缩容后没有充足的资源运行流处理任务。 Flume/FlumeServer 规则:节点安装了FlumeServer,并且已经配置了Flume任务,则该节点不能删除。
可选参数,为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。 SparkSql作业常用的运行程序参数如表2所示,可根据执行程序及集群资源情况进行配置。 - 服务配置参数 可选参数,用于为本次执行的作业修改服务配置参数。 该
包括一键式部署集群能力,并提供多版本选择,支持运行过程中集群在无业务中断条件下,进行扩缩容、弹性伸缩。同时MRS集群管理还提供了作业管理、资源标签管理,以及对上述数据处理各层组件的运维,并提供监控、告警、参数配置、补丁升级等一站式运维能力。 产品优势 MRS服务拥有强大的Hado
执行以下命令添加新的公钥信息: cat id_rsa.pub_bak >> authorized_keys 执行以下命令移动临时公钥文件到其他目录,例如,移动到“/tmp”目录。 mv -f id_rsa.pub_bak /tmp 复制主管理节点的“authorized_keys”文件到集群内其他节点:
的调度和监控,以及重新执行已经失败的任务。 MapReduce主要特点如下: 大规模并行计算 适用于大型数据集 高容错性和高可靠性 合理的资源调度 常用概念 Hadoop shell命令 Hadoop基本shell命令,包括提交MapReduce作业,终止MapReduce作业,进行HDFS文件系统各项操作等。
进入“${BIGDATA_HOME}/om-server/om/sbin/”目录,然后执行./status-oms.sh命令检查备OMS数据库资源状态是否正常,查看回显中,“ResName”为“gaussDB”的一行,是否显示如下信息: 例如: 10_10_10_231 gaussDB
单击“实例”,选择对应IP地址的“角色”列的“quorumpeer”,单击图表区域右上角的下拉菜单,选择“定制 > CPU 和内存”,勾选“ZooKeeper堆内存与直接内存资源状况”,单击“确定”,查看ZooKeeper实际使用的堆内存大小。 根据堆内存实际使用量,修改GC_OPTS参数中的-Xmx值,该值一般为
Mapreduce > 实例 > JobHistoryServer(对应上报告警实例主机名)”,单击图表区域右上角的下拉菜单,选择“定制 > 资源”,勾选“JobHistoryServer堆内存使用百分比统计”。查看堆内存使用情况。 查看JobHistoryServer使用的堆内存是
产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 占用服务器资源,ClickHouse服务的性能下降。 数据不一致。 可能原因 数据量过大,导致mutation任务执行缓慢或者mutation任务执行卡住。
他,则取消数据导出操作。 例如:输入“yes”后,需根据提示输入业务用户名和对应密码,当显示以下信息,表示数据导出成功。 为避免安全风险,推荐使用交互式方式导出CSV文件。 导出CSV文件也可使用“./export-csv.sh -h IoTDBServer实例节点的业务ip -p
Action节点中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 name FS活动的名称 delete 删除指定的文件和目录的标签 move 将文件从源目录移动到目标目录的标签 chmod 修改文件或目录权限的标签 path 当前文件路径 source 源文件路径 target 目标文件路径 permissions
视图数据修改。 禁止在创建物化视图时使用POPULATE关键字。 使用POPULATE方式创建物化视图期间,如果有数据插入,则可能丢失。 推荐的历史数据同步方式: -- create MV с where date >= in_the_future CREATE MATERIALIZED
统默认阈值0.5%)进行比较,当检测到网络读包错误率连续多次(默认值为5)超过阈值时产生该告警。 用户可通过“系统设置 > 阈值配置 > 设备 > 主机 > 网络读信息 > 网络读包率信息 > 读包错误率”修改阈值。 平滑次数为1,网络读包错误率小于或等于阈值时,告警恢复;平滑次