检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
”,选择“自动识别”如图3所示。 图3 算子输入 在输出中把“ClickHouse输出”拖拽到网格中,双击“表输出”,选择“关联”或者手动编辑表格,与输入的表格对应,如图4所示。 图4 算子输出 设置数据保存信息并运行作业 单击“下一步”,进入“输出设置”界面,在“存储类型”中选
在以上场景中,为使HMaster更早完成恢复任务,建议增加以下配置参数,否则Master将退出导致整个恢复进程被更大程度地延迟。 增加namespace表在线等待超时周期,保证Master有足够的时间协调RegionServer workers split任务,避免一次次重复相同的任务。 “hbase
/datadirImport 进入hbase shell,创建表ImportTable并创建“configuration.xml”文件(该文件可以参考模板文件进行编辑,模板文件获取路径为:“/opt/client/HBase/hbase/conf/import.xml.template”)。 例如执行以下命令建表:
row as column names”右侧的,则使用文件中第一行数据作为列名称。取消则不使用数据作为列名称。 在“Column name”编辑每个列的名称。 支持字母、数字、下划线,首位必须为字母或数字,且长度不能超过128位。 单击“Bulk edit column names
后安装会依次生成名为“flume-client-n”的子目录,n代表一个序号,从1依次递增。在Flume客户端安装目录下的conf目录中,编辑ENV_VARS文件,搜索FLUME_LOG_DIR属性,可查看客户端日志路径。 “-e”(可选):FlumeServer的业务IP地址或
在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“HBase”。 单击右上角的时间编辑按钮,设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。
/datadirImport 进入hbase shell,创建表ImportTable并创建“configuration.xml”文件(该文件可以参考模板文件进行编辑,模板文件获取路径为:“/opt/client/HBase/hbase/conf/import.xml.template”)。 例如执行以下命令建表:
替换) 将需要的线程ID转换为16进制格式: printf "%x\n" 30648 输出结果TID为77b8。 根据输出16进制TID,在线程堆栈中进行查找,发现在执行compaction操作。 对其它线程执行相同操作,发现均为compactions线程。 解决办法 属于正常现象。
14。 安装Scala插件 Scala开发环境的基本配置。版本要求:2018.2.11或其他兼容版本。 安装Editra Python开发环境的编辑器,用于编写Python程序。或者使用其他编写Python应用程序的IDE。 7-zip 用于解压“*.zip”和“*.rar”文件,支持7-Zip
施的影响,具体请参考MRS集群补丁说明。 MRS 2.x及之前版本、MRS 3.1.5及之后版本、MRS 3.2.0-LTS及之后版本支持在线安装补丁。 安装补丁 登录MRS管理控制台。 选择“现有集群”,选中一集群并单击集群名,进入集群基本信息页面。 进入“补丁管理”页面的“集
检查日志中是否有元空间大小不足、或堆内存大小不足的报错。 是,执行14。 否,执行17。 执行su - omm切换为omm用户,根据集群版本编辑对应文件,并适当增大“nodeagent.Xms”初始堆内存参数值和“nodeagent.Xmx”最大堆内存参数值大小,保存修改。 参数所在文件路径如下:
3/lib/python3.6”目录(机器不同,目录也有所不同,可以通过which命令来查找当前运行python是使用的那个目录的),然后编辑lzma.py文件。 将: from _lzma import * from _lzma import _encode_filter_properties
14。 安装Scala插件 Scala开发环境的基本配置。版本要求:2018.2.11或其他兼容版本。 安装Editra Python开发环境的编辑器,用于编写Python程序。或者使用其他编写Python应用程序的IDE。 准备开发用户 参考准备MRS应用开发用户章节进行配置。 7-zip
如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 新特性 支持在Hue WebUI中使用HetuEngine SQL编辑器。 运维巡检工具查询优化。 Flink流读Hudi新增了对消息滞留时间和消息堆积时间的监控。 解决的问题 MRS 3.2.0-LTS.1
区移出存储池;如果硬盘恢复正常(通常是因为用户更换了新硬盘),也会将新硬盘重新加入业务运作。这样极大简化了维护人员的工作,更换故障硬盘可以在线完成;同时用户可以设置热备盘,从而极大缩减了故障硬盘的修复时间,有利于提高系统的可靠性。 节点磁盘LVM配置 MRS支持将多个磁盘配置成LVM(Logic
当集群详情页面“概览”页签的“OBS权限控制”后出现或OBS权限控制的映射表已刷新,表示映射生效(过程大约需要1分钟)。 在关系列表的“操作”列可以对已添加的关系进行编辑和删除。 对于没有配置在OBS权限控制的用户,且没有配置AK、SK时,将以集群配置的委托在“对象存储服务”项目下所拥有的权限访问OBS。
检查安装NTP服务有没有安装,未安装请执行yum install ntp -y命令自行安装。 执行vim /etc/ntp.conf命令编辑NTP客户端配置文件,并增加MRS集群中Master节点的IP并注释掉其他server的地址。 server master1_ip prefer
单击“节点管理”,展开Master节点组列表,查看集群Master1、Master2节点的IP地址信息。 使用root用户登录待安装客户端的节点,执行以下命令编辑NTP配置文件,增加MRS集群中Master1、Master2节点的IP地址并注释掉其余server地址。 vi /etc/ntp.conf
根据在集群外节点安装客户端前提条件,创建一个满足要求的弹性云服务器。 执行ntp时间同步,使集群外节点的时间与MRS集群时间同步。 执行vi /etc/ntp.conf命令编辑NTP客户端配置文件,并增加MRS集群中Master节点的IP并注释掉其他server的地址。 server master1_ip prefer
返回作业管理页面,可以查看到已创建的作业名称、类型、状态、作业种类和描述等信息。 作业创建完成后,可在对应作业的“操作”列对作业进行启动、开发、停止、编辑、删除、查看作业详情和Checkpoint故障恢复等操作。 如果要使用其他用户在节点上读取已提交的作业相关文件,需确保该用户与提交作业的用