检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在不同时间、不同使用场景下,MRS集群、服务和主机产生的健康检查报告结果不完全相同。如果需要保存更多的报告用于比较时,可以在MRS Manager修改健康检查报告保存的文件数。健康检查报告保存的文件数不区分集群、服务或主机类型的健康检查报告。健康检查完成后,报告文件默认保存在主管理节点的“$BIGDATA_DA
将数据保存到HDFS。 数据规划 创建HDFS数据文件。 在Linux系统上新建文本文件,将log1.txt中的内容复制保存到data.txt。 在HDFS上创建一个文件夹“/tmp/examples/multi-components/mapreduce/input/”,并上传data.txt到此目录,命令如下:
非-1的值才会生效。 对于开启了跨资源池调度的队列,在作业运行过程中不能删除已有资源池,否则可能会导致运行中的作业申请不到资源而持续阻塞。同样如果在作业运行过程中为队列配置新的资源池,那么此时已经处于运行状态的队列可能不能立即使用到新资源池的资源,新增的资源仅对修改后提交的作业有效。
> 下载认证凭据”。 将下载的认证凭据压缩包解压缩,并将得到的文件复制到客户端节点中,例如客户端节点的“/opt/Bigdata/client/Flink/flink/conf”目录下。如果是在集群外节点安装的客户端,需要将得到的文件复制到该节点的“/etc/”目录下。 MRS 3
Hive动态脱敏功能开启后,配置脱敏列的数据可以参与计算,计算结果输出时不可见,在集群内脱敏策略会根据血缘关系自动传递,更大的发挥数据的价值同时保障数据的隐私性。 使用约束 不支持Hudi表的脱敏。 不支持涉及直接读写HDFS的操作的脱敏。 不支持复杂数据类型array、map、struct的脱敏。 自定
由于MapReduce的作业日志和任务日志(聚合功能开启的情况下)都保存在HDFS上。对于计算任务量大的集群,如果不进行合理的配置对日志文件进行定期归档和删除,日志文件将占用HDFS大量内存空间,增加集群负载。 日志归档是通过Hadoop Archives功能实现的,Hadoop A
用户业务配置的Spooldir source的deletePolicy策略是立即删除(immediate)。 解决办法 适当调大堆内存(xmx)的值。 将Spooldir source的deletePolicy策略更改为永不删除(never)。 父主题: 使用Flume
要重启的服务,进入服务页面。在“服务状态”页签单击“更多”,选择“重启服务”或“滚动重启服务”。 在FusionInsight Manager界面,选择“集群 > 服务 > 待操作的服务名称”,单击右上角的“更多”,选择“重启服务”或“滚动重启服务”。 升级路径不一样重启的服务不一样,详情见如下表格。
Server的服务端口。 根据客户的实际防火墙环境,配置整个集群对外的防火墙策略,将该端口关闭,以保证数据安全。 开启LDAP审计日志输出 登录任一LdapServer节点。 执行以下命令,编辑“slapd.conf.consumer”文件,将“loglevel”的值设置为“25
ThriftServer应用开发示例工程所需的配置文件还需参考准备ThriftServer实例配置文件获取。 复制解压目录下的“hosts”文件中的内容到本地hosts文件中。 在应用开发过程中,如需在本地Windows系统中调测应用程序,需要确保本地节点能与“hosts”文件中所列出的各主机在网络上互通。 如果
所有涉及{MRS补丁版本号}目录名称的操作,均以实际安装的补丁号为准。 例如: cd /opt/Bigdata/patches/MRS_3.3.0-LTS.1.1/client/ 安全集群需要认证对HDFS有权限的用户,普通集群无需执行: kinit {用户} 执行以下命令升级HDFS上的zip包: sh
复制解压目录下的“hosts”文件中的内容到本地hosts文件中。 在应用开发过程中,如需在本地Windows系统中调测应用程序,需要确保本地节点能与“hosts”文件中所列出的各主机在网络上互通。 如果当前节点与MRS集群所在网络平面不互通,可以通过绑定EIP的方式访问MRS集
异常场景下登录客户端操作赋权 ClickHouse集群默认每个节点上的表元信息是相同的,因此在Manager的权限管理页面上默认采集的是任意ClickHouse节点的表信息,如果有个别节点上创建DATABASE/TABLE时未使用ON CLUSTER语句,则权限操作可能无法展示该资源,不保证可以
互信。 备集群上的时间必须与主集群一致,而且主备集群上的NTP服务必须使用同一个时间源。 检查备集群HDFS是否有充足的空间,备份文件保存的目录建议使用用户自定义的目录。 需确保主备集群中Doris和HDFS的“hadoop.rpc.protection”配置项的值保持一致。 根
0之前版本,在ClickHouse客户端给TTL的系统表执行如下语句: alter table system.表名 modify TTL event_date + INTERVAL 保留天数 day; 该语句只是配置运行SQL节点的系统表的TTL,如果所有节点都需要配置,则需要到每个节点上都执行该语句,但不建议使用on
贝功能。 主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 如果要备份到HDFS,需要安装HDFS,Yarn服务。 根据业务需要,规划备份的类型、周期和策略等规格,并检查主备管理节点“数据存放路径/LocalBackup/”是否有充足的空间。 如果数据要
或Manager中停止集群,集群停止后,集群内的组件将无法对外提供服务。 用户也可以将已停止的集群再次启动。 前提条件 如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 如果通过Mana
当前MRS服务对外API提供云服务自定义规范的API V1.1和V2两类接口,V2版本目前仅部分接口支持,主要用于提交作业和提交SQL语句。在接口功能相同的情况下,推荐您优先使用V2接口。 MRS所有版本均支持V1.1接口。 针对MRS 1.X版本的集群,MRS 1.8.7及之后版本支持V2接口。
ebalance的能力,创建任务时指定的task数量会在整个集群中的CDLConnector实例之间做均衡,保证每个实例上运行的task数量大致相同,如果某个CDLConnector实例异常或者节点宕机,该任务会在其它节点重新平衡task的数量。 图1 Task的Rebalance示意图
使用Presto查询Kudu表报错。 问题现象 使用Presto查询Kudu表,报表找不到的错误: 后台报错: 原因分析 在实际的运行节点(worker实例所在节点)没有Kudu相关配置。 处理步骤 在集群Presto所有的worker实例节点上添加配置文件kudu.properties。 配置文件保存路径