检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
根据待迁移分区当前的磁盘空间占用情况,评估迁移后,不会导致新迁移后的磁盘空间不足。 使用Kafka客户端迁移数据 以客户端安装用户,登录已安装Kafka客户端的节点。 执行以下命令,切换到Kafka客户端安装目录,例如“/opt/kafkaclient”。 cd /opt/kafkaclient
仓。 编包并运行程序 在IntelliJ IDEA中,打开Maven工具窗口。 在IDEA主页面,选择“View->Tool Windows->Maven”打开“Maven”工具窗口。 图1 打开Maven工具窗口 若项目未通过maven导入,需要执行以下操作: 右键选择单击样例代码项目中的pom文件,选择“Add
根据待迁移分区当前的磁盘空间占用情况,评估迁移后,不会导致新迁移后的磁盘空间不足。 使用Kafka客户端迁移数据 以客户端安装用户,登录已安装Kafka客户端的节点。 执行以下命令,切换到Kafka客户端安装目录,例如“/opt/kafkaclient”。 cd /opt/kafkaclient
优化HDFS DataNode RPC的服务质量 配置场景 当客户端写入HDFS的速度大于DataNode的硬盘带宽时,硬盘带宽会被占满,导致DataNode失去响应。客户端只能通过取消或恢复通道进行规避,这会导致写入失败及不必要的通道恢复操作。 本章节适用于MRS 3.x及后续版本。
过定期执行检查点操作保存当前状态信息,就可以避免工作内容的丢失。 当启用NodeManager Restart时,NodeManager在本地保存当前节点上运行的container信息,重启NodeManager服务后通过恢复此前保存的状态信息,就不会丢失在此节点上运行的container进度。
"max_file_size" = "100MB", "broker.username"="hdfs", "broker.password"="" ); 导出到本地文件 导出到本地文件时需要先在“fe.conf”中配置enable_outfile_to_local=true。 select * from tbl1
附录 MRS所使用的弹性云服务器规格 MRS所使用的裸金属服务器规格 状态码 错误码 获取项目ID 获取账号ID 获取MRS集群信息 MRS支持的角色与组件对应表
开源镜像仓 操作步骤 在IntelliJ IDEA中,打开Maven工具窗口。 在IDEA主页面,选择“View->Tool Windows->Maven”打开“Maven”工具窗口。 图1 打开Maven工具窗口 若项目未通过maven导入,需要执行以下操作: 右键选择单击样例代码项目中的pom文件,选择“Add
编包并运行程序 在IntelliJ IDEA中,打开Maven工具窗口。 在IDEA主页面,选择“View->Tool Windows-> > Maven”打开“Maven”工具窗口。 图1 打开Maven工具窗口 若项目未通过maven导入,需要执行以下步骤: 右键选择单击
集群内ClickHouseServer节点间数据迁移 ClickHouse数据迁移工具可以将某几个ClickHouseServer实例节点上的一个或多个MergeTree引擎分区表的部分分区迁移至其他ClickHouseServer节点上相同的表中。在扩容场景中,可以使用该工具将原节点上的部分数据迁移至新增节点上,从而达到扩容后的数据均衡。
启用集群间拷贝功能备份集群数据 操作场景 当用户需要将保存在HDFS中的数据从当前集群备份到另外一个集群时,需要使用DistCp工具。DistCp工具依赖于集群间复制功能,该功能默认未启用。两个集群都需要配置。 该任务指导MRS集群管理员在MRS修改参数以启用集群间复制功能。 对系统的影响
在进行开发时,要准备的开发和运行环境如表1所示。 表1 开发和运行环境 准备项 说明 操作系统 Windows系统,支持Windows 7以上版本。 本地开发环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置,版本要求如下: JDK版本号应该与用户要访问的FusionInsight
它不会立即删除,而是会在480秒后删除。在删除表时,加上SYNC字段,即可解决该问题,例如:drop table t1 SYNC; 删除本地表和分布式表,则不会出现该问题,可不带SYNC字段,例如:drop table t1; 父主题: ClickHouse常用SQL语法
它不会立即删除,而是会在480秒后删除。在删除表时,加上SYNC字段,即可解决该问题,例如:drop table t1 SYNC; 删除本地表和分布式表,则不会出现该问题,可不带SYNC字段,例如:drop table t1; 父主题: ClickHouse常用SQL语法
所以当查看的是已结束或不存在的applicationID,服务器会响应给浏览器“404”的状态码。但是由于chrome浏览器访问该REST接口时,优先以“application/xml”的格式响应,该行为会导致服务器端处理出现异常,所以返回的页面会提示“Error Occurr
xxx 说明: 集群外节点业务IP为安装客户端所在的弹性云服务器的IP。集群内节点业务IP获取方式如下: 登录MapReduce服务管理控制台,选择“现有集群”,选中当前的集群并单击集群名,进入集群信息页面。在“节点管理”中查看安装客户端所在的节点IP。 keytab路径。 security
配置Flume对接安全模式Kafka 使用Flume客户端对接安全kafka。 新增jaas.conf文件,并保存到“${Flume客户端安装目录}/conf”下,jaas.conf文件内容如下: KafkaClient { com.sun.security.auth.module
配置Flume对接安全模式Kafka 使用Flume客户端对接安全kafka。 新增jaas.conf文件,并保存到“${Flume客户端安装目录}/conf”下,jaas.conf文件内容如下: KafkaClient { com.sun.security.auth.module
图1 YARN结构 图1中各部分的功能如表1所示。 表1 结构图说明 名称 描述 Client YARN Application客户端,用户可以通过客户端向ResourceManager提交任务,查询Application运行状态等。 ResourceManager(RM) 负责集
所以当查看的是已结束或不存在的applicationID,服务器会响应给浏览器“404”的状态码。但是由于chrome浏览器访问该REST接口时,优先以“application/xml”的格式响应,该行为会导致服务器端处理出现异常,所以返回的页面会提示“Error Occurr