检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业中指定的Hive表的权限。 获取SFTP服务器使用的用户和密码,且该用户具备SFTP服务器上源文件的读取权限。若源文件在导入后文件名要增加后缀,则该用户还需具备源文件的写入权限。 检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。
在弹出的窗口中单击“确定”。 查看过期配置: 单击“过期配置”,界面将显示当前集群内配置过期的配置项。 可通过界面上方的服务过滤框进行筛选,查看不同服务的过期配置,或者在搜索框中直接搜索关键字。 处于过期状态的配置项并未完全生效,在不影响业务情况下,请及时重启配置过期的服务或实例。
可以通过选择右上角的“组件首次启动前”或者“组件首次启动后”查询相关的引导操作信息。 这里列出的是上次执行结果。对于新创建的集群,则列出的是创建时执行引导操作的记录;如果集群被扩容了,则列出的是上次扩容对新增节点执行引导操作的记录。 查看执行日志 如果需要查看引导操作的执行日志,请在添加引导操作时将“失败操作”配置为
您已经对大数据各组件具备一定的认识。 您已经对Java语法具备一定的认识。 您已经对弹性云服务器的使用方式和MapReduce服务开发组件有一定的了解。 您已经对Maven构建方式具备一定的认识和使用方法有一定了解。 MRS应用开发流程说明 通常MRS应用开发流程如下图所示,各组件应用的开发编译操作可参考组件开发指南对应章节。
创建名称为“hive”的Catalog、名称为“default”的数据库,如果实例中已存在则请跳过该步骤。详细操作可参考管理元数据。 MRS对接LakeFormation仅支持对接LakeFormation实例的数据目录名称为“hive”的Catalog。 确认左上角实例是新创建的LakeF
所支持的所有组件。 版本类型 LTS版 待创建的MRS集群版本类型。 集群版本 MRS 3.2.0-LTS.1 待创建的MRS集群版本,不同版本所包含的开源组件版本及功能特性可能不同,推荐选择最新版本。 组件选择 ClickHouse集群 基于系统预置的集群模板选择要购买的集群组件。
据量较小且健康状态良好的节点。 Core节点在缩容的时候,会对原节点上的数据进行迁移。业务上如果对数据位置做了缓存,客户端自动刷新位置信息可能会影响时延。缩容节点可能会影响部分HBase on HDFS数据的第一次访问响应时长,可以重启HBase或者对相关的表Disable/Enable来避免。
创建名称为“hive”的Catalog、名称为“default”的数据库,如果实例中已存在则请跳过该步骤。详细操作可参考管理元数据。 MRS对接LakeFormation仅支持对接LakeFormation实例的数据目录名称为“hive”的Catalog。 确认左上角实例是新创建的LakeF
创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取SFTP服务器使用的用户和密码,且该用户具备SFTP服务器上源文件的读取权限。若源文件在导入后文件名要增加后缀,则该用户还需具备源文件的写入权限。 检查磁盘空间,确
告警”,选中“告警ID”为“19009”的告警,查看“定位信息”中的角色名以及确认主机名所在的IP地址。 告警上报的角色是HMaster,执行2。 告警上报的角色是RegionServer,执行3。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > HBase
告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 ZooKeeper可用连接数不足,当连接
服务器输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。 如果设置的作业需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤 设置作业基本信息
so,也使用了libssl.so。而一旦LD_LIBRARY_PATH添加了hadoop的native库目录,则使用的就是hadoop native库中的libcrypto.so,而使用系统自带的libssl.so(因为hadoop native目录没有带该包) 。由于这两个库版本
so,也使用了libssl.so。而一旦LD_LIBRARY_PATH添加了hadoop的native库目录,则使用的就是hadoop native库中的libcrypto.so,而使用系统自带的libssl.so(因为hadoop native目录没有带该包) 。由于这两个库版本
在“分布”页签,可查看集群的资源分布监控,默认显示1小时的监控数据。用户可单击自定义时间区间。 图1 资源分布概况 单击“选择指标”可以自定义所需查看的指标项。选择指标后,页面会显示在各个区间的主机分布图。 鼠标停留在某个色块时,会显示处于当前区间的主机数量。单击色块,页面会显示处于当前区间的主机列表。
荐使用社区版本的clickhouse-jdbc来进行应用程序开发。 基本概念 cluster cluster(集群)在ClickHouse里是一种逻辑的概念,它可以由用户根据需要自由的定义,与通常理解的集群有一定的差异。多个ClickHouse节点之间是一种松耦合的关系,各自独立存在。
OutOfMemoryError”的错误。 这个问题是由于Yarn客户端运行时的所需的内存超过了Yarn客户端设置的内存上限(默认为128MB)。可以通过修改“<客户端安装路径>/HDFS/component_env”中的“CLIENT_GC_OPTS”来修改Yarn客户端的内存上限。例如,需要设置该内存上限为1GB,则设置:
败后,支持回滚到事务执行之前的状态。 本章节主要介绍如何开启ClickHouse事务。 使用本地表场景进行数据写入性能更优,故推荐本地表的数据增、删、改、查场景的多副本分布式事务支持。 对于使用分布式表进行数据写入场景的分布式事务,需要结合分布式表事务insert_distrib
hosts”文件内是否包含集群内节点的主机名信息,如未包含,需要手动复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中,确保本地机器能与集群各主机在网络上互通。 Hive操作权限 在进行应用程序开发之前,使用的用户的基本权限要求是属于Hive组,额外操作
客户端可以安装在集群内的节点上,也可以安装在集群外的节点上,本指南以在集群内的Master1节点上安装客户端为例进行介绍。 MRS集群创建成功后,在集群列表中单击MRS集群名称进入集群概览页面。 单击“集群管理页面”后的“前往 Manager”,在弹出的窗口中选择“EIP访问”并配置弹性IP信息。