检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是否写入脏数据:如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中,以便后面查看,可通过该参数配置,写入脏数据前需要先配置好OBS连接。这里保持默认值“否”即可,不记录脏数据。 作业运行完是否删除:这里保持默认值“不删除”。 单击“保存并运行”,回到作业管理界面,
勾选“我已经阅读上述信息,并了解具体影响。”并单击“确定”。 单击“组件管理”观察各个组件是否存在异常,若存在异常等待5~10分钟后再次观察组件,依然存在异常则联系华为云技术支持处理。 单击“告警管理”观察是否存在异常告警,若存在请清除告警后再进行其他操作。 父主题: MRS集群容量调整
> 确定”,保存完成后重启Spark2x服务或JobHistory实例。 升级更新节点环境上的curl版本。具体curl版本升级方法如下: 下载curl安装包(http://curl.haxx.se/download/)。 使用如下命令进行安装包解压: tar -xzvf curl-x
选择Redis数据连接类型时,需提前准备“分布式缓存服务 Redis版”实例,并确保其“实例类型”为“Cluster集群”、“访问方式”为“免密访问”、同时“区域”和“虚拟私有云”需与Flink所在集群相同。 - 数据连接名称 数据连接的名称。 - 集群连接 配置管理里的集群连接名称。 HDFS类型数据连接需配置该参数。
选择Redis数据连接类型时,需提前准备“分布式缓存服务 Redis版”实例,并确保其“实例类型”为“Cluster集群”、“访问方式”为“免密访问”、同时“区域”和“虚拟私有云”需与Flink所在集群相同。 - 数据连接名称 数据连接的名称。 - 集群连接 配置管理里的集群连接名称。 HDFS类型数据连接需配置该参数。
-- 关闭Archive操作 Spark离线完成Compaction计划的执行,以及Clean和Archive操作 在调度平台(可以使用华为的DataArts)运行一个定时调度的离线任务来让Spark完成Hudi表的Compaction计划执行以及Clean和Archive操作。
要注意以下约束限制: MRS集群和LakeFormation实例必须同在一个云账户下且属于同一个Region。 LakeFormation侧创建的接入客户端所在虚拟私有云,必须与MRS集群在同一虚拟私有云下。 MRS集群仅支持对接LakeFormation实例中名称为hive的Catalog。
安全认证方式 安全认证方式 说明 配置方法 Kerberos认证 当前只支持keytab认证方式。 从FusionInsight Manager下载用户keytab,并将keytab放到Flink客户端所在主机的某个文件夹下。 在“flink-conf.yaml”上配置: keytab路径。
per、Ranger HBase查询集群 HBase集群使用Hadoop和HBase组件提供一个稳定可靠,性能优异、可伸缩、面向列的分布式云存储系统,适用于海量数据存储以及分布式计算的场景,用户可以利用HBase搭建起TB至PB级数据规模的存储系统,对数据轻松进行过滤分析,毫秒级得到响应,快速发现数据价值。
度上也有局限性,例如数据亲和性偏于随机,另外系统也无法支持基于负载的调度策略等。主要原因是调度器在选择作业时,缺乏全局的资源视图,很难做到好的选择。 Superior Scheduler内部采用了不同的调度机制。Superior Scheduler的调度器引入了专门的调度线程,把
Impala客户端使用实践 Impala是用于处理存储在Hadoop集群中的大量数据的MPP(大规模并行处理)SQL查询引擎。 它是一个用C++和Java编写的开源软件。 与其他Hadoop的SQL引擎相比,它拥有高性能和低延迟的特点。 背景信息 假定用户开发一个应用程序,用于管
pPostRequestWithString、sendHttpGetRequest方法,发送POST、GET请求,执行登录认证、导出用户、下载用户。 通过在“conf\log4j.properties”文件中配置日志打印信息,便于查看程序运行过程和结果。 默认已配置,具体填写示例如下:
single_replica_load_download_port 8050 29989 单副本数据导入功能中,Slave副本通过HTTP从Master副本下载数据文件的端口。 父主题: MRS集群运维
集群相关配置是否支持克隆情况参见表1。 表1 MRS集群参数克隆说明 参数 说明 计费模式、版本类型、集群版本、集群类型、组件列表、可用区、企业项目、虚拟私有云、子网、安全组(默认共用克隆集群的)、节点组配置、Kerberos认证、主机名前缀、标签、委托(集群节点默认绑定的委托名称)、日志转储、日志记录
b的角色名,单击“确定”添加到角色,单击“确定”完成操作。 创建完用户后,单击右上角的用户名,注销当前用户登录。使用新创建的用户名登录,根据提示修改当前用户密码。 下载和并使用omm安装ClickHouse客户端到目标集群。 使用omm用户登录到客户端节点,进入到“客户端安装目录/ClickHouse/c
参数类型 描述 is_dec_project 否 Boolean 参数解释: 说明是否为专属云的资源。 约束限制: 不涉及 取值范围: true:是专属云的资源。 false:不是专属云的资源。 默认取值: false cluster_version 是 String 参数解释:
说明 委托名称 只能包含如下字符:大小写字母、中文、数字、空格和特殊字符(-_.,)。 委托类型 选择普通账号。 委托的账号 填写本用户的云账号,即使用手机号开通的账号,不能是联邦用户或者IAM用户。 持续时间 请根据需要选择。 描述 可选,对委托的描述。 权限选择 在“项目”列
持将备份文件保存在Linux本地磁盘、本集群HDFS与备集群HDFS中。 MRS 3.x及之后版本,备份任务提供全量备份或增量备份的策略,云数据备份任务不支持增量备份策略。如果备份的路径类型是NFS或CIFS,不建议使用增量备份功能。因为在NFS或CIFS备份时使用增量备份时,每
vpc 是 String 参数解释: 子网所在VPC名称。通过VPC管理控制台获取名称。 登录管理控制台。 单击“虚拟私有云”,从左侧列表选择虚拟私有云。 在“虚拟私有云”页面的列表中即可获取VPC名称。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 master_node_size
参数类型 描述 is_dec_project 否 Boolean 参数解释: 说明是否为专属云的资源。 约束限制: 不涉及 取值范围: true:是专属云的资源。 false:不是专属云的资源。 默认取值: false cluster_version 是 String 参数解释: