检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
sh 现有集群节点安装补丁 将“MRS_Log4j_Patch.tar.gz”上传至主OMS节点的“/home/omm”目录下。具体可参考如何上传本地文件到集群内节点？。 使用root用户登录主OMS节点，修改补丁工具相应权限，切到omm用户下，并解压补丁工具至当前目录。 chown
操作”列编辑或删除UDF信息（只能删除未被使用的UDF项）。 （可选）如果需要立即运行或开发作业，可在“作业管理”进行相关作业配置，可参考如何创建FlinkServer作业。 UDF java代码及SQL样例 UDF java使用样例 package com.xxx.udf; import
Job运行时，会让所有的节点都有任务处理，且处于繁忙状态，这样才能保证资源充分利用，任务的并发度达到最大。可以通过调整处理的数据量大小，以及调整map和reduce个数来实现。 reduce个数的控制使用“mapreduce.job.reduces”。 map个数取决于使用了哪种InputFormat，以及待处
例如要将一个文件夹FileA的读写权限授权给用户组groupA，但是该用户组内某个用户UserA除外，这时可以增加一个允许条件及一个例外条件即可实现。 父主题： 集群用户权限概述
消息通知服务（Simple Message Notification） MRS联合消息通知服务（SMN），采用主题订阅模型，提供一对多的消息订阅以及通知功能，能够实现一站式集成多种推送通知方式。 配置作业消息通知 云审计服务（Cloud Trace Service） 云审计服务（CTS）为用户提供MRS
Task节点数量以增减资源，请参见配置弹性伸缩规则。 若MRS提供的变更配置方式不满足您的要求，您也可以通过重建集群，然后做数据迁移的方式实现集群配置的变更。 续费 如需续费，请进入“续费管理”页面进行续费操作。 欠费 包年/包月集群，没有欠费的概念。 按需购买的集群是按每小时扣
将Mapreduce程序的分析结果移动到数据分析结果目录，并将数据文件的权限设置成660。 为了满足每天分析一次的需求，需要每天重复执行一次1.a～1.b。 业务实现。 登录客户端所在节点，新建“dataLoad”目录，作为程序运行目录，后面编写的文件均保存在该目录下。例如“/opt/client/Oo
API、C API、Shell、HTTP REST API、WEB UI。 Java API 提供HDFS文件系统的应用接口，本开发指南主要介绍如何使用Java APIHDFS Java API接口介绍 HDFS文件系统的应用开发。 C API 提供HDFS文件系统的应用接口，使用C语言开发的用户可参考C接口HDFS
二级索引等功能。在创建表的时候需要指定表引擎，不同的表引擎会决定一张数据表的最终“性格”，比如数据表拥有何种特性、数据以何种形式被存储以及如何被加载。 父主题： ClickHouse开发指南（安全模式）
CLIENT_GC_OPTS="-Xmx1G" 在修改完后，使用如下命令刷新客户端配置，使之生效： source <客户端安装路径>/bigdata_env 如何设置Yarn客户端运行时的日志级别？ Yarn客户端运行时的日志是默认输出到Console控制台的，其级别默认是INFO级别。有的时候为了
r系统中获取到的用于Kerberos安全认证的keytab文件和principal文件，以及多个Manager系统各自的客户端配置文件，可实现一次认证登录后访问调用多集群的HBase服务。 以下代码在hbase-example样例工程的“com.huawei.bigdata.hbase
取。ECS元数据接口有单机器5分钟140次的流控阈值，触发流控后机器被加入黑名单，30分钟内不能再次请求元数据接口。为防止触发流控，MRS实现了节点级别跨进程的缓存服务meta，用于缓存临时AKSK。 使用场景：适用于通过委托使用临时aksk访问OBS的Spark，Hadoop等
doop-hdfs/HDFSHighAvailabilityWithQJM.html#Automatic_Failover HDFS HA实现方案 图1 典型的HA部署方式 在一个典型的HA集群中（如图1），需要把两个NameNodes配置在两台独立的机器上。在任何一个时间点，只
日志级别默认为INFO，可以通过调整日志打印级别（DEBUG，INFO，WARN，ERROR，FATL）来显示更详细的信息。可以通过修改log4j.properties文件来实现，如： hbase.root.logger=INFO,console ... log4j.logger.org.apache.zookeeper=INFO
过自定义弹性伸缩自动化脚本来解决。自动化脚本可以在弹性伸缩前后执行相应操作，自动适应业务负载的变化，免去了人工操作。同时，自动化脚本给用户实现个性需求提供了途径，完全自定义的脚本与多个可选的执行时机基本可以满足用户的各项需求，使弹性伸缩更具灵活性。 弹性伸缩规则： 用户对于一个集
从关系数据库导入数据时的查询条件，示例：-where 'id = 2' -z,-compress 压缩参数，默认数据不压缩，通过该参数可以使用gzip压缩算法对数据进行压缩，适用于SequenceFile，text文本文件，和Avro文件。 -compression-codec Hadoop压缩编码，默认为gzip。
kafka_version xxx参数传入 - kafka_partition_hash 否 划分kafka topic partition的算法，支持default或murmur3 default kafka_key_format 否 Kafka record的key生成方式，支持array或Hash
二级索引等功能。在创建表的时候需要指定表引擎，不同的表引擎会决定一张数据表的最终“性格”，比如数据表拥有何种特性、数据以何种形式被存储以及如何被加载。 父主题： ClickHouse开发指南（普通模式）
数据接入的统一管道，对应大数据组件MRS-Kafka。 实时流处理引擎：从Kafka实时读取数据并进行复杂的实时计算，将结果送到下游，可以实现毫秒级的实时流式处理，对应大数据组件MRS-FlinkSQL。 离线数据湖：针对业务系统的离线数据进行统一归集和处理，进行贴源数据加工。
如果在创建索引后将列族TTL更改为较低值，则索引可能会晚于用户数据被删除。 HBase表启动容灾之后，主集群新建二级索引，索引表变更不会自动同步到备集群。要实现该容灾场景，必须执行以下操作： 在主表创建二级索引之后，需要在备集群使用相同方法创建结构、名称完全相同的二级索引。 在主集群手动将索引列族
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
