检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ELEGATION_TOKEN。 为了能够在随后的工作中再次使用同一个Token,为MapReduce任务配置参数。当参数为false时,用户能够再次使用同一个Token。 jobConf.setBoolean("mapreduce.job.complete.cancel.delegation
在客户端安装节点的/tmp目录下残留了很多blockmgr-开头和spark-开头的目录 问题 系统长时间运行后,在客户端安装节点的/tmp目录下,发现残留了很多blockmgr-开头和spark-开头的目录。 图1 残留目录样例 回答 Spark任务在运行过程中,driver会
通过同时利用Flume服务端和客户端,构成Flume的级联任务,采集日志的流程如下所示。 安装Flume客户端。 配置Flume服务端和客户端参数。 查看Flume客户端收集日志。 停止及卸载Flume客户端。 图1 Flume使用流程 Flume模块介绍 Flume客户端/服务端由一个或多
在客户端安装节点的/tmp目录下残留了很多blockmgr-开头和spark-开头的目录 问题 系统长时间运行后,在客户端安装节点的/tmp目录下,发现残留了很多blockmgr-开头和spark-开头的目录。 图1 残留目录样例 回答 Spark任务在运行过程中,driver会
er:通过ECS云服务获取AK/SK信息。 com.obs.services.BasicObsCredentialsProvider:使用用户传入OBS的AK/SK信息。 com.obs.services.EnvironmentVariableObsCredentialsProv
在客户端安装节点的/tmp目录下残留了很多blockmgr-开头和spark-开头的目录 问题 系统长时间运行后,在客户端安装节点的/tmp目录下,发现残留了很多blockmgr-开头和spark-开头的目录。 图1 残留目录样例 回答 Spark任务在运行过程中,driver会
safeMode=true”。 单击“保存”,配置保存完成后。在Flink实例页签勾选所有“FlinkServer”实例,选择“更多 > 重启实例”。 使用omm用户登录任意FlinkServe实例节点,查看进程: ps -ef | grep FlinkServer 如果包含参数“-Dfastjson.parser
异常。 解决这个问题的办法是使用所有schema演进版本来创建uber schema,并使用该schema作为target schema。用户可以从hive metastore中获取schema并将其与当前schema合并。 父主题: 数据写入
当前MRS提供以下ClickHouse相关样例工程: 表1 ClickHouse相关样例工程 样例工程位置 描述 clickhouse-examples 指导用户基于Java语言,实现MRS集群中的ClickHouse的数据表创建、删除以及数据的插入、查询等操作。 本工程中包含了建立服务端连接、创建
当前MRS提供以下ClickHouse相关样例工程: 表1 ClickHouse相关样例工程 样例工程位置 描述 clickhouse-examples 指导用户基于Java语言,实现MRS集群中的ClickHouse的数据表创建、删除以及数据的插入、查询等操作。 本工程中包含了建立服务端连接、创建
er:通过ECS云服务获取AK/SK信息。 com.obs.services.BasicObsCredentialsProvider:使用用户传入OBS的AK/SK信息。 com.obs.services.EnvironmentVariableObsCredentialsProv
ASL_PLAINTEXT。 sasl.kerberos.service.name 服务名。 Kafka集群运行,所使用的Kerberos用户名(需配置为kafka)。 key.serializer 消息Key值序列化类。 指定消息Key值序列化方式。 value.serializer
seconds(5))).sum)仅会保留中间结果;当用户使用自定义窗口时(window(SlidingEventTimeWindows.of(Time.seconds(20), Time.seconds(5))).apply(new UDF))保存所有的原始数据。 用户使用自定义SlidingEven
count(column_name) from table_name”。 JDBC超时限制 Hive提供的JDBC实现有超时限制,默认是5分钟,用户可以通过java.sql.DriverManager.setLoginTimeout(int seconds)设置,seconds的单位为秒。
新建文件夹”,分别创建program、input文件夹,创建完成后如图1所示。 图1 wordcount01文件系统文件夹列表 program:存放用户程序 input:存放用户数据文件 进入program文件夹,选择“上传文件 > 添加文件”,从本地选择1中下载的程序包,然后单击“上传”,上传完成后如图2所示。
新建文件夹”,分别创建program、input文件夹,创建完成后如图1所示。 图1 wordcount01文件系统文件夹列表 program:存放用户程序 input:存放用户数据文件 进入program文件夹,选择“上传文件 > 添加文件”,从本地选择1中下载的程序包,然后单击“上传”,上传完成后如图2所示。
一个分区从热分区变成冷分区,仅仅是在元数据中进行标识,其HDFS业务侧分区路径、数据文件内容并未发生变化。 本特性仅适用于MRS 3.1.2及之后版本。 冻结分区 支持创建表的用户按照条件过滤的方式对一个或多个分区进行冻结,格式为:freeze partitions 数据库名称.表名称 where 分区过滤条件 例如:
Sqoop是专为Apache Hadoop和结构化数据库(如关系型数据库)设计的高效传输大量数据的工具。客户需要在MRS中使用sqoop进行数据迁移,MRS旧版本中未自带Sqoop,客户可参考此文档自行安装使用。MRS 3.1.0及之后版本已支持创建集群时勾选Sqoop组件,请创建集群时勾选即可。
ELEGATION_TOKEN。 为了能够在随后的工作中再次使用同一个Token,为MapReduce任务配置参数。当参数为false时,用户能够再次使用同一个Token。 jobConf.setBoolean("mapreduce.job.complete.cancel.delegation
safeMode=true”。 单击“保存”,配置保存完成后。在Kafka实例页签勾选所有“KafkaUI”实例,选择“更多 > 重启实例”。 使用omm用户登录任意KafkaUI实例节点,查看进程: ps -ef | grep KafkaUI 如果包含参数“-Dfastjson.parser.