检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
memoryOverhead 每个执行器要分配的堆内存量（单位为兆字节）。 这是占用虚拟机开销的内存，类似于内部字符串，其他内置开销等等。会随着执行器大小（通常为6-10％）而增长。 1GB spark.streaming.kafka.direct.lifo 配置是否开启Kafka后进先出功能。
用户输入带有敏感信息（如登录密码）的参数时，可通过在参数名前添加“@”的方式为该参数值加密，以防止敏感信息被明文形式持久化。 在MRS管理控制台查看作业信息时，敏感信息会显示为“*”。 例如：username=testuser @password=用户密码 - 服务配置参数 可选参数，用于为本次执行的作业修改服务配置参数。
问题。 解决解决ClickHouse节点有无响应进程kinit_by_user.sh未释放资源的问题。 解决ClickHouse日志检索，会每次检索所有的日志文件，检索日志文件太多导致检索无结果的问题。 解决ClickHouse新扩节点，权限同步不完全的问题。 解决ClickHo
Join样例程序。 假定某个Flink业务1每秒就会收到1条消息记录，消息记录某个用户的基本信息，包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录，消息记录该用户的名字、职业信息。实现实时的以根据业务2中消息记录的用户名字作为关键字，对两个业务数据进行联合查询的功能。
Join样例程序。 假定某个Flink业务1每秒就会收到1条消息记录，消息记录某个用户的基本信息，包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录，消息记录该用户的名字、职业信息。实现实时的以根据业务2中消息记录的用户名字作为关键字，对两个业务数据进行联合查询的功能。
设置此配置项。 如果客户端和服务端的服务名不一致，认证会失败。 zookeeper 是 Environment 表11 Environment参数说明 参数 描述 默认值 是否必选 env.java.opts JVM参数，会传递到启动脚本，JobManager，TaskManag
单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 不涉及。 父主题： MRS集群告警处理参考
ven工程下载相关依赖包，具体操作可参考配置并导入样例工程。 图1 Hive样例工程示例 本地配置好Maven及SDK相关参数后，样例工程会自动加载相关依赖包。 将准备应用开发配置文件中获取的集群配置文件及用户认证文件放置在样例工程的“resources”目录下。 如需连接开启了
表用于用户终端（例如：浏览器）选择。 301 Moved Permanently 永久移动，请求的资源已被永久的移动到新的URI，返回信息会包括新的URI。 302 Found 资源被临时移动。 303 See Other 查看其它地址。 使用GET和POST请求查看。 304 Not
设置此配置项。 如果客户端和服务端的服务名不一致，认证会失败。 zookeeper 是 Environment 表11 Environment参数说明 参数 描述 默认值 是否必选 env.java.opts JVM参数，会传递到启动脚本，JobManager，TaskManag
Hive对接外置自建关系型数据库 本章节适用于MRS 3.x及后续版本。 自建关系型数据库：本章节以对接开源MySQL和Postgres数据库进行说明。 在已有Hive数据的集群上外置元数据库后，之前的元数据表不会自动同步。因此在安装Hive之初就要确认好元数据是外置数据库还是内
Spark Streaming对接Kafka0-10样例程序开发思路 场景说明 假定某个业务Kafka每1秒就会收到1个单词记录。 基于某些业务要求，开发的Spark应用程序实现如下功能： 实时累加计算每个单词的记录总数。 “log1.txt”示例文件： LiuYang YuanJing
Spark Structured Streaming样例程序开发思路 场景说明 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 数据规划 StructuredStreaming样例工
Spark Structured Streaming样例程序开发思路 场景说明 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 数据规划 StructuredStreaming样例工
Java样例代码 功能介绍 在Spark应用中，通过使用Streaming调用kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数，或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例 下面代码片段仅为演示，具体代码参见：com.huawei
执行Kafka Topic删除操作时发现无法删除 问题背景与现象 在使用Kafka客户端命令删除Topic时，发现Topic无法被删除。 kafka-topics.sh --delete --topic test --zookeeper 192.168.234.231:2181/kafka
创建Storm Topology 功能介绍 一个Topology是Spouts和Bolts组成的有向无环图。 应用程序是通过storm jar的方式提交，则需要在main函数中调用创建Topology的函数，并在storm jar参数中指定main函数所在类。 代码样例 下面代码片段在com
HDFS HTTP REST API接口介绍 功能简介 REST应用开发代码样例中所涉及的文件操作主要包括创建文件、读写文件、追加文件、删除文件。完整和详细的接口请参考官网上的描述以了解其使用： http://hadoop.apache.org/docs/r3.1.1/hadoo
/opt/client ... ... component client is installed successfully ... 客户端安装目录可以不存在，会自动创建。但如果存在，则必须为空，目录路径不能包含空格。且客户端安装目录路径只能包含大写字母、小写字母、数字以及_字符。 步骤四：准备应用程序及数据
使用Flume客户端从Kafka采集日志保存到HDFS 操作场景 该任务指导用户使用Flume客户端从Kafka客户端的Topic列表(test1)采集日志保存到HDFS上“/flume/test”目录下。 本章节适用于MRS 3.x及之后版本。 本配置默认集群网络环境是安全的，
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
