检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
topic中的角色称为Producer。 Consumer 从Kafka Topic中获取消息的角色称为Consumer。 Broker Kafka集群中的每一个节点服务器称为Broker。 keytab file 存放用户信息的密钥文件。应用程序采用此密钥文件在集群中进行API方式认证。 父主题： Kafka开发指南（安全模式）
多租户模式下，operation的超时时间。如果operation超时，operation会被关闭。 5d hive.spark.client.server.connect.timeout 多租户模式下，客户端连接超时时间。 5min 父主题： 配置Spark HA增强高可用
kafka-console-consumer.sh --topic streams-wordcount-output --bootstrap-server Broker实例IP地址:Kafka连接端口 --consumer.config /opt/client/Kafka/kafka/config/consumer
Memory”的异常，该异常说明内存不足。错误日志如下： 2016-12-06 02:01:00,768 | WARN | shuffle-server-38 | Exception in connection from /192.168.101.95:53680 | TransportChannelHandler
Memory”的异常，该异常说明内存不足。错误日志如下： 2016-12-06 02:01:00,768 | WARN | shuffle-server-38 | Exception in connection from /192.168.101.95:53680 | TransportChannelHandler
properties Kafka的consumer端配置信息。 producer.properties Kafka的producer端配置信息。 server.properties Kafka的服务端的配置信息。 复制解压目录下的“hosts”文件中的内容到本地hosts文件中。 在应用开发
参考修改集群服务配置参数进入Hive服务参数“全部配置”界面，左侧导航栏选择“HiveServer（角色） > 自定义”，在“hive.server.customized.configs”参数中添加参数名称“hive-ext.record.mr.applicationid”，值为“true”，保存配置。
Hive客户端连接相关配置参数。 user.keytab 对于Kerberos安全认证提供用户信息。 krb5.conf Kerberos Server配置信息。 core-site.xml Hadoop客户端相关配置参数。 在应用开发过程中，如需在本地Windows系统中调测应用程序
"and port is the address of the text server"); System.err.println("To start a simple text server, run 'netcat -l -p <port>' and " +
”，其中“HostName”为故障告警的节点，“PartitionName”为故障磁盘的分区。 联系硬件工程师确认为磁盘硬件故障之后，将服务器上故障磁盘在线拔出。 拔出磁盘后系统会上报“ALM-12014 分区丢失”告警，参考ALM-12014 设备分区丢失（2.x及以前版本）进
环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上（文件上传的路径需要和生成的jar包路径一致）。 若运行“Spark on
编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上（文件上传的路径需要和生成的jar包路径一致）。 若运行“Spark on
append”参数值设置为true。 “dfs.support.append”参数在开源社区版本中默认值是关闭，在FusionInsight版本默认值是开启。 该参数为服务器端参数。建议开启，开启后才能使用Append功能。 不适用HDFS场景可以考虑使用其他方式来存储数据，如HBase。 HDFS不适用于存储大量小文件
properties Kafka的consumer端配置信息。 producer.properties Kafka的producer端配置信息。 server.properties Kafka的服务端的配置信息。 复制解压目录下的“hosts”文件中的内容到本地hosts文件中。 在应用开发
kafka-console-consumer.sh --topic streams-wordcount-output --bootstrap-server Broker实例IP地址:Kafka连接端口 --consumer.config /opt/client/Kafka/kafka/config/consumer
bigdata_env 执行以下命令进行用户认证。(普通模式跳过此步骤) kinit 组件业务用户 执行以下命令登录客户端工具。 zkCli.sh -server ZooKeeper角色实例所在节点业务IP: clientPort 使用如下命令检查ClickHouse集群拓扑信息是否能正常获取到。
private IntWritable timeInfo = new IntWritable(1); /** * 分布式计算 * * @param key Object : 原文件位置偏移量。 * @param value Text
Spark环境变量配置文件。 user.keytab 对于Kerberos安全认证提供用户信息。 krb5.conf Kerberos Server配置信息。 在应用开发过程中，如需在本地Windows系统中调测应用程序，需要复制解压目录下的“hosts”文件中的内容到客户端所在节
略可选择为6、5。 表7 使用索引缓存服务器时是否开启数据预加载 参数 carbon.indexserver.enable.prepriming 所属配置文件 carbon.properties 适用于 数据加载 场景描述 使用索引缓存服务器过程中开启数据预加载可以提升首次查询的性能。
因为数据模型在建表时就已经确定，且无法修改。所以，选择一个合适的数据模型非常重要。 Aggregate模型可以通过预聚合，极大地降低聚合查询时所需扫描的数据量和查询的计算量，非常适合有固定模式的报表类查询场景。但是该模型对count(*) 查询不友好。同时因为固定了Value列上的聚合方式，在进行其他类型的聚合查询时，需要考虑语意正确性。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
