检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Impala应用开发常用概念 客户端 客户端直接面向用户,可通过Java API、Thrift API访问服务端进行Impala的相关操作。本文中的Impala客户端特指Impala client的安装目录,里面包含通过Java API访问Impala的样例代码。 HiveQL语言
StringBuilder("https://").append(restHostName).append(":21309").toString(); String nonSecurityModeUrl = new StringBuilder("http://").append(restHostName)
clickhouse.examples.Demo 查看调测结果 ClickHouse应用程序运行完成后,可通过以下方式查看程序运行情况: 通过运行结果查看程序运行情况。 通过ClickHouse日志获取应用运行情况。 即查看当前jar文件所在目录的“logs/clickhouse-example
clickhouse.examples.Demo 查看调测结果 ClickHouse应用程序运行完成后,可通过以下方式查看程序运行情况: 通过运行结果查看程序运行情况。 通过ClickHouse日志获取应用运行情况。 即查看当前jar文件所在目录的“logs/clickhouse-example
http_port 8123 8123 用于通过http连接到ClickHouse server的端口。 https_port 8443 8443 用于通过https连接到ClickHouse server的端口。 tcp_port 9000 9000 用于客户端通过TCP连接到ClickHouse
conf) 新建一个MapReduce客户端,用于配置作业属性,提交作业。 setMapperClass(Class<extends Mapper> cls) 核心接口,指定MapReduce作业的Mapper类,默认为空。也可以在“mapred-site.xml”中配置“mapreduce
clickhouse-examples-*.jar 查看调测结果 ClickHouse应用程序运行完成后,可通过以下方式查看程序运行情况: 通过运行结果查看程序运行情况。 通过ClickHouse日志获取应用运行情况。 即查看当前jar文件所在目录的“logs/clickhouse-example
MapReduce REST API接口介绍 功能简介 通过HTTP REST API来查看更多MapReduce任务的信息。目前Mapresuce的REST接口可以查询已完成任务的状态信息。完整和详细的接口请直接参考官网上的描述以了解其使用:http://hadoop.apache
参数 描述 默认值 yarn.app.mapreduce.am.resource.mb 该参数值必须大于下面参数的堆大小。单位:MB 1536 yarn.app.mapreduce.am.command-opts 传递到MapReduce ApplicationMaster的JVM启动参数。
"fieldNameBasedTupleToKafkaMapper" className: "org.apache.storm.kafka.bolt.mapper.FieldNameBasedTupleToKafkaMapper" constructorArgs: - "words"
参数 描述 默认值 yarn.app.mapreduce.am.resource.mb 该参数值必须大于下面参数的堆大小。单位:MB 1536 yarn.app.mapreduce.am.command-opts 传递到MapReduce ApplicationMaster的JVM启动参数。
clickhouse.examples.Demo 查看调测结果 ClickHouse应用程序运行完成后,可通过以下方式查看程序运行情况: 通过运行结果查看程序运行情况。 通过ClickHouse日志获取应用运行情况。 即查看当前jar文件所在目录的“logs/clickhouse-example
{客户端安装目录} 例如: sh upgrade_client.sh rollback /opt/client/ 回退组件安装包 若安装时执行了升级组件安装包步骤,则卸载后需要回退 登录集群主OMS节点,执行以下命令。 su - omm cd /opt/Bigdata/patches/MRS_3
您已经对Maven构建方式具备一定的认识和使用方法有一定了解。 MRS应用开发流程说明 通常MRS应用开发流程如下图所示,各组件应用的开发编译操作可参考组件开发指南对应章节。 图1 MRS应用开发流程 表1 MRS应用开发流程说明 阶段 说明 准备开发环境 在进行应用开发前,需首先准备开发环境,推荐使用IntelliJ
--class:Spark应用的类名。 --master:Spark用于所连接的master,如yarn-client,yarn-cluster等。 application-jar:Spark应用的jar包的路径。 application-arguments:提交Spark应用的所需要的参数(可以为空)。
Spark Streaming对接Kafka0-10样例程序(Java) 功能介绍 在Spark应用中,通过使用Streaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数,或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例
clickhouse.examples.Demo 查看调测结果 ClickHouse应用程序运行完成后,可通过以下方式查看程序运行情况: 通过运行结果查看程序运行情况。 通过ClickHouse日志获取应用运行情况。 即查看当前jar文件所在目录的“logs/clickhouse-example
操作场景 在代码完成开发后,您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。 HDFS应用程序运行完成后,可直接通过运行结果查看应用程序运行情况,也可以通过HDFS日志获取应用运行情况。 在本地Windows中调测HDFS程序 (可选)在开发环境中(例如IntelliJ
conf) 新建一个MapReduce客户端,用于配置作业属性,提交作业。 setMapperClass(Class<extends Mapper> cls) 核心接口,指定MapReduce作业的Mapper类,默认为空。也可以在“mapred-site.xml”中配置“mapreduce
退订:已经购买包周期集群的客户,在集群资源到期之前,如果不需要该集群资源,可以在MRS上对已订购包周期的产品进行集群资源退订。 购买集群 通过在MRS服务管理面,客户可以按需或者包年包月购买MRS集群,通过选择集群所建的区域及使用的云资源规格,一键式购买适合企业业务的MRS集群。MRS服务会根据用户选择的集群类