检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
topic) { super("KafkaConsumerExample", false); // 初始化consumer启动所需的配置参数,详见代码。 Properties props = initProperties(); consumer = new
XX/install/dbservice/ha/module/harm/plugin/script/gsDB/.startGS.fail”配置文件中的值为0。其中XXX是产品版本号。 启动该DBServer实例。 父主题: 使用DBservice
e使用,也可以直接使用创建MRS集群时生成的launcher-job队列。 在Manager页面选择“集群 > 服务 > Oozie > 配置”,搜索参数“oozie.site.configs”,在值列添加名称“oozie.launcher.default.queue”,值为队列
topic) { super("KafkaConsumerExample", false); // 初始化consumer启动所需的配置参数,详见代码。 Properties props = initProperties(); consumer = new
topic) { super("KafkaConsumerExample", false); // 初始化consumer启动所需的配置参数,详见代码。 Properties props = initProperties(); consumer = new
准备开发和运行环境 Impala的应用程序支持使用Java、Python两种语言进行开发。推荐使用Eclipse工具,请根据指导完成不同语言的开发环境配置。 Impala应用开发环境简介 根据场景开发工程 提供了Java、Python两种不同语言的样例工程,还提供了从建表、数据加载到数据查询的样例工程。
topic) { super("KafkaConsumerExample", false); // 初始化consumer启动所需的配置参数,详见代码。 Properties props = initProperties(); consumer = new
Flink在当前版本中重点构建如下特性,其他特性继承开源社区,不做增强。 DataStream Checkpoint 窗口 Job Pipeline 配置表 架构 Flink架构如图2所示。 图2 Flink架构 Flink整个系统包含三个部分: Client Flink Client主要给
Flink在当前版本中重点构建如下特性,其他特性继承开源社区,不做增强。 DataStream Checkpoint 窗口 Job Pipeline 配置表 架构 Flink架构如图2所示。 图2 Flink架构 Flink整个系统包含三个部分: Client Flink Client主要给
conf文件,无法获取kerberos认证所需信息,导致ApplicationMaster启动失败。 解决办法 在客户端提交任务时,在命令行中配置自定义的spark.driver.extraJavaOptions参数这样任务运行时就不会自动加载客户端路径下“spark-defaults
HBase启动失败,RegionServer日志中提示“FileNotFoundException” HBase启动后原生页面显示RegionServer个数多于实际个数 RegionServer实例异常,处于Restoring状态 新安装的集群HBase启动失败 acl表目录丢失导致HBase启动失败 集群上下电之后HBase启动失败
RCFILE,SEQUENCEFILE等存储格式,并支持自定义扩展。 多种客户端连接方式,支持JDBC接口。 Hive的主要应用于海量数据的离线分析(如日志分析,集群状态分析)、大规模的数据挖掘(用户行为分析,兴趣分区,区域展示)等场景下。 父主题: Hive应用开发概述
Hudi性能调优 性能调优方式 当前版本Hudi写入操作主推Spark,因此Hudi的调优和Spark比较类似。 推荐资源配置 mor表: 由于其本质上是写增量文件,调优可以直接根据Hudi的数据大小(dataSize)进行调整。 dataSize如果只有几个G,推荐跑单节点运行
性能调优方式 当前版本Hudi写入操作主推Spark,因此Hudi的调优和Spark比较类似,可参考Spark Core性能调优。 推荐资源配置 mor表: 由于其本质上是写增量文件,调优可以直接根据hudi的数据大小(dataSize)进行调整。 dataSize如果只有几个G,
consume.mode = INCREMENTAL;,但该参数仅限于增量视图查询,不能用于Hudi表的其他类型查询,和其他表的查询。 恢复配置可设置set hoodie.hudicow.consume.mode = SNAPSHOT;或任意值。 父主题: Hudi读操作
接将Kerberos认证的文件传进去进行认证。而在MRS 1.9版本中,此方法行不通,需要先进行Kerberos认证,并且需要获取一些别的配置信息,然后再进行URL拼接。 处理步骤 请参考官方MRS 1.9样例工程中hive-examples的认证连接,样例地址请参考开发指南。 建议与总结
开发。可使用IDEA工具。 准备本地应用开发环境 准备工程 Oozie提供了不同场景下的样例程序,您可以导入样例工程进行程序学习。 导入并配置Oozie样例工程 根据场景开发工程 提供了Java语言的样例工程。 开发Oozie应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。
构建源端数据源。 构建目标端Elasticsearch数据源(可以在构建数据源的时候,通过setRestClientFactory方法,配置自定义实现的UserRestClientFactory)。 构建Flink执行环境。 父主题: Flink对接云搜索服务(CSS)样例程序
收集异常故障日志时间长短可以咨询技术支持人员。 单击“下载”,实时转储的系统表会被保存在本地。 收集一键转储系统表日志 使用root用户后台登录任一ClickHouseServer节点,进入到sbin目录下。 cd ${BIGDATA_HOME}/FusionInsight_C
的数据进行计算。同时在计算完成后,也可以将数据存储到HDFS。 HDFS和Spark的关系 通常,Spark中计算的数据可以来自多个数据源,如Local File、HDFS等。最常用的是HDFS,用户可以一次读取大规模的数据进行并行计算。在计算完成后,也可以将数据存储到HDFS。