应用开发-华为云

云数据库 GAUSSDB-不同场景下配置连接参数:自动寻主场景

自动寻主场景某客户存在一套集中式数据库实例，包含1主2备三个节点{node1,node2,node3}，其中node1为主节点，node2、node3为备节点。客户希望应用连接能建立在主DN上，并在发生主备切换时，自动选择新的主节点建连，则url可参考如下配置： jdbc:opengauss://node1,node2,node3/database?targetServerType=master

云数据库 GAUSSDB 典型应用开发示例

云数据库 GAUSSDB-不同场景下配置连接参数:容灾场景

容灾场景某客户有两套数据库实例，其中A数据库实例为生产数据库实例，B数据库实例为容灾数据库实例。当客户执行容灾切换时，A数据库实例将降为容灾数据库实例，B数据库实例将升为生产数据库实例。此时为了避免修改配置文件导致的应用重启或重新发版。客户可在初始配置文件时，即将A、B数据库实例写入连接串中。此时在主数据库实例不可连接时，驱动将尝试对容灾数据库实例建连。例如A数据库实例为{node1,node2,node3}。B数据库实例为{node4,node5,node6}。则url可参考如下进行配置： jdbc:opengauss://node1,node2,node3,node4,node5,node6/database?priorityServers=3

云数据库 GAUSSDB 典型应用开发示例

云数据库 GAUSSDB-不同场景下配置连接参数:高性能场景

高性能场景某客户对于相同sql可能多次执行，仅是传参不同，为了提升执行效率，可开启prepareThreshold参数，避免重复生成执行计划，url可参考如下配置。 jdbc:opengauss://node1/database?prepareThreshold=5 某客户一次查询1000万数据，为避免同时返回造成内存溢出，可使用defaultRowFetchSize，url可参考如下配置。 jdbc:opengauss://node1/database?defaultRowFetchSize=50000 某客户需要批量插入1000万数据，为提升效率，可使用batchMode，url可参考如下配置。 jdbc:opengauss://node1/database?batchMode=on

云数据库 GAUSSDB 典型应用开发示例

MAPREDUCE服务 MRS-准备MapReduce开发和运行环境:准备开发环境

准备开发环境在进行应用开发时，要准备的开发和运行环境如表1所示。表1 开发环境准备项说明操作系统开发环境：Windows系统，支持Windows 7以上版本。运行环境：Windows系统或Linux系统。如需在本地调测程序，运行环境需要和集群业务平面网络互通。安装和配置IntelliJ IDEA 开发环境的基本配置，建议使用2019.1或其他兼容版本。说明：若使用IBM JDK，请确保IntelliJ IDEA中的JDK配置为IBM JDK。若使用Oracle JDK，请确保IntelliJ IDEA中的JDK配置为Oracle JDK。若使用Open JDK，请确保IntelliJ IDEA中的JDK配置为Open JDK。不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。安装Maven 开发环境基本配置，用于项目管理，贯穿软件开发生命周期。安装JDK 开发和运行环境的基本配置。版本要求如下：服务端和客户端仅支持自带的OpenJDK，版本为1.8.0_272，不允许替换。对于客户应用需引用SDK类的Jar包运行在客户应用进程中的。 X86客户端：Oracle JDK：支持1.8版本；IBM JDK：支持1.8.5.11版本。 TaiShan客户端：OpenJDK：支持1.8.0_272版本。说明：基于安全考虑，服务端只支持TLS V1.2及以上的加密协议。 IBM JDK默认只支持TLS V1.0，若使用IBM JDK，请配置启动参数“com.ibm.jsse2.overrideDefaultTLS”为“true”，设置后可以同时支持TLS V1.0/V1.1/V1.2，详情参见https://www.ibm.com/support/knowledgecenter/zh/SSYKE2_8.0.0/com.ibm.java.security.component.80.doc/security-component/jsse2Docs/matchsslcontext_tls.html#matchsslcontext_tls。 7-zip 用于解压“*.zip”和“*.rar”文件。支持7-Zip 16.04版本。

MAPREDUCE服务 MRS 准备MapReduce应用开发环境

MAPREDUCE服务 MRS-准备本地应用开发环境

准备本地应用开发环境在进行应用开发时，要准备的开发和运行环境如表1所示。表1 开发环境准备项说明操作系统开发环境：Windows系统，支持Windows7以上版本。运行环境：Linux系统。如需在本地调测程序，运行环境需要和集群业务平面网络互通。安装JDK 开发和运行环境的基本配置，版本要求如下：服务端和客户端仅支持集群自带的OpenJDK，不允许替换。对于客户应用需引用SDK类的Jar包运行在客户应用进程中的： X86客户端： Oracle JDK：支持1.8版本； IBM JDK：支持1.8.0.7.20和1.8.0.6.15版本。 ARM客户端： OpenJDK：支持1.8.0_272版本（集群自带JDK，可通过集群客户端安装目录中“JDK”文件夹下获取）。毕昇JDK：支持1.8.0_272版本。说明：基于安全考虑，服务端只支持TLS V1.2及以上的加密协议。 IBM JDK默认只支持TLS V1.0，若使用IBM JDK，请配置启动参数“com.ibm.jsse2.overrideDefaultTLS”为“true”，设置后可以同时支持TLS V1.0/V1.1/V1.2，详情可参考https://www.ibm.com/support/knowledgecenter/zh/SSYKE2_8.0.0/com.ibm.java.security.component.80.doc/security-component/jsse2Docs/matchsslcontext_tls.html#matchsslcontext_tls。毕昇JDK详细信息可参考https://www.hikunpeng.com/zh/developer/devkit/compiler/jdk。安装和配置IntelliJ IDEA 开发环境的基本配置，建议使用2019.1或其他兼容版本。说明：若使用IBM JDK，请确保IntelliJ IDEA中的JDK配置为IBM JDK。若使用Oracle JDK，请确保IntelliJ IDEA中的JDK配置为Oracle JDK。若使用Open JDK，请确保IntelliJ IDEA中的JDK配置为Open JDK。不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。华为提供开源镜像站，各服务样例工程依赖的Jar包通过华为开源镜像站下载，剩余所依赖的开源Jar包请直接从Maven中央库或者其他用户自定义的仓库地址下载，详情请参考配置华为开源镜像仓。 7-zip 用于解压“*.zip”和“*.rar”文件，支持7-Zip 16.04版本。父主题：准备Doris应用开发环境

MAPREDUCE服务 MRS 准备Doris应用开发环境

MAPREDUCE服务 MRS-Phoenix命令行操作介绍:操作步骤

操作步骤以客户端安装用户，登录安装HBase客户端的节点。进入HBase客户端安装目录：例如：cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户，当前用户需要具有创建HBase表的权限，具体请参见创建角色配置拥有对应权限的角色，参考创建用户为用户绑定对应角色。如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit MRS 集群用户例如，kinit hbaseuser。直接执行Phoenix客户端命令。 sqlline.py 建表： CREATE TABLE TEST (id VARCHAR PRIMARY KEY, name VARCHAR); 插入数据： UPSERT INTO TEST(id,name) VALUES ('1','jamee'); 查询数据： SELECT * FROM TEST; 删表： DROP TABLE TEST; 退出Phoenix命令行。 !quit

MAPREDUCE服务 MRS HBase应用开发常见问题

MAPREDUCE服务 MRS-准备HBase应用开发和运行环境:准备开发环境

准备开发环境在进行二次开发时，要准备的开发和运行环境如表1所示。表1 开发环境准备项说明操作系统开发环境：Windows系统，支持Windows 7以上版本。运行环境：Windows系统或Linux系统。如需在本地调测程序，运行环境需要和集群业务平面网络互通。安装JDK 开发和运行环境的基本配置，版本要求如下：服务端和客户端仅支持自带的OpenJDK，版本为1.8.0_272，不允许替换。对于客户应用需引用SDK类的Jar包运行在客户应用进程中的。 X86客户端：Oracle JDK：支持1.8版本；IBM JDK：支持1.8.5.11版本。 TaiShan客户端：OpenJDK：支持1.8.0_272版本。说明：基于安全考虑，服务端只支持TLS V1.2及以上的加密协议。 IBM JDK默认只支持TLS V1.0，若使用IBM JDK，请配置启动参数“com.ibm.jsse2.overrideDefaultTLS”为“true”，设置后可以同时支持TLS V1.0/V1.1/V1.2，详情参见https://www.ibm.com/support/knowledgecenter/zh/SSYKE2_8.0.0/com.ibm.java.security.component.80.doc/security-component/jsse2Docs/matchsslcontext_tls.html#matchsslcontext_tls。安装和配置IntelliJ IDEA 用于开发HBase应用程序的工具，版本要求：2019.1或其他兼容版本。说明：若使用IBM JDK，请确保IntelliJ IDEA中的JDK配置为IBM JDK。若使用Oracle JDK，请确保IntelliJ IDEA中的JDK配置为Oracle JDK。若使用Open JDK，请确保IntelliJ IDEA中的JDK配置为Open JDK。不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。安装Junit插件开发环境的基本配置。安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。准备开发用户参考准备MRS应用开发用户进行配置。 7-zip 用于解压“*.zip”和“*.rar”文件。支持7-Zip 16.04版本。

MAPREDUCE服务 MRS 准备HBase应用开发环境

MAPREDUCE服务 MRS-准备MapReduce开发和运行环境:准备开发环境

准备开发环境在进行应用开发时，要准备的开发和运行环境如表1所示。表1 开发环境准备项说明操作系统开发环境：Windows系统，支持Windows 7以上版本。运行环境：Windows系统或Linux系统。如需在本地调测程序，运行环境需要和集群业务平面网络互通。安装和配置IntelliJ IDEA 开发环境的基本配置，建议使用2019.1或其他兼容版本。说明：若使用IBM JDK，请确保IntelliJ IDEA中的JDK配置为IBM JDK。若使用Oracle JDK，请确保IntelliJ IDEA中的JDK配置为Oracle JDK。若使用Open JDK，请确保IntelliJ IDEA中的JDK配置为Open JDK。不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。安装Maven 开发环境基本配置，用于项目管理，贯穿软件开发生命周期。安装JDK 开发和运行环境的基本配置。版本要求如下：服务端和客户端仅支持自带的OpenJDK，版本为1.8.0_272，不允许替换。对于客户应用需引用SDK类的Jar包运行在客户应用进程中的。 X86客户端：Oracle JDK：支持1.8版本；IBM JDK：支持1.8.5.11版本。 TaiShan客户端：OpenJDK：支持1.8.0_272版本。说明：基于安全考虑，服务端只支持TLS V1.2及以上的加密协议。 IBM JDK默认只支持TLS V1.0，若使用IBM JDK，请配置启动参数“com.ibm.jsse2.overrideDefaultTLS”为“true”，设置后可以同时支持TLS V1.0/V1.1/V1.2，详情参见https://www.ibm.com/support/knowledgecenter/zh/SSYKE2_8.0.0/com.ibm.java.security.component.80.doc/security-component/jsse2Docs/matchsslcontext_tls.html#matchsslcontext_tls。 7-zip 用于解压“*.zip”和“*.rar”文件。支持7-Zip 16.04版本。

MAPREDUCE服务 MRS 准备MapReduce应用开发环境

应用平台 APPSTAGE-配置开发团队及服务扩展信息:步骤二：创建团队

步骤二：创建团队在开发中心进行服务开发前，需要组织管理员创建一个团队，将团队关联需要开发的服务。一个团队只能归属一个部门，可以关联一个或多个服务。在开发中心工作台首页下方的“我的团队”区域，单击右侧“创建团队”。在“创建团队”页面，设置团队相关参数，参数配置请参见表1。表1 创建团队参数说明参数名称参数说明团队名称必填项，团队的命名。团队归属部门必填项，选择系统中已提前创建的部门，部门的创建方法请参见部门管理。关联服务必填项，选择系统中已提前创建的服务，服务创建方法请参见服务管理。团队 LOG O 必填项，单击系统默认图片上的“点击修改”，可选择本地图片自定义LOGO图片。团队简介（可选）非必填项，团队空间的功能描述或其他备注信息。单击“创建”。在“我的团队”区域可查看到创建的团队的卡片。

应用平台 APPSTAGE 应用开发

应用平台 APPSTAGE-配置开发团队及服务扩展信息:步骤一：添加开发中心用户

步骤一：添加开发中心用户开发中心的用户数根据购买规格有相应的用户数量限制，组织管理员通过用户的添加或删除来合理管理开发中心的使用人员。在开发中心工作台首页右上角单击“用户管理”。在“用户管理”页面，单击右上角“添加用户”。在“添加用户”页面的“可选用户”区域框中勾选一个或多个用户名，单击，选中的用户显示现在“已选用户”区域框。单击“确定”，新添加的用户显示在用户列表中。在用户列表中，可查看已添加的用户账号名、添加人及添加时间等信息。

应用平台 APPSTAGE 应用开发

应用平台 APPSTAGE-方案概述:解决方案

解决方案一站式使用应用平台流程如图1所示。图1 使用流程表1 使用流程详解序号流程环节说明 1 准备工作将应用接入AppStage前需要依次完成购买AppStage、关联组织、配置AppStage各中心服务授权、添加组织的部门/成员信息、录入产品/服务/微服务信息和申请权限。 2 应用开发配置开发团队及服务扩展信息添加开发中心用户开发中心的用户数根据购买规格有相应的用户数量限制，组织管理员通过用户的添加或删除来合理管理开发中心的使用人员。创建团队在开发中心进行服务开发前，需要组织管理员先创建一个团队，将团队关联需要开发的服务。服务配置将团队关联服务后，还需将团队关联的服务关联CodeArts项目，后续的服务开发管理过程中才能正常使用CodeArts服务的代码托管、流水线、编译构建功能。添加团队成员在团队多用户协作开发过程中，不同角色成员执行各自权限和责任事项，因此需要在团队中添加协作开发的各角色成员（项目经理、开发人员、测试人员等），实现统一有序的成员信息管理。创建及规划版本创建版本对团队所关联的服务划分版本，包括创建版本的基本配置信息以及选择版本开始和结束时间。规划交付件在版本开发启动初期对产品开发过程所需的交付件进行规划，以辅助开发过程规范有序且可追溯。开发版本创建代码仓使用代码托管内置的仓库模板创建代码管理的仓库。下载代码基于Git的代码托管服务，支持将仓库文件下载到本地进行文件的操作。安装插件开发人员可下载所需的开发工具，如WiseStudio 插件、Nuwa 插件、Wushan 插件后进行安装。开发代码开发代码的详细指导请参见《开发指南》。提交代码到代码仓开发在本地完成业务代码后，需要提交代码文件至代码仓库。代码安全检视进行安全编码TOP问题的信息统计和检查结果录入。管理交付件管理版本开发过程不同阶段所需或交付的必要文档，保证版本开发过程阶段性成果沉淀以及过程可追溯。构建版本根据需要的场景，如开发测试环境应用部署、生产环境应用部署等，对这些自动化任务进行自定义编排，一次配置后就可以一键自动化触发调度执行。测试版本对于版本测试过程发现的缺陷进行记录、跟踪、分析和解决，包括管理版本缺陷、管理测试结论以及管理关键风险等。编辑总体测试结论、系统预置的测试类型结论，新增和管理自定义测试类型的测试结论，以及新增和管理版本关键风险问题。发布版本待版本开发及编译构建完成，且发布准入检查项均通过后，可由开发人员、测试人员或项目经理提交标准发布申请，待项目经理审批通过后，将软件发布到对应的部署平台。 3 应用部署服务环境配置使用AppStage运维中心前需要先准备环境并为服务关联区域、账号和企业项目。申请资源应用部署需要使用虚拟机、CCE、数据库等相关资源，您可以申请资源，或者在华为云购买资源后，将资源接入AppStage。更新环境开发完成的应用软件包，通过流水线发布，可以发布至运维中心的部署服务中，使用部署服务完成应用部署。 4 应用运维数据接入虚拟机日志接入支持通过部署filebeat完成虚拟机日志采集。日志接入后，可以对日志进行检索，查看已接入日志，具体操作请参见日志检索。容器日志接入支持将容器日志接入AppStage运维中心。日志接入后，可以对日志进行检索，查看已接入日志，具体操作请参见日志检索。主机监控接入支持定义服务的监控模板，然后通过为主机绑定监控模板，采集主机监控数据。 CES 指标接入支持将云监控服务 CES采集的监控指标数据接入至AppStage运维中心，如需将CES生成的告警接入AppStage运维中心，可参考CES告警接入操作。运维监控指标开发对已产生或接入的数据进行指标开发监控报表开发对已创建的指标或视图数据进行业务报表开发。配置后可以查看业务报表监控，具体操作请参见查看业务报表。告警配置支持对虚拟机监控数据或业务数据配置告警，及时掌握虚拟机状态，容器接入并安装监控插件后会自动生成告警。告警配置后可以查看告警，并及时处理告警问题，具体操作请参见查看告警。

应用平台 APPSTAGE 一站式应用开发、应用托管以及应用运维

应用平台 APPSTAGE-方案概述:背景信息

背景信息应用平台以“应用”为中心，基于云原生技术，打造了覆盖应用开发、托管、运维全生命周期支持的应用平台，面向企业IT应用、移动应用等提供一站式、集成式的云原生应用服务能力，支持开箱即用，全流程规范可视，高效异地协作，是沉淀行业通用能力，结合华为优秀实践，为产业上云及行业SaaS构建的竞争力底座。开发应用主要使用AppStage的开发中心，其深度集成CodeArts的功能，购买AppStage后需开通CodeArts后才能使用开发中心，请在AppStage购买页面根据页面提示，前往开通CodeArts地址进行开通。

应用平台 APPSTAGE 一站式应用开发、应用托管以及应用运维

MAPREDUCE服务 MRS-Spark应用开发建议:在对性能要求比较高的场景下，可以使用Kryo优化序列化性能

在对性能要求比较高的场景下，可以使用Kryo优化序列化性能 Spark提供了两种序列化实现： org.apache.spark.serializer.KryoSerializer：性能好，兼容性差 org.apache.spark.serializer.JavaSerializer：性能一般，兼容性好使用：conf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer") 为什么不默认使用Kryo序列化？ Spark默认使用的是Java的序列化机制，也就是ObjectOutputStream/ObjectInputStream API来进行序列化和反序列化。但是Spark同时支持使用Kryo序列化库，Kryo序列化类库的性能比Java序列化类库的性能要高很多。官方介绍，Kryo序列化机制比Java序列化机制，性能高10倍左右。Spark之所以默认没有使用Kryo作为序列化类库，是因为Kryo要求要注册所有需要进行序列化的自定义类型，因此对于开发者来说，这种方式比较麻烦。

MAPREDUCE服务 MRS Spark应用开发规范

MAPREDUCE服务 MRS-Spark应用开发建议:RDD多次使用时，建议将RDD持久化

RDD多次使用时，建议将RDD持久化 RDD在默认情况下的存储级别是StorageLevel.NONE，即既不存磁盘也不放在内存中，如果某个RDD需要多次使用，可以考虑将该RDD持久化，方法如下：调用spark.RDD中的cache()、persist()、persist(newLevel:StorageLevel)函数均可将RDD持久化，cache()和persist()都是将RDD的存储级别设置为StorageLevel.MEMORY_ONLY，persist(newLevel:StorageLevel)可以为RDD设置其他存储级别，但是要求调用该方法之前RDD的存储级别为StorageLevel.NONE或者与newLevel相同，也就是说，RDD的存储级别一旦设置为StorageLevel.NONE之外的级别，则无法改变。如果想要将RDD去持久化，那么可以调用unpersist(blocking:Boolean = true)，该函数功能如下：将该RDD从持久化列表中移除，RDD对应的数据进入可回收状态；将RDD的存储级别重新设置为StorageLevel.NONE。

MAPREDUCE服务 MRS Spark应用开发规范

MAPREDUCE服务 MRS-Spark应用开发建议:在业务情况允许的情况下使用高性能算子

在业务情况允许的情况下使用高性能算子使用reduceByKey/aggregateByKey替代groupByKey。所谓的map-side预聚合，说的是在每个节点本地对相同的key进行一次聚合操作，类似于MapReduce中的本地combiner。 map-side预聚合之后，每个节点本地就只会有一条相同的key，因为多条相同的key都被聚合起来了。其他节点在拉取所有节点上的相同key时，就会大大减少需要拉取的数据数量，从而也就减少了磁盘IO以及网络传输开销。通常来说，在可能的情况下，建议使用reduceByKey或aggregateByKey算子来替代掉groupByKey算子。因为reduceByKey和aggregateByKey算子都会使用用户自定义的函数对每个节点本地的相同key进行预聚合。而groupByKey算子是不会进行预聚合的，全量的数据会在集群的各个节点之间分发和传输，性能相对来说比较差。使用mapPartitions替代普通map。 mapPartitions类的算子，一次函数调用会处理一个partition所有的数据，而不是一次函数调用处理一条，性能相对来说会高一些。但是有的时候，使用mapPartitions会出现OOM（内存溢出）的问题。因为单次函数调用就要处理掉一个partition所有的数据，如果内存不够，垃圾回收时是无法回收掉太多对象的，很可能出现OOM异常。所以使用这类操作时要慎重！使用filter之后进行coalesce操作。通常对一个RDD执行filter算子过滤掉RDD中较多数据后（比如30%以上的数据），建议使用coalesce算子，手动减少RDD的partition数量，将RDD中的数据压缩到更少的partition中去。因为filter之后，RDD的每个partition中都会有很多数据被过滤掉，此时如果照常进行后续的计算，其实每个task处理的partition中的数据量并不是很多，有一点资源浪费，而且此时处理的task越多，可能速度反而越慢。因此用coalesce减少partition数量，将RDD中的数据压缩到更少的partition之后，只要使用更少的task即可处理完所有的partition。在某些场景下，对于性能的提升会有一定的帮助。使用repartitionAndSortWithinPartitions替代repartition与sort类操作。 repartitionAndSortWithinPartitions是Spark官网推荐的一个算子，官方建议，如果需要在 repartition重分区之后，还要进行排序，建议直接使用repartitionAndSortWithinPartitions 算子。因为该算子可以一边进行重分区的shuffle操作，一边进行排序。shuffle与sort两个操作同时进行，比先shuffle再sort来说，性能可能是要高的。使用foreachPartitions替代foreach。原理类似于“使用mapPartitions替代map”，也是一次函数调用处理一个partition的所有数据，而不是一次函数调用处理一条数据。在实践中发现，foreachPartitions类的算子，对性能的提升还是很有帮助的。比如在foreach函数中，将RDD中所有数据写 MySQL，那么如果是普通的foreach算子，就会一条数据一条数据地写，每次函数调用可能就会创建一个数据库连接，此时就势必会频繁地创建和销毁数据库连接，性能是非常低下；但是如果用foreachPartitions算子一次性处理一个partition的数据，那么对于每个 partition，只要创建一个数据库连接即可，然后执行批量插入操作，此时性能是比较高的。

MAPREDUCE服务 MRS Spark应用开发规范

云服务器内容精选

应用开发

7*24

备案

专业服务

退订

建议反馈

售前咨询热线