检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备MapReduce应用开发环境 准备MapReduce开发环境 准备连接MapReduce集群配置文件 导入并配置MapReduce样例工程 (可选)创建MapReduce样例工程 配置MapReduce应用安全认证 父主题: MapReduce开发指南(安全模式)
MapReduce应用开发常见问题 MapReduce接口介绍 提交MapReduce任务时客户端长时间无响应 网络问题导致运行应用程序时出现异常 MapReduce二次开发远程调试 父主题: MapReduce开发指南(安全模式)
Oozie应用开发流程 本文档主要基于java API对Oozie进行应用开发。 开发流程中各阶段的说明如图1和表1所示。 图1 Oozie应用程序开发流程 表1 Oozie应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解Oozie的基本概念,了解场景需求等。
Storm应用开发流程 本文档主要基于Java API进行Storm拓扑的开发。 开发流程中各阶段的说明如图1和表1所示: 图1 拓扑开发流程 表1 Storm应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解Storm的基本概念,了解场景需求,拓扑等。
HDFS Shell命令介绍 HDFS Shell 您可以使用HDFS Shell命令对HDFS文件系统进行操作,例如读文件、写文件等操作。 执行HDFS Shell的方法: 进入HDFS客户端如下目录,直接输入命令即可。例如: cd /opt/client/HDFS/hadoop/bin
配置并导入SpringBoot样例工程 操作场景 为了运行MRS产品Doris组件的SpringBoot接口样例代码,需要完成下面的操作。 本章节以在Windows环境下开发SpringBoot方式连接Doris服务的应用程序为例。 操作步骤 参考获取MRS应用开发样例工程,获取
向Doris表中插入数据 本章节介绍向Doris表中插入数据样例代码。 以下代码片段在“JDBCExample”类中。 以Java JDBC方式执行SQL语句在集群的dbName.tableName表中插入数据。 String insertTableSql = "insert into
导入并配置Flink样例工程 操作场景 Flink针对多个场景提供样例工程,包含Java样例工程和Scala样例工程等,帮助客户快速学习Flink工程。 针对Java和Scala不同语言的工程,其导入方式相同。 以下操作步骤以导入Java样例代码为例。操作流程如图1所示。 图1 导入样例工程流程
使用Python提交Flink SQL作业 获取样例工程“flink-examples/pyflink-example/pyflink-sql”中的“pyflink-sql.py”和“datagen2kafka.sql”。 参考准备本地应用开发环境将准备好的Python虚拟环境打包,获取“venv
导入并配置Kafka样例工程 背景信息 获取Kafka开发样例工程,将工程导入到IntelliJ IDEA开始样例学习及应用程序开发。 前提条件 确保本地环境的时间与MRS集群的时间差要小于5分钟,若无法确定,请联系系统管理员。MRS集群的时间可通过FusionInsight Manager页面右下角查看。
创建HBase表 功能简介 HBase通过org.apache.hadoop.hbase.client.Admin对象的createTable方法来创建表,并指定表名、列族名。创建表有两种方式(强烈建议采用预分Region建表方式): 快速建表,即创建表后整张表只有一个Regio
导入并配置HBase样例工程 背景信息 获取HBase开发样例工程,将工程导入到IntelliJ IDEA开始样例学习。 前提条件 确保本地PC的时间与MRS集群的时间差要小于5分钟,若无法确定,请联系系统管理员。MRS集群的时间可通过FusionInsight Manager页面右下角查看。
调测Kafka Producer样例程序 前提条件 已配置Windows通过EIP访问集群Kafka,详情请参见配置Windows通过EIP访问集群Kafka。 如需在Linux调测程序,需要确保当前用户对“src/main/resources”目录下和依赖库文件目录下的所有文件
准备本地应用开发环境 在进行二次开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 Windows系统,支持Windows 7以上版本。 开发和运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。版本要求如下: 服务端和客户端仅支持自带的OpenJDK,版本为1
通过对等连接和第三方防火墙实现多VPC互访流量清洗 应用场景 虚拟私有云支持用户自主配置和管理虚拟网络环境,您可以在VPC中使用安全组及网络ACL来进行网络访问控制,也可以使用第三方防火墙软件,对云上的业务进行灵活的安全控制。 本文为您介绍通过防火墙软件实现VPC内流量安全管控的
场景说明 防火墙存在传统模式和云管模式两种工作模式,默认情况下,防火墙处于传统模式。当防火墙使用在云管理网络中时,需要将防火墙切换到云管模式。 本文介绍在云管模式下如何开通边界防护与响应服务。 各服务配套的USG6000E系列防火墙所包含的机型,请参见《华为乾坤安全云服务天关和防
创建专线连接 在不使用公网的情况下,第三方主机、线下IDC可以借助云专线服务,实现访问云上VPC内的服务器。 关于云专线服务的详细介绍请参见云专线产品介绍。 创建专线连接 创建物理连接。 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。 单击页面左上方的,选择“网络 >
设置记录结果集 开启记录结果集后,系统将对SQL结果内容进行记录,可在日志中进行查看。如果未开启,日志详情中SQL结果内容为空。 记录结果集存在信息泄露风险,不建议开启。 操作步骤 使用系统管理员sysadmin账号登录数据库运维管理系统。 在左侧导航栏,选择“资产管理 > 资产配置”。
回放审计日志语句 如果在查看审计日志时部分内容不好识别,您可以通过回放审计日志涉及的语句了解信息。 操作步骤 使用系统管理员sysadmin账号登录数据库运维管理系统。 在左侧导航栏,选择“审计日志 > 日志检索”。 根据资产类型,单击对应的日志页签(例如单击SQL日志)。 单击最新日志或者检索列表,查看审计日志。
添加并生成报表 在配置报表页面,您可以执行添加报表模板,生成报表,设置定时生成报表等操作。 操作步骤 使用系统管理员sysadmin账号登录数据库运维管理系统。 在左侧导航栏中,选择“报表分析 > 报表配置”。 添加“报表模板”。 单击“添加”,在添加报表对话框中,设置报表信息。