检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark应用程序开发流程 表1 Spark应用开发的流程说明 阶段 说明 参考文档 准备开发环境 Spark的应用程序支持使用Scala、Java、Python三种语言进行开发。推荐使用IDEA工具,请根据指导完成不同语言的开发环境配置。Spark的运行环境即Spark客户端,请根据指导完成客户端的安装和配置。
sources目录下。 修改样例代码中的JDBC URL中使用zookeeper的连接改为直接使用hiveserver2的地址连接。将url改为jdbc:hive2:// hiveserver主机名:10000/ 由于使用zookeeper连接会访问zookeeper的“/hiv
SQL基本概念和Spark Streaming基本概念。 基本概念 准备开发和运行环境 Spark的应用程序支持使用Scala、Java、Python三种语言进行开发。推荐使用IDEA工具,请根据指导完成不同语言的开发环境配置。Spark的运行环境即Spark客户端,请根据指导完成客户端的安装和配置。
重启服务”,输入密码进行验证后,在“重启服务”页面确认操作影响。 可以勾选“同时重启上层服务。”一次性重启所有影响组件,期间将导致影响服务不可用,谨慎使用。 单击“确定”,等待服务重启成功。 选择“集群 > 主备集群容灾”,查看当前集群是否配置了主备容灾。 是,执行7。 否,操作结束。 主集
窗口中数据的保存形式主要有中间结果和原始数据两种,对窗口中的数据使用公共算子,如sum等操作时(window(SlidingEventTimeWindows.of(Time.seconds(20), Time.seconds(5))).sum)仅会保留中间结果;当用户使用自定义窗口时(window(SlidingEventTimeWindows
创建了UDF函数 咨询用户或者检查Doris是否有使用自定义函数功能。 连接Doris,执行以下命令查询是否有自定义函数: show global functions; show functions from {db}; 是,使用drop function语句删除所有自定义函数。
MRS集群删除或退订后不再产生费用。 计费模式 使用MRS的首要操作就是购买MRS集群,MRS当前支持包年包月和按需计费模式。 包年/包月:根据集群购买时长,一次性支付集群费用。最短时长为1个月,最长时长为1年。 按需计费:节点按实际使用时长计费,计费周期为一小时。 变更配置 在开通
as > Java Application”运行对应的应用程序工程。 使用windows访问MRS集群来操作Impala,有如下两种方式。 申请一台windows的ECS访问MRS集群操作Impala。 使用本机访问MRS集群操作Impala。 方法一:申请一台windows的E
扩容集群 功能介绍 对MRS集群进行扩容。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/expand 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释:
HDFS应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解HDFS的基本概念。 HDFS应用开发简介 准备开发和运行环境 使用IntelliJ IDEA工具,请根据指导完成开发环境配置。 HDFS的运行环境即HDFS客户端,请根据指导完成客户端的安装和配置。 准备HDFS应用开发和运行环境
在开始开发应用前,需要了解HBase的基本概念,了解场景需求,设计表等。 常用概念 准备开发和运行环境 HBase的应用程序当前推荐使用Java语言进行开发。可使用IntelliJ IDEA工具。 HBase的运行环境即HBase客户端,请根据指导完成客户端的安装和配置。 准备HBase应用开发和运行环境
了解场景需求等。 HetuEngine基本概念 准备开发和运行环境 HetuEngine的应用程序支持使用任何语言调用JDBC接口进行开发,当前样例主要是java语言。推荐使用IDEA工具,请根据指导完成不同语言的开发环境配置。HetuEngine的运行环境即客户端,请根据指导完成客户端的安装和配置。
HDFS应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解HDFS的基本概念。 HDFS应用开发简介 准备开发和运行环境 使用IntelliJ IDEA工具,请根据指导完成开发环境配置。 HDFS的运行环境即HDFS客户端,请根据指导完成客户端的安装和配置。 准备HDFS应用开发和运行环境
确认后续配置,单击“Next”;如无特殊需求,使用默认值即可。 选择推荐的JDK版本,单击“Finish”完成导入。 在开发环境IntelliJ IDEA中,样例工程的conf目录下,打开文件“clickhouse-example.properties”,按需修改表1的参数。 (可选)如果使用机机用户认证,需
able 参数 参数 描述 :db 数据库名 :table 新建表名 group 创建表时使用的用户组 permissions 创建表时使用的权限 external 指定位置,hive不使用表的默认位置。 ifNotExists 设置为true,当表存在时不会报错。 comment
sources目录下。 修改样例代码中的JDBC URL中使用zookeeper的连接改为直接使用hiveserver2的地址连接。将url改为jdbc:hive2:// hiveserver主机名:10000/ 由于使用zookeeper连接会访问zookeeper的“/hiv
ources目录下。 修改样例代码中的JDBC URL中使用ZooKeeper的连接改为直接使用HiveServer2的地址连接。将URL改为:jdbc:hive2:// hiveserver主机名:10000/ 由于使用ZooKeeper连接会访问ZooKeeper的“/hiv
在MRS集群中查询SparkSql和SparkScript两种类型作业的SQL语句运行完成后返回的查询结果。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/job-executions/
展示MRS版本列表 功能介绍 展示MRS版本列表 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/metadata/versions 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。
在开始开发应用前,需要了解Storm的基本概念,了解场景需求,拓扑等。 Storm应用开发常用概念 准备开发和运行环境 Storm的应用程序当前推荐使用Java语言进行开发。可使用IntelliJ IDEA工具。 Storm的运行环境即Storm客户端,请根据指导完成客户端的安装和配置。 准备Storm应用开发和运行环境