检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户可以执行以下数据操作: 获取每天的监控数据,通过OpenTSDB的put接口将两个组数据点写入数据库中。 对已有的数据使用OpenTSDB的query接口进行数据查询和分析。 功能分解 根据上述的业务场景进行功能开发,需要开发的功能如表4所示。 表4 在OpenTSDB中开发的功能 序号 步骤 代码实现
CLI详细的使用方法参考官方网站的描述:http://archive.apache.org/dist/spark/docs/3.3.1/quick-start.html。 常用CLI Spark常用的CLI如下所示: spark-shell 提供了一个简单学习API的方法,类似于
CLI详细的使用方法参考官方网站的描述:http://archive.apache.org/dist/spark/docs/3.3.1/quick-start.html。 常用CLI Spark常用的CLI如下所示: spark-shell 提供了一个简单学习API的方法,类似于
访问控制 MRS提供两种访问控制权限模型:基于角色的权限控制和基于策略的权限控制,详情请参见权限模型。 基于角色的权限控制 MRS基于用户和角色的认证统一体系,遵从账户/角色RBAC(Role-Based Access Control)模型,实现通过角色进行权限管理,对用户进行
将工程中的conf目录添加到资源路径。 在Intellij IDEA的菜单栏选择“File > Project Structure”。在弹出的会话框中,单击“Modules”,选中当前工程,并依次单击“Resources > conf > OK”,从而完成资源目录的设置,如“图7”所示。
Open”。 在弹出的Open File or Project会话框中选择样例工程文件夹“mapreduce-example-normal”,单击“OK”。 设置IntelliJ IDEA的文本文件编码格式,解决乱码显示问题。 在IntelliJ IDEA的菜单栏中,选择“File>
Project Structure”。在弹出的会话框中选中当前工程,并选择“Resources > conf > OK”,从而完成资源目录的设置。如图“图7”所示。 图7 设置工程资源目录 将工程依赖的jar包添加到类路径。 如果通过开源镜像站方式获取的样例工程代码,在配置好Maven后(配置方式参考配置华为开源镜像仓),
将在准备MRS应用开发用户时得到的user.keytab和krb5.conf文件以及准备运行环境时获取的集群配置文件复制到样例工程的“conf”目录下。 导入样例工程到IntelliJ IDEA开发环境。 打开IntelliJ IDEA,依次选择“File > Open”。 在弹出的Open File
Open”。 在弹出的Open File or Project会话框中选择样例工程文件夹“mapreduce-example-normal”,单击“OK”。 设置IntelliJ IDEA的文本文件编码格式,解决乱码显示问题。 在IntelliJ IDEA的菜单栏中,选择“File>
导入并配置Oozie样例工程 操作场景 将下载的样例工程导入到Windows开发环境IDEA中即可开始样例学习。 前提条件 已在Linux环境中安装了完整客户端。 获取Oozie服务器URL(任意节点),这个URL将是客户端提交流程任务的目标地址。 URL格式为:https://O
导入并配置Oozie样例工程 操作场景 将下载的样例工程导入到Windows开发环境IDEA中即可开始样例学习。 前提条件 已在Linux环境中安装了完整客户端。 获取Oozie服务器URL(任意节点),这个URL将是客户端提交流程任务的目标地址。 URL格式为:https://o
Dependency(RDD的依赖) RDD的依赖分别为:窄依赖和宽依赖。 图1 RDD的依赖 窄依赖:指父RDD的每一个分区最多被一个子RDD的分区所用。 宽依赖:指子RDD的分区依赖于父RDD的所有分区。 窄依赖对优化很有利。逻辑上,每个RDD的算子都是一个fork/join
定”按钮。 在“Import Maven Projects”窗口单击“Finish”按钮。 设置Eclipse的文本文件编码格式,解决乱码显示问题。 在Eclipse的菜单栏中,选择“Window > Preferences”。 弹出“Preferences”窗口。 在左边导航上选择“General
Project Structure”。在弹出的会话框中选中当前工程,并选择“Resources > conf > OK”,从而完成资源目录的设置。如图“图7”所示。 图7 设置工程资源目录 将工程依赖的jar包添加到类路径。 如果通过开源镜像站方式获取的样例工程代码,在配置好Maven后(配置方式参考配置华为开源镜像仓),
ClickHouse应用程序开发思路 通过典型场景,用户可以快速学习和掌握ClickHouse的开发过程,并且对关键的接口函数有所了解。 开发思路 ClickHouse作为一款独立的DBMS系统,使用SQL语言就可以进行常见的操作。开发程序示例中,全部通过clickhouse-jdbc
ClickHouse应用程序开发思路 通过典型场景,用户可以快速学习和掌握ClickHouse的开发过程,并且对关键的接口函数有所了解。 开发思路 ClickHouse作为一款独立的DBMS系统,使用SQL语言就可以进行常见的操作。以下开发程序示例中,全部通过clickhouse-jdbc
客户端安装程序目录中包含了HetuEngine开发样例工程,将从工程导入样例开始学习,本文以IntelliJ IDEA 2020.1.3 (Community Edition)为例。 前提条件 确保本地PC的时间与集群的时间差要小于5分钟,若无法确定,请联系系统管理员。集群的时间可通过Manager页面右下角查看。 操作步骤
客户端安装程序目录中包含了HetuEngine开发样例工程,将从工程导入样例开始学习,本文以IntelliJ IDEA 2020.1.3 (Community Edition)为例。 前提条件 确保本地PC的时间与集群的时间差要小于5分钟,若无法确定,请联系系统管理员。集群的时间可通过Manager页面右下角查看。 操作步骤
Spark针对多个场景提供样例工程,包含Java样例工程和Scala样例工程等,帮助客户快速学习Spark工程。 针对Java和Scala不同语言的工程,其导入方式相同。使用Python开发的样例工程不需要导入,直接打开Python文件(*.py)即可。 以下操作步骤以导入Java样例代码为例。操作流程如图1所示。
jar 可在Flink的客户端或者服务端安装路径的lib目录下获取。 使用Flink Jar提交SQL作业程序 FlinkServer REST API程序 flink-dist_*.jar flink-table_*.jar 可在Flink的客户端或者服务端安装路径的lib目录下获取。