检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在开始开发应用前,需要了解Alluxio的基本概念。 Alluxio常用概念 准备开发和运行环境 Alluxio的客户端程序当前推荐使用java语言进行开发,并使用Maven工具构建工程。样例程序运行环境即MRS服务所VPC集群的节点。 Alluxio开发环境简介 根据场景开发工程 提供了Java语言的样例工程和数据查询的样例工程。
该场景下MRS的优势如下所示。 低成本:利用OBS实现低成本存储。 海量数据分析:利用Hive实现TB/PB级的数据分析。 可视化的导入导出工具:通过可视化导入导出工具Loader,将数据导出到DWS,完成BI分析。 海量数据存储场景 用户拥有大量结构化数据后,通常需要提供基于索引的准实时查询
Storm应用开发的流程说明 阶段 说明 了解基本概念 在开始开发应用前,需要了解Storm的基本概念。 准备开发环境 推荐使用Eclipse工具,请根据指导完成不同语言的开发环境配置。 获取并导入样例工程 Storm提供了不同场景下的样例程序,您可以导入样例工程进行程序学习。 根据场景开发拓扑
在开始开发应用前,需要了解Presto的基本概念。 Presto应用开发常用概念 准备开发和运行环境 Presto的应用程序支持使用Java进行开发。推荐使用Eclipse工具,请根据指导完成开发环境配置。 Presto应用开发环境简介 根据场景开发工程 提供了Java语言的样例工程和数据查询的样例工程。 Presto样例程序开发思路
概念。 常用概念 准备开发和运行环境 Hive的应用程序支持使用Java、Python两种语言进行开发。推荐使用IntelliJ IDEA工具,请根据指导完成不同语言的开发环境配置。 准备Hive应用开发环境 根据场景开发工程 提供了Java、Python两种不同语言的样例工程,
一个目录设置多个规则和动作时,规则被先触发的放在规则/动作列表的下面,规则被后触发的放在规则/动作列表的上面,避免动作反复执行。 系统每个小时整点扫描动态存储策略指定的目录下的文件是否符合规则,如果满足,则触发执行动作。执行日志记录在主NameNode的“/var/log/Bigdata/hdfs/nn/hadoop
Data Movement工具进行数据迁移。 因此,能够基于数据的age自动识别出老化的数据,并将它们迁移到价格低廉的存储介质(如Disk/Archive)上,会给用户节省很高的存储成本,提高数据管理效率。 HDFS Auto Data Movement工具是HDFS冷热数据迁移的
念。 基本概念 准备开发和运行环境 ClickHouse的应用程序支持多种语言开发,主要为Java语言,推荐使用IntelliJ IDEA工具,请根据指导完成开发环境配置。 准备ClickHouse应用开发和运行环境 根据场景开发工程 提供样例工程,帮助用户快速了解ClickHouse各部件的编程接口。
Impala应用开发常用概念 准备开发和运行环境 Impala的应用程序支持使用Java、Python两种语言进行开发。推荐使用Eclipse工具,请根据指导完成不同语言的开发环境配置。 Impala应用开发环境简介 根据场景开发工程 提供了Java、Python两种不同语言的样例工
念。 基本概念 准备开发和运行环境 ClickHouse的应用程序支持多种语言开发,主要为Java语言,推荐使用IntelliJ IDEA工具,请根据指导完成开发环境配置。 准备ClickHouse应用开发和运行环境 根据场景开发工程 提供样例工程,帮助用户快速了解ClickHouse各部件的编程接口。
Hive应用开发常用概念 准备开发和运行环境 Hive的应用程序支持使用Java、Python两种语言进行开发。推荐使用Eclipse工具,请根据指导完成不同语言的开发环境配置。 Hive应用开发环境简介 根据场景开发工程 提供了Java、Python两种不同语言的样例工程,
因为数据模型在建表时就已经确定,且无法修改。所以,选择一个合适的数据模型非常重要。 Aggregate模型可以通过预聚合,极大地降低聚合查询时所需扫描的数据量和查询的计算量,适合有固定模式的报表类查询场景,但是该模型不适用于count(*)查询。同时因为固定了Value列上的聚合方式,在
sort -rn。 观察回显可以得到CPU最高的线程号。 获取出现问题的线程的堆栈。 java问题使用jstack工具是最有效,最可靠的。 到java/bin目录下有jstack工具,获取进程堆栈,并输出到本地文件。 jstack <PID> > allstack.txt 获取线程堆栈,并输出到本地文件。
其他样例项目配置文件放置及样例代码执行注意事项指导,请参考对应样例项目“README.md”文档。 安装IntelliJ IDEA和JDK工具后,需要在IntelliJ IDEA配置JDK。 打开IntelliJ IDEA,选择“Configure”。 图1 Quick Start
法来Put数据,可以是一行数据也可以是数据集。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testPut方法中 public void testPut() { LOG.info("Entering
法来Put数据,可以是一行数据也可以是数据集。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testPut方法中。 public void testPut() { LOG.info("Entering
用户”,在待操作用户的“操作”栏下选择“更多 > 下载认证凭据”,选择集群信息后单击“确定”,下载keytab文件。 解压keytab文件,使用WinSCP工具将解压得到的“user.keytab”文件上传到待操作节点的Hive客户端安装目录下,例如:“/opt/client”。 使用以下命令打开
用户”,在待操作用户的“操作”栏下选择“更多 > 下载认证凭据”,选择集群信息后单击“确定”,下载keytab文件。 解压keytab文件,使用WinSCP工具将解压得到的“user.keytab”文件上传到待操作节点的Hive客户端安装目录下,例如:“/opt/client”。 使用以下命令打开
念,了解场景需求等。 Oozie应用开发常见概念 准备开发和运行环境 Oozie的应用程序当前推荐使用Java语言进行开发。可使用IDEA工具。 准备本地应用开发环境 准备工程 Oozie提供了不同场景下的样例程序,您可以导入样例工程进行程序学习。 导入并配置Oozie样例工程 根据场景开发工程
其他样例项目配置文件放置及样例代码执行注意事项指导,请参考对应样例项目“README.md”文档。 安装IntelliJ IDEA和JDK工具后,需要在IntelliJ IDEA配置JDK。 打开IntelliJ IDEA,选择“Configure”。 图1 Quick Start