检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过典型场景，可以快速学习和掌握Alluxio的开发过程，并对关键的接口函数有所了解。 Alluxio的业务操作对象是文件，代码样例中所涉及的文件操作主要包括创建文件和对文件的读写；Alluxio还有其他的业务处理，例如设置文件权限等，其他操作可以在掌握本代码样例之后，再扩展学习。 本代码样例讲解顺序为：
HDFS样例程序开发思路 场景说明 通过典型场景，可以快速学习和掌握HDFS的开发过程，并对关键的接口函数有所了解。 HDFS的业务操作对象是文件，代码样例中所涉及的文件操作主要包括创建文件夹、写文件、追加文件内容、读文件和删除文件/文件夹；HDFS还有其他的业务处理，例如设置文件权限等，其他操作可以在掌握本代码样例之后，再扩展学习。
IDEA开始样例学习。 前提条件 确保本地PC的时间与集群的时间差要小于5分钟，若无法确定，请联系系统管理员。集群的时间可通过FusionInsight Manager页面右下角查看。 操作场景 ClickHouse针对多个场景提供样例工程，帮助客户快速学习ClickHouse工程。
IDEA开始样例学习。 前提条件 确保本地PC的时间与集群的时间差要小于5分钟，若无法确定，请联系系统管理员。集群的时间可通过FusionInsight Manager页面右下角查看。 操作场景 ClickHouse针对多个场景提供样例工程，帮助客户快速学习ClickHouse工程。
配置HetuEngine物化视图推荐能力 HetuEngine QAS实例可对用户的SQL执行历史记录提供自动感知、自动学习、自动诊断服务，开启物化视图推荐能力后，系统能自动学习并推荐对业务最有价值的物化视图SQL，使HetuEngine具备自动预计算加速能力，在相关场景下在线查询
Dependency（RDD的依赖） RDD的依赖分别为：窄依赖和宽依赖。 图1 RDD的依赖 窄依赖：指父RDD的每一个分区最多被一个子RDD的分区所用。 宽依赖：指子RDD的分区依赖于父RDD的所有分区。 窄依赖对优化很有利。逻辑上，每个RDD的算子都是一个fork/join
WebUI（保证ECS的安全组对外放通本地公网IP和9999端口），登录密码为2设置的密码。 图2 登录Jupyter WebUI 创建代码。 创建一个新的python3任务，使用Spark读取文件。 图3 创建Python任务 登录到集群Manager界面，在Yarn的WebUI页面上查看提交的pyspark应用。
t，使用out的write方法写入数据。 调用fSystem的append接口创建FSDataOutputStream对象：out，使用out的write方法追加写入数据。 调用fSystem的open接口创建FSDataInputStream对象：in，使用in的read方法读取文件。
t，使用out的write方法写入数据。 调用fSystem的append接口创建FSDataOutputStream对象：out，使用out的write方法追加写入数据。 调用fSystem的open接口创建FSDataInputStream对象：in，使用in的read方法读取文件。
t，使用out的write方法写入数据。 调用fSystem的append接口创建FSDataOutputStream对象：out，使用out的write方法追加写入数据。 调用fSystem的open接口创建FSDataInputStream对象：in，使用in的read方法读取文件。
API提交Oozie作业开发思路 通过典型场景，用户可以快速学习和掌握Oozie的开发过程，并且对关键的接口函数有所了解。 本示例演示了如何通过Java API提交MapReduce作业和查询作业状态，代码示例只涉及了MapReduce作业，其他作业的API调用代码是一样的，仅job配置“job.prope
API提交Oozie作业开发思路 通过典型场景，用户可以快速学习和掌握Oozie的开发过程，并且对关键的接口函数有所了解。 本示例演示了如何通过Java API提交MapReduce作业和查询作业状态，代码示例只涉及了MapReduce作业，其他作业的API调用代码是一样的，只是job配置“job.prop
t，使用out的write方法写入数据。 调用fSystem的append接口创建FSDataOutputStream对象：out，使用out的write方法追加写入数据。 调用fSystem的open接口创建FSDataInputStream对象：in，使用in的read方法读取文件。
Manager样例程序开发思路 通过典型场景，可以快速学习和掌握Manage REST API的开发过程，并且对关键的函数有所了解。 场景说明 假定用户需要以非界面方式实现操作FusionInsight Manager系统，要求开发基于HTTP Basic认证的应用程序实现如下功能： 登录FusionInsight
ClickHouse应用程序开发思路 通过典型场景，用户可以快速学习和掌握ClickHouse的开发过程，并且对关键的接口函数有所了解。 场景说明 ClickHouse可以使用SQL进行常见的业务操作，代码样例中所涉及的SQL操作主要包括创建数据库、创建表、插入表数据、查询表数据以及删除表操作。
Doris JDBC接口样例程序开发思路 通过典型场景，用户可以快速学习和掌握Doris的开发过程，并且对关键的接口函数有所了解。 场景说明 Doris可以使用SQL进行常见的业务操作，代码样例中所涉及的SQL操作主要包括创建数据库、创建表、插入表数据、查询表数据以及删除表操作。
Doris JDBC接口样例程序开发思路 通过典型场景，用户可以快速学习和掌握Doris的开发过程，并且对关键的接口函数有所了解。 场景说明 Doris可以使用SQL进行常见的业务操作，代码样例中所涉及的SQL操作主要包括创建数据库、创建表、插入表数据、查询表数据以及删除表操作。
API提交Oozie作业开发思路 通过典型场景，用户可以快速学习和掌握Oozie的开发过程，并且对关键的接口函数有所了解。 本示例演示了如何通过Java API提交MapReduce作业和查询作业状态，代码示例只涉及了MapReduce作业，其他作业的API调用代码是一样的，仅job配置“job.prope
API提交Oozie作业开发思路 通过典型场景，用户可以快速学习和掌握Oozie的开发过程，并且对关键的接口函数有所了解。 本示例演示了如何通过Java API提交MapReduce作业和查询作业状态，代码示例只涉及了MapReduce作业，其他作业的API调用代码是一样的，只是job配置“job.prop
CLI详细的使用方法参考官方网站的描述：http://archive.apache.org/dist/spark/docs/3.3.1/quick-start.html。 常用CLI Spark常用的CLI如下所示： spark-shell 提供了一个简单学习API的方法，类似于
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
