检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
API提交Oozie作业开发思路 通过典型场景,用户可以快速学习和掌握Oozie的开发过程,并且对关键的接口函数有所了解。 本示例演示了如何通过Java API提交MapReduce作业和查询作业状态,代码示例只涉及了MapReduce作业,其他作业的API调用代码是一样的,仅job配置“job.proper
API提交Oozie作业开发思路 通过典型场景,用户可以快速学习和掌握Oozie的开发过程,并且对关键的接口函数有所了解。 本示例演示了如何通过Java API提交MapReduce作业和查询作业状态,代码示例只涉及了MapReduce作业,其他作业的API调用代码是一样的,只是job配置“job.prope
Flink与其他组件的关系 Flink与Yarn的关系 Flink支持基于Yarn管理的集群模式,在该模式下,Flink作为Yarn上的一个应用,提交到Yarn上执行。 Flink基于Yarn的集群部署如图1所示。 图1 Flink基于Yarn的集群部署 Flink Yarn C
通过典型场景,您可以快速学习和掌握HBase的开发过程,并且对关键的接口函数有所了解。 场景说明 假定用户开发一个应用程序,用于管理企业中的使用A业务的用户信息,如表1所示,A业务操作流程如下: 创建用户信息表。 在用户信息中新增用户的学历、职称等信息。 根据用户编号查询用户姓名和地址。 根据用户姓名进行查询。
functions能够查到相应的函数,但是无法使用,这是由于连接上的JDBC节点上没有相应路径的jar包,添加上相应的jar包能够查询成功。 图2 场景二异常信息 回答 场景一: add jar语句只会将jar加载到当前连接的JDBCServer的jarClassLoader,不同JDBCServ
Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“Impala”。 单击右上角的编辑按钮设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。
导入并配置Spark样例工程 操作场景 Spark针对多个场景提供样例工程,包含Java样例工程和Scala样例工程等,帮助客户快速学习Spark工程。 针对Java和Scala不同语言的工程,其导入方式相同。使用Python开发的样例工程不需要导入,直接打开Python文件(*.py)即可。 以下操作
导入并配置Spark样例工程 操作场景 Spark针对多个场景提供样例工程,包含Java样例工程和Scala样例工程等,帮助客户快速学习Spark工程。 针对Java和Scala不同语言的工程,其导入方式相同。使用Python开发的样例工程不需要导入,直接打开Python文件(*.py)即可。 以下操作
用户可以执行以下数据操作: 获取每天的监控数据,通过OpenTSDB的put接口将两个组数据点写入数据库中。 对已有的数据使用OpenTSDB的query接口进行数据查询和分析。 功能分解 根据上述的业务场景进行功能开发,需要开发的功能如表4所示。 表4 在OpenTSDB中开发的功能 序号 步骤 代码实现
Spark客户端和服务端权限参数配置说明 SparkSQL权限管理功能相关的配置如下所示,客户端与服务端的配置相同。要使用表权限功能,需要在服务端和客户端添加如下配置。 “spark-defaults.conf”配置文件 表1 参数说明(1) 参数 描述 默认值 spark.sql
在概览页签下的“基本信息”区域单击“HSConsole WebUI”后的链接,进入HSConsole界面。 选择“SQL运维 > 物化视图推荐”,可根据“租户”、“状态”、“推荐周期”、“物化视图名称”进行搜索,支持模糊搜索,支持导出指定物化视图推荐结果信息。 物化视图任务的“状态”包括如下:
Files”页面,选中“lib”目录下的所有Jar包,然后单击“OK”。 Flink相关的依赖包:选择“lib”目录下的所有Jar包。或者可以根据不同样例工程,最小化选择其对应的Jar包。 当样例代码使用其他MRS组件时,请去对应MRS组件的服务端安装目录查找并添加依赖包。 图19
ClickHouse应用程序开发思路 通过典型场景,用户可以快速学习和掌握ClickHouse的开发过程,并且对关键的接口函数有所了解。 开发思路 ClickHouse作为一款独立的DBMS系统,使用SQL语言就可以进行常见的操作。以下开发程序示例中,全部通过clickhouse-jdbc
MapReduce与其他组件的关系 MapReduce和HDFS的关系 HDFS是Hadoop分布式文件系统,具有高容错和高吞吐量的特性,可以部署在价格低廉的硬件上,存储应用程序的数据,适合有超大数据集的应用程序。 MapReduce是一种编程模型,用于大数据集(大于1TB)的并行运算。在Ma
Join数据倾斜问题。执行任务的时候,任务进度长时间维持在99%,这种现象叫数据倾斜。 数据倾斜是经常存在的,因为有少量的Reduce任务分配到的数据量和其他Reduce差异过大,导致大部分Reduce都已完成任务,但少量Reduce任务还没完成的情况。 解决数据倾斜的问题,可通过设置“set
ClickHouse应用程序开发思路 通过典型场景,用户可以快速学习和掌握ClickHouse的开发过程,并且对关键的接口函数有所了解。 开发思路 ClickHouse作为一款独立的DBMS系统,使用SQL语言就可以进行常见的操作。开发程序示例中,全部通过clickhouse-jdbc API接口来进行描述。
通过典型场景,您可以快速学习和掌握HBase的开发过程,并且对关键的接口函数有所了解。 场景说明 假定用户开发一个应用程序,用于管理企业中的使用A业务的用户信息,如表1所示,A业务操作流程如下: 创建用户信息表。 在用户信息中新增用户的学历、职称等信息。 根据用户编号查询用户姓名和地址。 根据用户姓名进行查询。
通过典型场景,可以快速学习和掌握Kudu的开发过程,并对关键的接口函数有所了解。 开发思路 作为存储引擎,通常情况下会和计算引擎一起协同工作: 首先在计算引擎上(比如Impala)用SQL语句创建表对象; 然后通过Kudu的驱动往这个表里写数据; 于此同时可以在计算引擎上直接查询这个表里的数据。
除外),Manager上非系统默认角色的权限将无法生效,需要通过配置Ranger策略为用户组赋权。 HDFS与Yarn的资源请求在Ranger中的策略条件未能覆盖的情况下,组件ACL规则仍将生效。 设置组件的权限时,每次最大支持1000条权限。 单击“确定”完成。 MRS 2.x及之前版本:
通过典型场景,可以快速学习和掌握Kudu的开发过程,并对关键的接口函数有所了解。 作为存储引擎,通常情况下Kudu会和计算引擎一起协同工作: 首先在计算引擎上(比如Impala)用SQL语句创建表对象; 然后通过Kudu的驱动往这个表里写数据; 在计算引擎上直接查询这个表里的数据。 在本开发