检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ine,具体支持矩阵见表1和表2。 表1 cow表 查询引擎 实时视图/读优化视图 增量视图 Hive Y Y Spark(SparkSQL) Y Y Spark(SparkDataSource API) Y Y HetuEngine Y N 表2 mor表 查询引擎 实时视图 增量视图
务的action节点组成。 参数解释 “workflow.xml”文件中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 name 流程文件名 start 流程开始节点 end 流程结束节点 action 实现具体业务动作的节点(可以是多个) 样例代码 <workflow-app
务的action节点组成。 参数解释 “workflow.xml”文件中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 name 流程文件名 start 流程开始节点 end 流程结束节点 action 实现具体业务动作的节点(可以是多个) 样例代码 <workflow-app
cd /opt/client/Oozie/oozie-client-*/examples/apps/sqoop/ 该目录下需关注文件如表1所示。 表1 文件说明 文件名称 描述 job.properties 工作流的参数变量定义文件。 workflow.xml 工作流的规则定制文件。
cd /opt/client/Oozie/oozie-client-*/examples/apps/sqoop/ 该目录下需关注文件如表1所示。 表1 文件说明 文件名称 描述 job.properties 工作流的参数变量定义文件。 workflow.xml 工作流的规则定制文件。
expression] 描述 根据条件更新表数据。 限制 仅支持orc格式的事务表,并且不能为external Table。 不支持set(column_name1,column_name2,…)=(value1,value2,…)的语法。 示例 -- 创建事务表 create table upd_tb(col1
HDFS应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 HDFS应用程序开发流程 表1 HDFS应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解HDFS的基本概念。 常用概念 准备开发和运行环境 使用IntelliJ IDEA工具,请根据指导完成开发环境配置。
HDFS应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 HDFS应用程序开发流程 表1 HDFS应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解HDFS的基本概念。 HDFS应用开发简介 准备开发和运行环境 使用IntelliJ
location] [ssl.truststore.password] 表2 参数说明 参数名称 说明 是否必须配置 topic 表示Kafka主题名。 是 bootstrap.server 表示broker集群ip/port列表。 是 security.protocol 运行参数可以配置为
//通过隐式转换,将RDD转换成DataFrame,然后注册表 spark.sparkContext.textFile(args(0)).map(_.split(",")) .map(p => FemaleInfo(p(0), p(1), p(2).trim.toInt))
//通过隐式转换,将RDD转换成DataFrame,然后注册表 spark.sparkContext.textFile(args(0)).map(_.split(",")) .map(p => FemaleInfo(p(0), p(1), p(2).trim.toInt))
务的action节点组成。 参数解释 “workflow.xml”文件中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 name 流程文件名 start 流程开始节点 end 流程结束节点 action 实现具体业务动作的节点(可以是多个) 样例代码 <workflow-app
务的action节点组成。 参数解释 “workflow.xml”文件中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 name 流程文件名 start 流程开始节点 end 流程结束节点 action 实现具体业务动作的节点(可以是多个) 样例代码 <workflow-app
其默认值为“true”,表示其中的规则和行为操作是幂等的,可以继续检查下一个规则。如果值为“false”,则将在当前规则处停止评估。 hours_allowed属性:配置是否根据系统时间执行策略评估。 hours_allowed的值是以逗号分隔的数字,范围从0到23,表示系统时间。 示例:<policy
level: 0 xfers running: 0 xfers deferred: 0 soa queries in progress: 0 query logging is ON recursive clients: 4/0/1000 tcp clients: 0/100
已停止。 登录MRS集群详情页面,选择“组件管理”。 在MRS的服务列表中,查看HDFS、LdapServer服务是否已停止。 是,启动HDFS、LdapServer服务,执行3.c。 否,执行4。 在告警列表中查看“ALM-24000 Flume服务不可用”告警是否清除。 是,处理完毕。
其默认值为“true”,表示其中的规则和行为操作是幂等的,可以继续检查下一个规则。如果值为“false”,则将在当前规则处停止评估。 hours_allowed属性:配置是否根据系统时间执行策略评估。 hours_allowed的值是以逗号分隔的数字,范围从0到23,表示系统时间。 示例:<policy
180000 可选配置 hbase.dualclient.active.cluster.id 主集群id ACTIVE 可选配置 hbase.dualclient.standby.cluster.id 备集群id STANDBY 可选配置 hbase.dualclient.active.executor
开启HetuEngine自适应查询执行 本章节适用于MRS 3.2.0及以后版本。 HetuEngine自适应查询介绍 一般来说,大任务的SQL语句(例如在从整个表中扫描大量数据的情况)会占用大量的资源,在资源紧张的情况下,会影响其他任务的负载。这不仅导致用户体验不佳,也会提高运维成本。为了解决上述问题
xx为可信任的公网访问IP,并允许从该IP访问MRS Manager页面。” 图2 绑定弹性公网IP 单击“确定”,进入MRS Manager登录页面。 输入默认用户名“admin”及创建集群时设置的密码,单击“登录”进入MRS Manager页面。 在MRS管理控制台,在“现有集群”列表,单击指定的集群名称,进入集群信息页面。