检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
一个表可以拥有一个或者多个分区,每个分区以文件夹的形式单独存在表文件夹的目录下。对分区内数据进行查询,可缩小查询范围,加快数据的检索速度和可对数据按照一定的条件进行管理。 分区是在创建表的时候用PARTITIONED BY子句定义的。 CREATE EXTERNAL TABLE IF NOT EXISTS employees_info_extended
Manager关键特性:多语言支持 Manager增加了对多语言的支持,系统自动根据浏览器的语言偏好设置,显示中文或者英文。当浏览器首选语言是中文时,Manager显示中文界面;当浏览器首选语言不是中文时,Manager显示英文界面。用户也可以根据语言偏好,在界面左下角一键切换中英文界面(仅MRS
eToKillInSeconds="${tgt.timeToKillInSeconds:1200}"中的1200为对应的超时时长,值的单位是秒。 在主Master节点重启tomcat服务。 在主master节点上用omm用户执行netstat -anp |grep 28443 |grep
keytab”、“krb5.conf”不能共用。 “conf”目录下的“log4j.properties”文件,客户可根据自己的需要进行配置。 代码样例 如下是代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples的HdfsExample类。 在Linux客户端运行
如果希望直方图可以在CBO中生效,需要满足下面的条件: spark.sql.statistics.histogram.enabled : true,默认是false,修改为true开启直方图功能。 spark.sql.cbo.enabled : true,默认为false,修改为true开启CBO。
hostname:port/oozie -config job.properties文件所在路径 -run 参数列表: 表2 参数列表 参数 含义 job 表示执行的是job任务 -oozie Oozie服务器地址(任意节点) -config job.properties文件所在路径 -run 表示启动流程
user 运行这个任务的用户。 applicationType 例如MAPREDUCE或者SPARK等。 finalStatus 可以知道任务是成功还是失败。 elapsedTime 任务运行的时间。 获取Yarn资源的总体信息 命令: curl -k -i --negotiate -u
hostname:port/oozie -config job.properties文件所在路径 -run 参数列表: 表2 参数列表 参数 含义 job 表示执行的是job任务 -oozie Oozie服务器地址(任意节点) -config “job.properties”文件所在路径 -run 表示启动流程
集群未启用Kerberos认证(普通模式)使用root用户登录。 登录客户端时可以通过-maxRPC参数,控制执行结果一次性打印多少行,默认值是1000;如果将-maxRPC参数值设置为小于等于0,则会一次性打印所有结果,通常用于重定向SQL执行结果。 登录客户端时,可选-disab
1 集群的健康检查中存在一项误报,而补丁安装前会进行集群的健康检查。从而导致客户第一次提交安装补丁后,提示集群异常,补丁安装终止。在确认报错是误报后,客户可以再次提交安装补丁请求,第二次安装补丁会跳过健康检查,进行补丁安装。 误报内容可以通过如下方式确认: 查看并导出健康检查报告,
truststore文件路径为相对路径时: 在“ssl”的同级目录下执行如下命令启动session,并在session中提交作业,其中“ssl”是相对路径,如“ssl”所在目录是“/opt/client/Flink/flink/conf/”,则在该目录下执行命令。 其中“com.huawei.bigdata
参数类型 描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。 约束限制: 不涉及 取值范围: 只能由英文字母和数字组成,且长度为[1-64]个字符。 默认取值: 不涉及 version_name 是 String 参数解释: 集群版本。例如“MRS
0版本为例,建议按照指定版本创建集群。 方案架构 Spark的应用运行架构如图1所示,运行流程如下所示: 应用程序(Application)是作为一个进程的集合运行在集群上的,由Driver进行协调。 在运行一个应用时,Driver会去连接集群管理器(Standalone、Meso
如果恢复任务在第一次执行时由于某些原因未执行成功,在排除错误原因后单击“重试”,重试恢复任务。 检查是否是在全新安装,或者重新安装HBase的环境中恢复了HBase数据。 是,需要管理员在FusionInsight Manager上根据原有的业务规划重新设置角色的权限。 否,任务结束。
查询使用以“cn”结尾的邮箱的员工信息。 方案架构 Hive是建立在Hadoop上的数据仓库框架,提供大数据平台批处理计算能力,能够对结构化/半结构化数据进行批量分析汇总完成数据计算。提供类似SQL的Hive Query Language语言操作结构化数据,其基本原理是将HQL语言自动转换成MapRedu
使用的块缓存的最大heap(-Xmx setting)的百分比。 当offheap关闭时,默认值为0.25,当offheap开启时,默认值是0.1。 Handler相关参数 表3 Handler相关参数 参数 描述 默认值 hbase.regionserver.handler.count
命令行进行认证。由于提供的示例代码默认提供安全认证代码,请在yarn-cluster模式下时,修改对应安全代码后再运行应用。 如果您使用的是普通模式,准备业务应用代码及其相关配置即可。 调用org.apache.spark.launcher.SparkLauncher.launch()方法,将用户的应用程序提交。
addResource(new Path(userdir + "hbase-site.xml"), false); } [1]userdir获取的是编译后资源路径下conf目录的路径。初始化配置用到的core-site.xml、hdfs-site.xml、hbase-site.xml文件
准备好MRS集群管理员用户admin。 操作步骤 检查环境。 登录Manager,选择“集群 > 待操作集群的名称 > 服务”查看Yarn的状态“运行状态”是否为“良好”。 是,执行1.c。 否,Yarn状态不健康,执行1.b。 修复Yarn异常,任务结束。 确定修改NodeManager的存储目录场景。 更改No
的块缓存的最大heap(-Xmx setting)的百分比。 当offheap关闭时,默认值为“0.25”,当offheap开启时,默认值是“0.1”。 Handler相关参数 表3 Handler相关参数 参数 描述 默认值 hbase.regionserver.handler