检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
访问Spark应用的聚合日志页面报“DNS查找失败”错误 问题 采用http(s)://<spark ip>:<spark port>的方式直接访问Spark JobHistory页面时,如果当前跳转的Spark JobHistory页面不是FusionInsight代理的页面(Fus
8xlarge.2 基于擎天架构的自研极简虚拟化 C7型 64 128 c7.16xlarge.2 基于擎天架构的自研极简虚拟化 C7型 128 256 c7.32xlarge.2 基于擎天架构的自研极简虚拟化 C7型 16 64 c7.4xlarge.4 基于擎天架构的自研极简虚拟化 C7型
RS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下HBase相关样例工程: 表1 HBase相关样例工程 样例工程位置 描述 hbase-examples/hbase-example HBase数据读写操作的应用开发示例。
ud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下Oozie相关样例工程: 表1 Oozie相关样例工程 样例工程位置 描述 oozie-examples/oozienormal
RS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下HBase相关样例工程: 表1 HBase相关样例工程 样例工程位置 描述 hbase-examples/hbase-example HBase数据读写操作的应用开发示例。
oud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下Hive相关样例工程: 表1 Hive相关样例工程 样例工程位置 描述 hive-examples/hive-jdbc-example
数据库名 group 创建数据库时使用的用户组 permission 创建数据库时使用的权限 location 数据库的位置 comment 数据库的备注,比如描述 properties 数据库属性 返回结果 参数 描述 database 新创建的数据库的名字 例子 curl -ik -u
换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下HDFS相关样例工程: 表1 HDFS相关样例工程 样例工程位置 描述 hdfs-example-security HDFS文件操作的Java示例程序。 本工程
用户可以根据业务需要,在集群的客户端中提交Storm拓扑,持续处理用户的流数据。启用Kerberos认证的集群,需要提交拓扑的用户属于“stormadmin”或“storm”组。 前提条件 已刷新客户端。 操作步骤 根据业务情况,准备好客户端,登录安装客户端的节点。 请根据客户端所在位置,参考安装客户端章节,登录安装客户端的节点。
换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下HDFS相关样例工程: 表1 HDFS相关样例工程 样例工程位置 描述 hdfs-example-security HDFS文件操作的Java示例程序。 本工程
切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下HDFS相关样例工程: 表1 HDFS相关样例工程 样例工程位置 描述 hdfs-example-normal HDFS文件操作的Java示例程序。 本工程主
前Schema,以适应不断变化的数据。 本章节内容仅适用于MRS 3.2.0及之后版本。 Schema演进支持范围 Schema演进支持范围: 支持列(包括嵌套列)相关的增、删、改、位置调整等操作。 不支持对分区列做演进。 不支持对Array类型的嵌套列进行增、删、列操作。 表1
-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下Spark2x相关样例工程: 表1 Spark2x相关样例工程 样例工程位置 描述 sparknormal-examples/Spa
stderr/stdin/syslog Yarn服务上运行的应用所对应的container日志。 yarn-application-check.log Yarn服务上运行的应用检查日志。 yarn-appsummary.log Yarn服务上运行的应用的运行结果日志。 yarn-switch-resourcemanager
-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下Spark2x相关样例工程: 表1 Spark2x相关样例工程 样例工程位置 描述 sparksecurity-examples/S
topology: topo1 执行以下命令,查看Storm中的拓扑。启用Kerberos认证的集群,只有属于“stormadmin”或“storm”的用户可以查看所有拓扑。 storm list 执行以下命令,删除Storm中的拓扑。 storm kill 拓扑名称 父主题: 使用Storm
定位到指定目录或文件在HDFS中保存的位置。 在指定目录或文件的“权限”列,勾选“读”和“执行”。 设置用户读取其他用户的目录或文件的权限 在“配置资源权限”的表格中选择“待操作集群的名称 > HDFS > 文件系统”。 定位到指定目录或文件在HDFS中保存的位置。 在指定目录或文件的“权限”列,勾选“读”和“执行”。
在执行此命令之前,应将旧表的表结构定义schema和数据复制到新数据库位置。 对于旧版本仓库,源集群和目的集群的时区应该相同。 新的数据库和旧数据库的名字应该相同。 执行命令前,旧表的表结构定义schema和数据应该复制到新的数据库位置。 如果表是聚合表,则应将所有聚合表复制到新的数据库位置。 如果
使用spark-shell命令执行SQL或者spark-submit提交的Spark任务里面有SQL的load命令,并且原数据和目标表存储位置不是同一套文件系统,上述两种方式MapReduce任务启动时会报错。 原因分析 当使用load导入数据到Hive表的时候,属于需要跨文件系统的情况(例如原数据在HDFS上,而H
distinct()函数。 数据结构 HyperLogLog(hll)是一种统计基数的算法。它实际上不会存储每个元素出现的次数,它使用的是概率算法,通过存储元素的32位hash值的第一个1的位置,来计算元素数量。通常分为稀疏存储结构和密集存储结构两种。hll创建时是稀疏存储结构,