检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
填写用户名例如sparkuser,用户类型为“机机”用户,加入用户组supergroup和kafkaadmin,设置其“主组”为supergroup,并绑定角色sparkrole取得权限,单击“确定”。
集群支持下载x86_64和aarch64两种类型客户端,但是客户端类型必须与待安装节点的架构匹配,否则客户端会安装失败。 勾选“仅保存到如下路径”,单击“确定”开始生成客户端文件。 文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client”。
Copy On Write类型Hudi表查询 例如cow类型的Hudi源表的表名为hudicow,映射为Hive外部表的表名为hudicow。
登录FusionInsight Manager,选择“集群 > 概览 > 更多 > 下载客户端”,“选择客户端类型”设置为“仅配置文件”,单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。
表的设计都要考虑到数据的生命周期管理,需要进行TTL表属性设置或定期老化清理表分区数据。 单表的字段建议不要超过5000列。
安装JDK 开发和运行环境的基本配置,版本要求如下: JDK版本号应该与用户要访问的FusionInsight Manager使用的版本号一致,具体的版本号可以查看对应版本文档或咨询系统管理员。
父主题: Spark运维管理
1所示,最底层是Spark的临时表,存储着使用DataSource方式的临时表,在这一个层面中没有数据库的概念,因此对于这种类型表,表名在各个数据库中都是可见的。
数据库通常不允许将列数据类型按照从高到低的顺序修改,或者数据类型可能与表中已存储/将要存储的数据冲突。如果要修复相同的问题,请尝试设置以下属性: 设置hive.metastore.disallow.in compatible.col.type.changes为false。
MRS_hbase 集群类型 提供几种集群类型: 分析集群 流式集群 混合集群 自定义 自定义 版本类型 提供以下版本类型: 普通版 LTS版 普通版 集群版本 MRS目前支持的版本。
MRS 3.3.0及之后版本,登录FusionInsight Manager,在“主页”右上方单击“下载客户端”,“选择客户端类型”设置为“完整客户端”,注意平台类型与待安装客户端节点的节点类型相同(x86为x86_64,ARM为aarch64),下载位置选择“浏览器”,单击“确定
_jvm, 'com.huawei.bigdata.spark.examples.hbasecontext.JavaHBaseBulkPutExample') # 创建类实例并调用方法,传递sc._jsc参数 spark.
_jvm, 'com.huawei.bigdata.spark.examples.HBaseBulkLoadPythonExample') # 创建类实例并调用方法,传递sc._jsc参数 spark.
_jvm, 'com.huawei.bigdata.spark.examples.streaming.JavaHBaseStreamingBulkPutExample') # 创建类实例并调用方法,传递sc._jsc参数 spark.
_jvm, 'com.huawei.bigdata.spark.examples.datasources.HBaseSource') # 创建类实例并调用方法,传递sc._jsc参数 spark._jvm.HBaseSource().execute(spark.
_jvm, 'com.huawei.bigdata.spark.examples.hbasecontext.JavaHBaseForEachPartitionExample') # 创建类实例并调用方法,传递sc._jsc参数 spark.
_jvm, 'com.huawei.bigdata.spark.examples.streaming.JavaHBaseStreamingBulkPutExample') # 创建类实例并调用方法,传递sc._jsc参数 spark.
_jvm, 'com.huawei.bigdata.spark.examples.hbasecontext.JavaHBaseBulkPutExample') # 创建类实例并调用方法,传递sc._jsc参数 spark.
- 父主题: Spark运维管理
在“管理作业界面”,查看作业运行结果。可以单击“刷新列表”获取作业的最新状态。 父主题: 使用Loader