检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
连接类型根据实际集群来选择,如果是MRS集群,连接器类型可以选择“MRS HDFS”,如果是自建集群可以选择“Apache HDFS”。 图2 HDFS连接 步骤2:新建迁移作业 在“表/文件迁移” 页签,单击“新建作业”。
接口类型简介 由于HBase本身是由java语言开发出来的,且java语言具有简洁通用易懂的特性,推荐用户使用java语言进行HBase应用程序开发。
填写用户名,例如hbaseuser,用户类型为“机机”用户,加入用户组supergroup,设置其“主组”为supergroup,并绑定角色hbaserole取得权限,单击“确定”,如图3所示。
“return_type”需要为HetuEngine支持的数据类型,要与函数的返回实际类型匹配,不做类型强制转换。 可以指定一组特征来修饰函数并指定其行为,每个特征最多只能指定一次,详情请参考表1。
各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下,“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。 使用Oozie客户端 以客户端安装用户,登录安装客户端的节点。
父主题: 作业管理类
父主题: 作业管理类
1574856994802_0019_01_000003 -nodeAddress 192-168-1-1:8041 执行结果:可获取任意Container的日志 此命令的参数中需要填入nodeAddress,可通过以下命令获取: yarn node -list -all 父主题: Spark运维管理
登录主管理节点查看系统日志“/var/log/Bigdata/tomcat/web.log”。
event_time + INTERVAL 30 day; alter table system.trace_log on cluster default_cluster modify TTL event_time + INTERVAL 30 day; 父主题: ClickHouse运维管理
父主题: 管理FlinkServer作业
连接类型根据实际集群来选择,如果是MRS集群,连接器类型可以选择“MRS Hive”,如果是自建集群可以选择“Apache Hive”。 图2 创建Hive连接 在迁移目的端集群中创建数据迁移后的存储数据库。 选择“作业管理”的“表/文件迁移”页签,单击“新建作业”。
compression:参数可选,压缩类型。 使用S3表引擎 登录主OMS节点。 执行以下命令创建表。
_jvm, 'com.huawei.bigdata.spark.examples.hbasecontext.JavaHBaseBulkGetExample') # 创建类实例并调用方法,传递sc._jsc参数 spark.
_jvm, 'com.huawei.bigdata.spark.examples.hbasecontext.JavaHBaseBulkPutExample') # 创建类实例并调用方法,传递sc._jsc参数 spark.
_jvm, 'com.huawei.bigdata.spark.examples.hbasecontext.JavaHBaseMapPartitionExample') # 创建类实例并调用方法,传递sc._jsc参数 spark.
Custom:可使用任何有效返回与被屏蔽的列中的数据类型相同的数据类型来自定义策略。 如需添加多列的脱敏策略,可单击按钮添加。 单击“Add”,在策略列表可查看策略的基本信息。
Spark SQL无法查询到Parquet类型的Hive表的新插入数据 问题 为什么通过Spark SQL无法查询到存储类型为Parquet的Hive表的新插入数据?
表1 HBase接口提供的功能 功能 说明 CRUD数据读写功能 增查改删 高级特性 过滤器、二级索引,协处理器 管理功能 表管理、集群管理 父主题: HBase应用开发概述
管理功能 表管理、集群管理。 父主题: HBase应用开发概述