正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hadoop中关于文件操作类基本上全部是在“org.apache.hadoop.fs”包中,这些API能够支持的操作包含:打开文件,读写文件,删除文件等。Hadoop类库中最终面向用户提供的接口类是FileSystem,该类是个抽象类,只能通过来类的get方法得到具体类。get方法存在几个重载版本,常用的是这个:
份的数据完成恢复操作。 表1 根据业务需要备份元数据(MRS 2.x及之前版本) 备份类型 备份内容 OMS 默认备份集群管理系统中的数据库数据(不包含告警数据)以及配置数据。 LdapServer 备份用户信息,包括用户名、密码、密钥、密码策略、用户组信息。 DBService
SELECT句式。 这种方式比较灵活,可以在复制原表表结构的同时指定要复制哪些字段,不包括表的存储格式。 在启用了安全服务的集群中执行如下操作,需要在数据库中CREATE权限,使用CREATE AS SELECT句式创建表,需要对SELECT查询的表具有SELECT权限。 目前表名长度最长为12
如集群已启用Kerberos认证,需提前创建HetuEngine的用户并授予相关权限,且需要通过Ranger为该用户配置操作数据源的数据库、表、列的管理权限。 使用约束 防御规则默认动态生效时间为5分钟。 拦截和熔断规则会中断SQL查询,请根据实际业务配置合理的值。 熔断规则由
在Windows环境调测程序步骤请参考在Windows中调测程序。 在Linux环境调测程序 编译并生成Jar包,并将Jar包复制到与依赖库文件夹同级的目录“src/main/resources”下,具体步骤请参考在Linux调测程序。 使用集群安装用户登录集群客户端节点。 cd
r都能访问。当前系统提供了三种共享状态信息的方法:通过文件系统共享(FileSystemRMStateStore)、通过LevelDB数据库共享(LeveldbRMStateStore)或通过ZooKeeper共享(ZKRMStateStore)。这三种方式中只有ZooKeepe
解决CDL定时线程增加异常保护,防止线程异常,告警不上报的问题。 解决CDL解密环境变量冲突,导致升级时hudi源任务运行失败的问题。 解决删除CDL作业后,数据库表CDC_JOB_EXECUTION中仍存在该作业名的问题。 解决CDL时间函数clock_timestamp()导致Hudi-Dws压测性能下降的问题。
HBase存储的核心,一个Store拥有一个MemStore和多个StoreFile,一个Store对应一个分区中表的列族。 索引 一种数据结构,提高了对数据库表中的数据检索效率。可以使用一个数据库表中的一列或多列,提供了快速随机查找和有效访问有序记录的基础。 协处理器 HBase提供的在RegionServer执行
在Windows环境调测程序步骤请参考在Windows中调测程序。 在Linux环境调测程序 编译并生成Jar包,并将Jar包复制到与依赖库文件夹同级的目录“src/main/resources”下,具体步骤请参考在Linux调测程序。 使用集群安装用户登录集群客户端节点。 cd
1版本安装不成功,则需要检查环境是否有问题或是Python自身原因导致的。 客户端机器必须安装有jaydebeapi,可以通过该模块使用java的JDBC来连接数据库。 可通过如下两种方式安装: pip安装: 在客户端节点执行pip install JayDeBeApi。 运行脚本安装。 通过官方网站下载
ition。 使用omm用户执行gsql -p 20051 -U omm -W password -d hivemeta登录Hive元数据库。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 执行select * from
Services”中选择服务后,需要在“Resource”列中添加具体的资源对象,例如HDFS服务器的文件目录、Yarn的队列、Hive的数据库及表、HBase的表及列。 /testzone 例如针对HDFS中的“/testzone”目录创建一个安全区,配置如下: 单击“Save”,等待安全区添加成功。
新增连接”,进入“新增连接”参数配置窗口,参考下表,分别新增“clickhouse”和“hudi”连接,相关数据连接参数介绍请参见创建CDL数据库连接。 表1 ClickHouse数据连接配置参数 参数名称 示例 Link Type clickhouse Name cklink Host
1版本安装不成功,则需要检查环境是否有问题或是Python自身原因导致的。 客户端机器必须安装有jaydebeapi,可以通过该模块使用java的JDBC来连接数据库。 可通过如下两种方式安装: pip安装: 在客户端节点执行pip install JayDeBeApi。 运行脚本安装。 通过官方网站下载
Services”中选择服务后,需要在“Resource”列中添加具体的资源对象,例如HDFS服务器的文件目录、Yarn的队列、Hive的数据库及表、HBase的表及列。 /testzone 例如针对HDFS中的“/testzone”目录创建一个安全区,配置如下: 单击“Save”,等待安全区添加成功。
hetu-cli --catalog 数据源名称 --schema 数据库名 例如执行以下命令: hetu-cli --catalog hive_1 --schema default 执行以下命令,可正常查看数据库表信息或不报错即表示连接成功。 show tables; Hive数据类型映射
集群中的Ldap作为OMS Ldap的备份,其服务名称为LdapServer,角色实例为SlapdServer。 Database Manager的数据库,负责存储日志、告警等信息。 HA 高可用性管理模块,主备OMS通过HA进行主备管理。 NTP Server NTP Client 负责同步集群内各节点的系统时钟。
recombine字段值可以保证数据的准确性,老数据不会覆盖新数据,也就是幂等写入能力。该字段可用选择的类型包括:业务表中更新时间戳、数据库的提交时间戳等。precombine字段不能有null值和空值,可以参考以下示例设置precombine字段: SparkSQL: //通过
打印版本信息。 jar <jar> 运行jar文件。 logs 获取container日志。 classpath 打印获取Hadoop JAR包和其他库文件所需的CLASSPATH路径。 daemonlog 获取或者设置服务LOG级别。 CLASSNAME 运行一个名字为CLASSNAME的类。
打印版本信息。 jar <jar> 运行jar文件。 logs 获取container日志。 classpath 打印获取Hadoop JAR包和其他库文件所需的CLASSPATH路径。 daemonlog 获取或者设置服务LOG级别。 CLASSNAME 运行一个名字为CLASSNAME的类。