检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
er上的历史操作记录,用于安全事件中定位问题原因及划分责任。审计管理页面介绍请参见审计管理页面概述。Manager的审计日志默认保存在数据库中,如果长期保留可能引起数据目录的磁盘空间不足问题,管理员如果需要将审计日志保存到其他归档服务器,可以在FusionInsight Mana
登录客户端安装节点,通过Hive客户端查看数据库,确认对接成功。 source 客户端安装路径/bigdata_env kinit 组件业务用户 beeline show databases;desc database default; !q 通过Spark客户端,查看数据库,确认对接成功。如果集群不存在Spark组件请跳过该步骤。
false truststore-type JKS Java信任库类型。填写JKS或其他java支持的truststore类型。 truststore - Java信任库文件。 truststore-password - Java信任库密码。 keystore-type JKS 密钥存储类
当前版本的Spark内核直接依赖于Kafka相关的jar包(结构流使用),因此提交结构流任务时,需要把Kafka相关jar包加入到结构流任务driver端的库目录下,确保driver能够正常加载kafka包。 解决方案 提交yarn-client模式的结构流任务时需要额外如下操作: 将Spark客户端目录下spark-default
当前版本的Spark内核直接依赖于kafka相关的jar包(结构流使用),因此提交结构流任务时,需要把Kafka相关jar包加入到结构流任务driver端的库目录下,确保driver能够正常加载kafka包。 解决方案 提交yarn-client模式的结构流任务时需要额外如下操作: 将Spark客户端目录下spark-default
gcc-c++ yum install openssl-devel yum install sqlite-devel -y 如果pandas库需要额外安装如下依赖: yum install -y xz-devel yum install bzip2-devel 下载对应Python版本源码。
扫描功能 命令形式: sh mergetool.sh scan <db.table> <filesize> db.table的形式是“数据库名.表名”,filesize为用户自定义的小文件阈值(单位MB),返回结果为小于该阈值的文件个数,及整个表目录数据文件的平均大小。 例如:sh
当前版本的Spark内核直接依赖于Kafka相关的jar包(结构流使用),因此提交结构流任务时,需要把Kafka相关jar包加入到结构流任务driver端的库目录下,确保driver能够正常加载kafka包。 解决方案 提交yarn-client模式的结构流任务时需要额外如下操作: 将Spark客户端目录下spark-default
重启实例”,根据界面提示重启FlinkServer实例。 为指定用户配置Hive行级别数据过滤,详情可参考Hive行级别数据过滤。 如为test用户在“default”库中的“datagen”表添加“a<>1”过滤条件。 使用权限配置完成的用户通过FlinkServer提交FlinkSQL作业,详情可参考如何创建FlinkServer作业。
登录客户端安装节点,通过Hive客户端查看数据库,确认对接成功。 source 客户端安装路径/bigdata_env kinit 组件业务用户 beeline show databases;desc database default; !q 通过Spark客户端,查看数据库,确认对接成功。如果集群不存在Spark组件请跳过该步骤。
hetu-cli --catalog 数据源名称 --schema 数据库名 例如执行以下命令: hetu-cli --catalog hudi --schema default 执行以下命令,可正常查看数据库表信息或不报错即表示连接成功。 show tables; Hudi数据类型映射
xx/install/FusionInsight-Flume-1.9.0/flume/bin 执行以下命令,生成并得到Flume服务端密钥库密码、信任列表密码和keystore-password加密的私钥信息。连续输入两次密码并确认,该密码是flume_sChat.jks证书库的密码。
r的10倍以上,而对于一些Int之类的基本类型数据,性能的提升就几乎可以忽略。 KryoSerializer依赖Twitter的Chill库来实现,相对于JavaSerializer,主要的问题在于不是所有的Java Serializable对象都能支持,兼容性不好,所以需要手动注册类。
balancer_tcp_port ClickHouse服务Balancer实例TCP端口。 21428 local_table_name 待导入的本地库名.本地表名。 testdb1.testtb1 thread_num 并发导入线程数。 10 data_format 待导入数据的格式。 CSV
hetu-cli --catalog 数据源名称 --schema 数据库名 例如执行以下命令: hetu-cli --catalog clickhouse_1 --schema default 执行以下命令,可正常查看数据库表信息或不报错即表示连接成功。 show tables; ClickHouse数据类型映射
di数据的交互式快速查询场景。 HetuEngine跨源功能简介 出于管理和信息收集的需要,企业内部会存储海量数据,包括数目众多的各种数据库、数据仓库等,此时会面临数据源种类繁多、数据集结构化混合、相关数据存放分散等困境,导致跨源查询开发成本高,跨源复杂查询耗时长。 HetuEn
jdbc链接。 根据实际填写 hive_sync.table 选填 Hive的表名。 根据实际填写 hive_sync.db 选填 Hive的数据库名,默认为default。 根据实际填写 hive_sync.support_timestamp 选填 是否支持时间戳。 True changelog
SELECT句式。 这种方式比较灵活,可以在复制原表表结构的同时指定要复制哪些字段,不包括表的存储格式。 在启用了安全服务的集群中执行如下操作,需要在数据库中CREATE权限,使用CREATE AS SELECT句式创建表,需要对SELECT查询的表具有SELECT权限。详情请参见Hive应用开发概述。
请参见删除HBase数据。 7 A业务结束后,删除用户信息表。 请参见删除HBase表。 关键设计原则 HBase是以RowKey为字典排序的分布式数据库系统,RowKey的设计对性能影响很大,具体的RowKey设计请考虑与业务结合。 父主题: 开发HBase应用
请参见删除HBase表数据。 8 A业务结束后,删除用户信息表。 请参见删除HBase表。 关键设计原则 HBase是以RowKey为字典排序的分布式数据库系统,RowKey的设计对性能影响很大,具体的RowKey设计请考虑与业务结合。 父主题: HBase数据读写示例程序