检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 Loader WebUI界面 单击“批量删除”,进入作业批量删除界面。 在“批量删除”中选择删除作业类型。 “所有”,表示删除当前所有的作业。 “指定作业”,表示指定需要删除的作业。选择“指定作业”,在作业列表中勾选需要删除的作业。 单击“确定”,开始删除作业。
典型场景:从Hive导出数据到关系型数据库 操作场景 该任务指导用户使用Loader将数据从Hive导出到关系型数据库。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的Hive表。 获取关系型数据库使用的用户和密码。
图1 Loader WebUI界面 单击“批量删除”,进入作业批量删除界面。 在“批量删除”中选择删除作业类型。 “所有”,表示删除当前所有的作业。 “指定作业”,表示指定需要删除的作业。选择“指定作业”,在作业列表中勾选需要删除的作业。 单击“确定”,开始删除作业。
HDFS 基于Kafka的Word Count数据流统计案例 实时OLAP数据分析 物联网时序数据分析
添加HetuEngine数据源 使用HetuEngine跨源跨域访问数据源 添加Hive数据源 添加Hudi数据源 添加ClickHouse数据源 添加GAUSSDB数据源 添加HBase数据源 添加跨集群HetuEngine数据源 添加IoTDB数据源 添加MySQL数据源 添加
仅支持SparkSQL存取HIve数据。 编辑栏包括以下几种任务: 重命名:重命名样例。 编辑:编辑步骤转换,参考6.c。 删除:删除样例。 也可使用快捷键“Del”删除。 单击“编辑”,编辑步骤转换信息,配置字段与数据。
仅支持存取Hive数据。 编辑栏包括以下几种任务: 重命令:重命名样例。 编辑:编辑步骤转换,参考6.c。 删除:删除样例。 也可使用快捷键“Del”删除。 单击“编辑”,编辑步骤转换信息,配置字段与数据。 步骤转换信息中的具体参数设置请参考Loader算子帮助。
HBase备份业务数据时,可能存在以下场景: 用户创建HBase表时,“KEEP_DELETED_CELLS”属性默认值为“false”,备份该HBase表时会将已经删除的数据备份,可能导致恢复后出现垃圾数据。请根据业务需要,在创建HBase表时手动修改该参数值为“true”。
不支持删除Hadoop(HDFS、Yarn、MapReduce)、Ranger、DBService、KrbServer、LdapServer和meta服务,其他已安装服务可删除。 删除服务前,请先备份该服务的数据,避免数据丢失。 父主题: 管理MRS集群组件
iotdb Iotdb@123 IoTDB系统管理员用户,用户权限: IoTDB管理员权限: 创建或删除存储组 使用TTL IoTDB数据操作权限: 创建、修改、删除时间序列 对时间序列进行数据写入、读取、删除。
HDFS客户端无法删除超长目录 问题背景与现象 执行hadoop fs -rm -r -f obs://<obs_path>命令,删除OBS超长目录出现如下报错: 2022-02-28 17:12:45,605 INFO internal.RestStorageService: OkHttp
Hive ORC数据存储优化 操作场景 “ORC”是一种高效的列存储格式,在压缩比和读取效率上优于其他文件格式。 建议使用“ORC”作为Hive表默认的存储格式。 前提条件 已登录Hive客户端,具体操作请参见Hive客户端使用实践。
不负责在MRS集群上进行非标操作产生的非预期问题分析和解决,如重装操作系统、误删除数据、删除服务目录和文件、修改OS系统配置和文件权限、删除“/etc/hosts”配置、直接后台卸载磁盘、修改节点IP地址、删除创建集群时的默认安全组规则等。
目前MRS记录以下操作类型的日志信息: 集群操作 在管理控制台创建集群、删除集群、扩容集群和缩容集群等。 在管理控制台创建目录、删除目录和删除文件。 作业操作:在管理控制台创建作业、停止作业和删除作业。 数据操作:IAM用户任务、新增用户、新增用户组等操作。
回答 因为多个HiveServer之间共用一个MetaStore存储数据库,所以MetaStore存储数据库和HiveServer的内存之间数据同步有延迟。如果在单个HiveServer上删除永久函数,操作结果将无法同步到其他HiveServer上。
回答 因为多个HiveServer之间共用一个MetaStore存储数据库,所以MetaStore存储数据库和HiveServer的内存之间数据同步有延迟。如果在单个HiveServer上删除永久函数,操作结果将无法同步到其他HiveServer上。
删除集群前,建议完成数据搬迁或者备份,确认集群无任何业务运行或者集群异常且经运维分析无法继续提供服务时再执行集群删除操作。对于数据存放在云硬盘EVS或直通盘的大数据集群,集群删除后,数据也随之删除,强烈建议您慎重选择删除集群。 父主题: 集群管理
在查询时,所有被标记删除的数据都会在文件级别被过滤,读取出来的数据是最新的数据,消除了读时合并中数据聚合的过程,并且支持多种谓词的下推,因此在聚合查询场景下能带来较大的性能提升。 Duplicate模型 数据既没有主键,也没有聚合需求时,可以使用Duplicate数据模型建表。
是否写入脏数据:如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中,以便后面查看,可通过该参数配置,写入脏数据前需要先配置好OBS连接。这里保持默认值“否”即可,不记录脏数据。 作业运行完是否删除:这里保持默认值“不删除”。
如果ADD PARTITION时未指定分区保存路径,分区目录将从HDFS上删除,数据会移到.Trash/Current文件夹。