检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
批量导入Loader作业 操作场景 Loader支持批量导入某个配置文件中的所有作业。 前提条件 当前用户具备待导入作业所在分组的编辑“Jobs Edit”权限。 如果作业所在的分组不存在,则会自动先创建该分组。当前用户就是该分组的创建者,拥有该分组的编辑“Jobs Edit”权限。
批量迁移Loader作业 操作场景 Loader支持将作业批量从一个分组(源分组)迁移到另一个分组(目标分组)。 前提条件 源分组和目标分组均存在。 当前用户具备源分组和目标分组的编辑“Group Edit”权限。 当前用户具备源分组的作业编辑“Jobs Edit”权限或待迁移作业的编辑“Edit”权限。
批量导入Loader作业 操作场景 Loader支持批量导入某个配置文件中的所有作业。 本章节适用于MRS 3.x及后续版本。 前提条件 当前用户具备待导入作业所在分组的编辑“Jobs Edit”权限。 如果作业所在的分组不存在,则会自动先创建该分组。当前用户就是该分组的创建者,拥有该分组的编辑“Jobs
批量升级MRS集群客户端 在FusionInsight Manager界面上下载的客户端包中包含客户端批量升级工具,当集群升级或扩容后需要对多个客户端进行升级时,可以使用该工具对客户端进行批量一键升级。同时该工具在提供批量升级客户端功能的同时,也提供了轻量级的批量刷新客户端所在节点“/etc/hosts”文件的功能。
配置Drop Partition命令支持批量删除 本章节仅适用于MRS 3.2.0及之后版本。 配置场景 当前Spark中Drop Partition命令只支持等号来删除分区,配置该参数后可以支持多种过滤条件来批量删除,如'<','<=','>','>=','!>','!<'。 配置参数
批量加载HBase数据并生成本地二级索引 场景介绍 HBase本身提供了ImportTsv&LoadIncremental工具来批量加载用户数据。当前提供了HIndexImportTsv来支持加载用户数据的同时可以完成对索引数据的批量加载。HIndexImportTsv继承了HB
SparkStreaming批量写入HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用streamBulkPut接口将流数据写入HBase表中。 数据规划 在客户端执行hbase shell进入HBase命令行。 在hb
SparkStreaming批量写入HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用streamBulkPut接口将流数据写入HBase表中。 数据规划 在客户端执行hbase shell进入HBase命令行。 在hb
批量加载HBase数据并生成本地二级索引 场景介绍 HBase本身提供了ImportTsv&LoadIncremental工具来批量加载用户数据。当前提供了HIndexImportTsv来支持加载用户数据的同时可以完成对索引数据的批量加载。HIndexImportTsv继承了HB
SparkStreaming批量写入HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用streamBulkPut接口将流数据写入Hbase表中。 数据规划 在客户端执行hbase shell进入HBase命令行。 在HB
SparkStreaming批量写入HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用streamBulkPut接口将流数据写入Hbase表中。 数据规划 在客户端执行hbase shell进入HBase命令行。 在HB
在集群内节点使用LoadIncrementalHFiles批量导入数据,报错权限不足 问题 在普通集群中手动创建Linux用户,并使用集群内DataNode节点执行批量导入时,为什么LoadIncrementalHFiles工具执行失败报“Permission denied”的异常?
在集群内节点使用LoadIncrementalHFiles批量导入数据,报错权限不足 问题 在普通集群中手动创建Linux用户,并使用集群内DataNode节点执行批量导入时,为什么LoadIncrementalHFiles工具执行失败报“Permission denied”的异常?
批量构建HBase全局二级索引数据 场景介绍 在用户的表中预先存在大量数据的情况下,可基于MapReaduce任务,批量构建已有数据的索引数据。 批量构建全局二级索引数据 只有处于INACTIVE状态的索引才能进行批量构建,如需重建索引数据,请先修改索引状态。 数据表中存在大量数
ClickHouse数据加工流程最佳实践:在数据湖中通过Hive&Spark(批量)/FlinkSQL(增量)加工成大宽表后,通过CDL/Loader工具实时同步到ClickHouse,下游BI工具和应用进行实时OLAP分析。 数据加工 建议使用Hive/Spark进行数据批量加工,FilkSQL进行数据增量加工。 数据入库
Kudu应用开发常见问题 Kudu Java API接口介绍 Kudu Java API接口可参考官网描述。 其他Kudu完整和详细的接口可以直接参考官方网站上的描述。 地址: https://kudu.apache.org/apidocs。 父主题: Kudu开发指南(安全模式)
Kudu应用开发常见问题 Kudu Java API接口介绍 Kudu Java API接口可参考官网描述。 其他Kudu完整和详细的接口可以直接参考官方网站上的描述。 地址: https://kudu.apache.org/apidocs。 父主题: Kudu开发指南(普通模式)
MS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据)、日志收集等大量数据的互联网服务的数据收集场景。 Kafka结构 生产者(Producer)将消
Spark client CLI介绍 Spark CLI详细的使用方法参考官方网站的描述:http://archive.apache.org/dist/spark/docs/3.3.1/quick-start.html。 常用CLI Spark常用的CLI如下所示: spark-shell
Spark client CLI介绍 Spark CLI详细的使用方法参考官方网站的描述:http://archive.apache.org/dist/spark/docs/3.3.1/quick-start.html。 常用CLI Spark常用的CLI如下所示: spark-shell