检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
某些组件或者业务程序写入的文件大小 distcp 从源集群读文件后写入新集群,默认是使用的MapReduce任务中的dfs.blocksize,默认128M。 在distcp写完文件后,会基于块的物理大小做校验,因为该文件在新旧集群中block.size不一致,因此拆分大小不一致,导致校验失败。 如以上文件,在旧集群是17
通过典型场景,您可以快速学习和掌握Storm拓扑的构造和Spout/Bolt开发过程。 编译并运行程序 指导用户将开发好的程序编译并提交运行。 查看程序运行结果 程序运行结果会写在用户指定的路径下。 用户还可以通过UI查看应用运行情况。 父主题: Storm应用开发概述
通过Windows系统提交MapReduce任务 配置场景 用户将MapReduce任务从Windows上提交到Linux上运行,则“mapreduce.app-submission.cross-platform”参数值需配置为“true”。若集群无此参数,或参数值为“false
因此,如果为“/tmp”目录设置了NOEXEC权限,那么“java.io.tmpdir”必须设置为HBASE_OPTS/CLIENT_GC_OPTS中不同的路径。 父主题: HBase常见问题
将要删除的Segment的ID。 db_name Database名称,若未指定,则使用当前database。 table_name 在给定的database中的表名。 注意事项 流式表不支持删除segment。 示例 DELETE FROM TABLE CarbonDatabase.CarbonTable
ARC4BlockCodec; set hive.exec.compress.output=true; 使用块解压的方式先将表导入一个新表中。 insert overwrite table tbl_result select * from tbl_source; 再进行查询。 select
index文件,默认配置为10MB,可通过修改log.index.size.max.bytes来调整大小),是否会影响Kafka正常运行。 Consumer的并发量 在一个应用中,同一个Group的Consumer并发量建议与Topic的Partition个数保持一致,保证每个Consumer对应消费一个Partit
“core-site.xml”中(例如“客户端安装路径/HDFS/hadoop/etc/hadoop/”)配置如下参数。 表1 参数描述 参数 描述 默认值 io.compression.codecs 为了使LZC压缩格式生效,在现有的压缩格式列表中增加如下值: “com.huawei
index文件,默认配置为10MB,可通过修改log.index.size.max.bytes来调整大小),是否会影响Kafka正常运行。 Consumer的并发量 在一个应用中,同一个Group的Consumer并发量建议与Topic的Partition个数保持一致,保证每个Consumer对应消费一个Partit
完整迁移Storm业务:转换并运行完整的由Storm API开发的Storm拓扑。 嵌入式迁移Storm业务:在Flink的DataStream中嵌入Storm的代码,如使用Storm API编写的Spout/Bolt。 Flink提供了flink-storm包用来完成上述转换。 父主题:
le数据类型的值是相同的。 定位思路 无。 处理步骤 当需要高精度的数据比较时,可以使用Decimal数据类型的数值,例如,在财务应用程序中,equality和inequality检查,以及取整运算,均可使用Decimal数据类型的数值。 参考信息 无。 父主题: CarbonData故障处理
conf”配置文件中进行设置。 参数 说明 默认值 spark.sql.streaming.stateStore.providerClass 用于管理有状态流查询中的状态数据的类。此类必须是StateStoreProvider的子类,并且必须具有零参数构造函数。 配置参数值为org.apache.spark
ALTER TABLE test_db.carbon RENAME TO test_db.carbondata; 系统响应 CarbonData库中的文件夹将显示新表名称,可以通过运行SHOW TABLES显示新表名称。 父主题: DDL
dynamic.partitions = XXX;命令调大“hive.exec.max.dynamic.partitions”参数值。 SparkSQL中需要设置“spark.hadoop.hive.exec.max.dynamic.partitions”参数。 父主题: 使用Hive
将要删除的Segment的ID。 db_name Database名称,如果未指定,则使用当前database。 table_name 在给定的database中的表名。 注意事项 流式表不支持删除segment。 示例 DELETE FROM TABLE CarbonDatabase.CarbonTable
le数据类型的值是相同的。 定位思路 无。 处理步骤 当需要高精度的数据比较时,可以使用Decimal数据类型的数值,例如,在财务应用程序中,equality和inequality检查,以及取整运算,均可使用Decimal数据类型的数值。 参考信息 无。 父主题: CarbonData故障排除
ORDINALITY子句,在这种情况下,会在末尾添加一个额外的ORDINALITY列。 UNNEST通常与JOIN一起使用,可以引用JOIN左侧关系中的列。 使用单独一列 SELECT student, score FROM tests CROSS JOIN UNNEST(scores) AS
commits个Instant不会被归档,以此保证有足够的Instant去触发compation schedule。 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: Hudi DML语法说明
通过Java API提交Oozie作业开发思路 通过典型场景,用户可以快速学习和掌握Oozie的开发过程,并且对关键的接口函数有所了解。 本示例演示了如何通过Java API提交MapReduce作业和查询作业状态,代码示例只涉及了MapReduce作业,其他作业的API调用代码是一样的,只是job配置“job
通过Java API提交Oozie作业开发思路 通过典型场景,用户可以快速学习和掌握Oozie的开发过程,并且对关键的接口函数有所了解。 本示例演示了如何通过Java API提交MapReduce作业和查询作业状态,代码示例只涉及了MapReduce作业,其他作业的API调用代码是一样的,仅job配置“job