检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
未执行drop table命令的时候,回收站中也可能会存在该表的文件。 如果这个时候再执行drop table命令,那么按照回收站机制,会生成一个带时间戳的该表目录,该目录中的文件是完整的。 父主题: CarbonData常见问题
logs}。如果有数据分区,基于该数据分区生成一个类似/srv/BigData/hadoop/data1/nm/containerlogs,/srv/BigData/hadoop/data2/nm/containerlogs的路径清单。如果没有数据分区,生成默认路径/srv/BigData
未执行drop table命令的时候,回收站中也可能会存在该表的文件。 如果这个时候再执行drop table命令,那么按照回收站机制,会生成一个带时间戳的该表目录,该目录中的文件是完整的。 父主题: CarbonData常见问题
SQL程序,需要先在客户端启动Spark SQL或Beeline以输入SQL语句。 操作步骤 获取样例工程并将其导入IDEA,导入样例工程依赖jar包。通过IDEA配置并生成jar包。 准备样例工程所需数据。 将场景说明中的原日志文件放置在HDFS系统中。 本地新建两个文本文件,分别将log1.txt及log2
Duration 检查基于时间的滚动策略的时间间隔。 分区目录的文件合并。 支持文件压缩,允许应用程序具有更小的检查点间隔,而无需生成大量文件。 仅压缩单个检查点中的文件,即生成的文件数量至少与检查点数量相同。合并前的文件是不可见的,因此文件的可见性是:检查点间隔+压缩时间之后。如果压缩时间太长,将延长检查点的时间段。
提交拓扑。 拓扑提交成功后,可以向Kafka中发送数据,观察是否有相关信息生成。 在Linux系统中进入Kafka客户端所在目录,在Kafka/kafka/bin目录下启动consumer观察数据是否生成。执行命令: ./kafka-console-consumer.sh --bootstrap-server
SUCCESS”,表示编译成功,如下图所示。编译成功后将会在样例工程的target下生成含有“hcatalog-example-*.jar”包。 以上jar包名称仅供参考,具体名称以实际生成为主。 将2中在样例工程下的target下生成的“hcatalog-example-*.jar”上传至Linu
SUCCESS”,表示编译成功,如下图所示。编译成功后将会在样例工程的target下生成含有“hcatalog-example-*.jar”包。 以上jar包名称仅供参考,具体名称以实际生成为主。 将2中在样例工程下的target下生成的“hcatalog-example-*.jar”上传至Linu
workerStopDetail.log worker服务停止日志 worker日志 cc-worker-console.日志生成时间 worker启动日志 ccworker.日志级别.日志生成时间 worker运行日志 sidecar日志 cc-sidecar-zk.log sidecar的zookeeper操作日志
个CPU核的时间占比,即多个服务在使用同一个CPU核发生争抢时的时间占比。 单击“根据权重配置生成详细配置”,FusionInsight Manager将根据集群硬件资源与分配情况,生成资源池实际参数配置值。 单击“确定”。 在弹出窗口单击“确定”,确认保存配置。 添加自定义资源配置组
下载客户端 > 仅配置文件”。 此时生成的压缩文件包含所有服务的配置文件。 图1 下载客户端配置文件 配置相关参数。 MRS 3.3.1之前版本: 是否在集群的节点中生成配置文件? 是,勾选“仅保存到如下路径”,单击“确定”开始生成客户端文件,文件生成后默认保存在主管理节点“/tmp
setAutoWatermarkInterval(200L)时间戳生成Watermark。 AssignerWithPunctuatedWatermarks 每接收到一个元素,都会生成一个Watermark,而且可以根据接收到的元素生成不同的Watermark。 提供迭代的能力 表9 提供迭代的能力的相关接口
setAutoWatermarkInterval(200L)时间戳生成Watermark。 AssignerWithPunctuatedWatermarks 每接收到一个元素,都会生成一个Watermark,而且可以根据接收到的元素生成不同的Watermark。 提供迭代的能力 表9 提供迭代的能力的相关接口
setAutoWatermarkInterval(200L)时间戳生成Watermark。 AssignerWithPunctuatedWatermarks 每接收到一个元素,都会生成一个Watermark,而且可以根据接收到的元素生成不同的Watermark。 提供迭代的能力 表9 提供迭代的能力的相关接口
setAutoWatermarkInterval(200L)时间戳生成Watermark。 AssignerWithPunctuatedWatermarks 每接收到一个元素,都会生成一个Watermark,而且可以根据接收到的元素生成不同的Watermark。 提供迭代的能力 表9 提供迭代的能力的相关接口
执行以下命令,进行用户认证。(普通模式跳过此步骤) kinit 组件业务用户 执行以下命令进入Kafka客户端的bin目录。 cd Kafka/kafka/bin 执行以下命令生成执行计划。 ./kafka-reassign-partitions.sh --zookeeper 172.16.0.119:2181/kafka
Partition Assignments”。 勾选broker实例,单击“Generate Partition Assignments”生成分区。 分区生成完成,单击“Go to topic view.”返回Topic Summary页面。 在Topic Summary页面单击“Reassign
dc=hadoop,dc=com和cn=krbkdc,ou=Users,dc=hadoop,dc=com)。 如果被勾选,账户的密码会使用随机生成的新密码进行重置。 说明: 仅MRS 3.1.2及之后版本支持该参数。 单击“确定”。 在弹出窗口输入当前登录用户密码验证身份,单击“确定”,在确认重启的对话框中单击“确定”。
SQL程序,需要先在客户端启动Spark SQL或Beeline以输入SQL语句。 操作步骤 获取样例工程并将其导入IDEA,导入样例工程依赖jar包。通过IDEA配置并生成jar包。 准备样例工程所需数据。 将场景说明中的原日志文件放置在HDFS系统中。 本地新建两个文本文件,分别将log1.txt及log2
source Hudi的component_env。 使用spark-shell --master yarn-client,引入Hudi包生成测试数据: 引入需要的包 import org.apache.hudi.QuickstartUtils._ import scala.collection