检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
found”的值修改为“true”。 启动Kafka的Producer,向Kafka发送数据。 {ClassPath}表示工程jar包的存放路径,详细路径由用户指定,可参考在Linux环境中编包并运行Spark程序章节中导出jar包的操作步骤。 命令举例: java -cp /opt/c
og。 分区设置操作 Hudi支持多种分区方式,如多级分区、无分区、单分区、时间日期分区。用户可以根据实际需求选择合适的分区方式,接下来将详细介绍Hudi如何配置各种分区类型。 多级分区 多级分区即指定多个字段为分区键,需要注意的配置项: 配置项 说明 hoodie.datasource
选择一个Windows系统的公共镜像。例如,选择一个标准镜像“Windows Server 2012 R2 Standard 64bit(40GB)”。 其他配置参数详细信息,请参见购买弹性云服务器。 如果ECS的安全组和Master节点的“默认安全组”不同,用户可以选择以下任一种方法修改配置: 将ECS的
间的数据。 元数据恢复后,需要重新启动HBase的上层应用。 前提条件 如果需要从远端HDFS恢复数据,需要准备备集群,且已完成数据备份,详细操作请参见备份HBase元数据。如果主集群部署为安全模式,且主备集群不是由同一个FusionInsight Manager管理,则必须配置
144:9111/templeton/v1/ddl/database' ddl/database/:db (GET) 描述 获取指定数据库的详细信息 URL https://www.myserver.com/templeton/v1/ddl/database/:db 参数 参数 描述
能及稳定性的提升。 LTS版 集群版本 MRS集群的版本,不同版本所包含的开源组件版本及功能特性可能不同,推荐选择最新版本。 版本详细包含的组件详细可参考MRS组件版本一览表。 MRS 3.2.0-LTS.1 组件选择 选择要MRS集群内要部署的组件。 请根据业务需求合理选择需要
单击“ResourceManager WebUI”后的链接进入Yarn Web UI界面,在Applications页面查看当前Yarn作业的详细运行情况及运行日志。 图5 Yarn WebUI界面 等待作业运行完成后,在OBS文件系统中指定的结果输出文件中可查看数据分析输出的结果。
BAD_RECORDS_LOGGER_ENABLE false 若设置为true,则将创建Bad Records日志文件,其中包含Bad Records的详细信息。 BAD_RECORDS_ACTION FAIL 以下为Bad Records的四种操作类型: FORCE:通过将Bad Records存储为NULL来自动校正数据。
观的完成集群的运行维护。 图1 MRS 3.x版本Manager界面 界面最上方为操作栏,中部为显示区,最下方为任务栏,操作栏各操作入口的详细功能如下表所示。 表1 界面操作入口功能描述(MRS 3.x版本) 入口 功能描述 主页 提供柱状图、折线图、表格等多种图表方式展示集群的
og。 分区设置操作 Hudi支持多种分区方式,如多级分区、无分区、单分区、时间日期分区。用户可以根据实际需求选择合适的分区方式,接下来将详细介绍Hudi如何配置各种分区类型。 多级分区 多级分区即指定多个字段为分区键,需要注意的配置项: 配置项 说明 hoodie.datasource
数据恢复后,依赖DBService的组件可能配置过期,需要重启配置过期的服务。 前提条件 如果需要从远端HDFS恢复数据,需要准备备集群,且已完成数据备份,详细操作请参见备份DBService元数据。如果主集群部署为安全模式,且主备集群不是由同一个FusionInsight Manager管理,则
弹性云服务器的“可用分区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。 其他配置参数详细信息,请参见“弹性云服务器 > 快速入门 > 购买并登录Windows弹性云服务器” 使用本机访问MRS集群操作HBase。为MRS集群中
3-bin/bin/sqlline.py),添加hbase客户端的相关依赖信息如图2所示。 图2 Phoenix依赖及zookeeper认证 详细配置。如下所示, 添加hbase client的lib包(eg,$HBASE_HOME/lib/*:) 添加相关认证(eg,$HBASE_OPTS)
wait-timeout 在启动 JDBC 查询之前,HetuEngine将等待从连接的构建端收集动态过滤器的最大持续时间。使用较大的超时可能会导致更详细的动态过滤器。但是也会增加某些查询的延迟,默认值:20s。 20s unsupported-type-handling 当连接器不支持此数
在管理控制台选择页面上方的“费用 > 费用账单”,进入费用中心后,在“账单管理 > 流水和账单明细”的“明细账单”中可以通过多维度展示客户账单的详细信息。一般通过设置统计维度为“按使用量”,统计周期为“按账期”来统计资源在某个月份的总开销,建议您核对表2所示的信息是否和实际相符。 表2
INTEXT”。 确认“WordCountDemo.java”内的参数无误后,将工程编译后进行打包,获取打包后的jar文件。 编译jar包详细操作可参考在Linux中调测程序。 例如打包后的jar文件为“kafka-demo.jar”。 上传jar包及源数据 将编译后的jar包上
eper上保存的offset信息将会回退,可能导致重复消费。 前提条件 如果需要从远端HDFS恢复数据,需要准备备集群,且已完成数据备份,详细操作请参见备份Kafka元数据。如果主集群部署为安全模式,且主备集群不是由同一个FusionInsight Manager管理,则必须配置
单次增量视图拉取Commit的最大数量。 10 Hudi Custom Config Hudi相关的自定义配置。 - Table Info 同步表的详细配置信息。要求Hudi与DWS的表名一致,且字段类型相同。 {"table1":[{"source.database":"base1","source
“path”目录是用来存放SSL keystore、truststore相关配置文件,该目录是由用户自定义创建。相对路径和绝对路径的不同导致执行命令存在差异,详细说明如下。 配置keystore或truststore文件路径为相对路径时,Flink Client执行命令的目录需要可以直接访问该相对路径
恢复数据后可能导致元数据与业务数据无法匹配,HDFS进入安全模式且HDFS服务启动失败。 前提条件 如果需要从远端HDFS恢复数据,需要准备备集群,且已完成数据备份,详细操作请参见备份HDFS NameNode元数据。如果主集群部署为安全模式,且主备集群不是由同一个FusionInsight Manager