检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
们之间没有必然联系，都可以独立工作，并且提供的功能是一样的。 Flume客户端需要单独安装，支持将数据直接导到集群中的HDFS和Kafka等组件上。 本案例中，通过MRS自定义集群中的Flume组件，自动采集指定节点日志目录下新产生的文件并存储到HDFS文件系统中。 方案架构 F
bigdata.hbase.examples包的“HIndexExample”类的dropIndicesExampleWithData方法中 dropIndicesWithData():从指定的表中删除指定的索引，并从用户表中删除与这些索引对应的所有索引数据。 public void
schema”）可以自行规划管理，与HetuEngine中的catalog、schema概念无关联；“parameter_type”需要为HetuEngine支持的数据类型。 “return_type”需要为HetuEngine支持的数据类型，要与函数的返回实际类型匹配，不做类型强制转换。
录中。 图5 编译完成，生成jar包 将工程编译生成的jar包复制到“/opt/client/lib”目录下。 将IntelliJ IDEA工程“src/main/resources”目录下的所有文件复制到与依赖库文件夹同级的目录“src/main/resources”下，即“/
INSERT INTO参数 参数 描述 tableIndentifier 需要执行INSERT命令的Hudi表的名称。 select query 查询语句。 注意事项 写入模式：Hudi对于设置了主键的表支持三种写入模式，用户可以设置参数hoodie.sql.insert.mode来指定Insert模式，默认为upsert。
录中。 图5 编译完成，生成jar包 将工程编译生成的jar包复制到“/opt/client/lib”目录下。 将IntelliJ IDEA工程“src/main/resources”目录下的所有文件复制到与依赖库文件夹同级的目录“src/main/resources”下，即“/
MRS服务集群开启了Kerberos认证，没有开启Kerberos认证的集群忽略该步骤。 操作步骤 登录MRS Manager，在MRS Manager界面选择“系统设置 > 角色管理 > 添加角色”。 填写角色的名称，例如flinkrole。 在“权限”的表格中选择“HDFS > File System
指定导出数据的分隔符，与需要导出的HDFS中的数据表中的分隔符保持一致。 -m或-num-mappers <n> 启动n个map来并行导入数据，默认是4个，该值请勿高于集群的最大Map数。 -direct 快速模式，利用了数据库的导入工具，如MySQL的mysqlimport，可以比jdbc连接的方式更为高效的将数据导入到关系数据库中。
创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HBase表或phoenix表。 获取关系型数据库使用的用户和密码。 检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。
Flume配置工具示例 双击对应的source、channel以及sink，根据实际环境并参考表1设置对应的配置参数。 如果对应的Flume角色之前已经配置过服务端参数，为保证与之前的配置保持一致，在FusionInsight Manager界面选择“集群 > 待操作集群的名称 > 服务 > Flume
in 25 s 991 ms 将工程编译生成的jar包复制到“/opt/client/lib”目录下。 图8 文件位置 将IntelliJ IDEA工程“src/main/resources”目录下的所有文件复制到与依赖库文件夹同级的目录“src/main/resources”下
原因分析 HDFS在写的时候有设置块大小，默认128M，某些组件或者业务程序写入的文件可能不是128M，如8M。 <name>dfs.blocksize</name> <value>134217728</value> 图1 某些组件或者业务程序写入的文件大小 distcp 从
败后，支持回滚到事务执行之前的状态。 本章节主要介绍如何开启ClickHouse事务。 使用本地表场景进行数据写入性能更优，故推荐本地表的数据增、删、改、查场景的多副本分布式事务支持。 对于使用分布式表进行数据写入场景的分布式事务，需要结合分布式表事务insert_distrib
Compacted表示该数据已被合并。 0.1表示segment0与segment1合并之后的结果。 数据合并前后的其他操作没有差别。 被合并的segments（例如segment0和segment1）即成为无用的segments，会占用空间，因此建议合并之后使用CLEAN FI
业。 命令参考（由添加作业时的“运行程序参数”与“执行程序参数”组成）：在原有的命令后，按“, {新参数}”的格式继续新增参数。 增加新的运行程序参数：新的命令参考是“运行程序参数, {新的运行程序参数}, 执行程序参数”。 增加新的执行程序参数：新的命令参考是“运行程序参数, 执行程序参数
在对应流表的“操作”列对流表进行编辑、删除等操作。 图1 新建流表 表1 新建流表信息 参数名称 参数描述 备注 流/表名称 流/表的名称。 例如：flink_sink 描述 流/表的描述信息。 - 映射表类型 Flink SQL本身不带有数据存储功能，所有涉及表创建的操作，实际上均是对于外部数据表、存储的引用映射。
bytes参数，使得replica.fetch.max.bytes的值大于等于message.max.bytes，使得不同Broker上的Partition的Replica可以同步到全部消息。 保存配置，查看集群是否存在配置过期的服务，如果存在，需重启对应服务或角色实例使配置生效。 修改消费者业务应用中fetch
新建流表信息 参数名称 参数描述 备注 流/表名称 流/表的名称。 例如：flink_sink 描述 流/表的描述信息。 - 映射表类型 Flink SQL本身不带有数据存储功能，所有涉及表创建的操作，实际上均是对于外部数据表、存储的引用映射。 类型包含Kafka、HDFS。 - 类型
在“慢查询分布”页面，用户可查看历史任务的慢查询分布情况，包括： 慢SQL统计：统计各个租户的慢查询（查询时间大于慢查询阈值）提交个数。 慢查询TOP用户请求统计列表：统计各个用户的慢查询统计明细，支持列表排序和全部导出功能。 在“慢查询列表”页面，用户可查看历史任务的慢查询列表、诊断结果和优化建议，支持导出查询结果。
POPULATE 字段的表为内嵌表，在创建视图的时候初始化视图数据，缺点是初始化视图数据期间，新插入的数据被忽略；不含POPULATE 字段的表为聚合表，新插入的数据直接插入到视图表和支持表中，而之前的数据通过手动加载的方式插入视图和支持表。聚合表和内嵌表的建表操作需分别处理。 执行如下操作处理退服节点的物化视图：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
