检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建FlinkServer流表源 通过数据表,定义源表、维表、输出表的基本属性和字段信息。 新建FlinkServer流表步骤 访问Flink WebUI,请参考访问FlinkServer WebUI界面。 单击“流表管理”进入流表管理页面。 单击“新建流表”,在新建流表页面参考
Hive应用开发建议 HQL编写之隐式类型转换 查询语句使用字段的值做过滤时,不建议通过Hive自身的隐式类型转换来编写HQL。因为隐式类型转换不利于代码的阅读和移植。 建议示例: select * from default.tbl_src where id = 10001; select
p”、“/var”、“/var/log”、“/srv/BigData”(可自定义)。 是,说明该磁盘为系统盘,执行10。 否,说明该磁盘为非系统盘,执行7。 执行df -lmPT | awk '$2 != "iso9660"' | grep '^/dev/' | awk '{"readlink
Python3开发环境的基本配置,版本如47.3.1。 jaydebeapi Python3开发环境的基本配置,可以通过该模块使用Java的JDBC来连接数据库。 准备运行环境 进行应用开发时,需要同时准备代码的运行调测的环境,用于验证应用程序运行正常。 如果本地Windows开发环境和集群业务平
实现Hive进程访问多ZooKeeper 功能简介 FusionInsight支持在同一个客户端进程内同时访问FusionInsight ZooKeeper和第三方的ZooKeeper,分别通过“testConnectHive”和“testConnectApacheZK”方法实现。
实现Hive进程访问多ZooKeeper 功能简介 FusionInsight支持在同一个客户端进程内同时访问FusionInsight ZooKeeper和第三方的ZooKeeper,分别通过“testConnectHive”和“testConnectApacheZK”方法实现。
多流Join场景支持配置表级别的TTL时间 本章节适用于MRS 3.3.0及以后版本。 在Flink双流Join场景下,如果Join的左表和右表其中一个表数据变化快,需要较短时间的过期时间,而另一个表数据变化较慢,需要较长时间的过期时间。目前Flink只有表级别的TTL(Time
添加删除MRS集群组件 创建MRS集群时,用户可自行选择集群内包含的服务组件,集群创建成功后,管理员可通过管理控制台手动为MRS添加新的组件或者已删除的组件。 仅MRS 3.1.2及之后的普通版本和MRS 3.1.2-LTS.3及之后LTS版本的自定义类型集群支持添加和删除组件。
min(position: Int): DataStream[T] 在一个KeyedStream上滚动求最小值。min返回了最小值,不保证非最小值列的准确性。 position和field代表对某一列求最小值。 def min(field: String): DataStream[T]
min(position: Int): DataStream[T] 在一个KeyedStream上滚动求最小值。min返回了最小值,不保证非最小值列的准确性。 position和field代表对某一列求最小值。 def min(field: String): DataStream[T]
min(position: Int): DataStream[T] 在一个KeyedStream上滚动求最小值。min返回了最小值,不保证非最小值列的准确性。 position和field代表对某一列求最小值。 def min(field: String): DataStream[T]
min(position: Int): DataStream[T] 在一个KeyedStream上滚动求最小值。min返回了最小值,不保证非最小值列的准确性。 position和field代表对某一列求最小值。 def min(field: String): DataStream[T]
Flink”,在“Flink WebUI”右侧,单击链接,访问Flink的WebUI。 单击“作业管理”进入作业管理页面。 找到待调优的并处于非运行中的作业,在“操作”列单击“开发”进入作业开发界面。 在作业开发界面的“自定义参数”项中,根据实际需求添加如下参数并保存,热数据(常用及
搜索范围仅包含当前权限目录,无法搜索子目录。搜索关键字支持模糊搜索,不区分大小写。 对于已启用Ranger授权的组件(HDFS与Yarn除外),Manager上非系统默认角色的权限将无法生效,需要通过配置Ranger策略为用户组赋权。 HDFS与Yarn的资源请求在Ranger中的策略条件未能覆盖的情况下,组件ACL规则仍将生效。
开启TableStatus多版本特性下,最新tablestatus文件丢失或损坏,如何恢复 问题 开启TableStatus多版本特性下,最新的tablestatus文件丢失或其他异常原因损坏的情况下,如何恢复? 回答 使用当前可得的最近的tablestatus文件进行恢复,分为如下两个场景来进行恢复:
807_02/tables/dblv85.startsea_zh_imoriginck_new/20201031/piece_4/shards/1 has been successfully executed by 8%2D5%2D226%2D156#20220807124849_28651
创建FlinkServer流表源 操作场景 通过数据表,定义源表、维表、输出表的基本属性和字段信息。 新建流表 访问Flink WebUI,请参考访问FlinkServer WebUI界面。 单击“流表管理”进入流表管理页面。 单击“新建流表”,在新建流表页面参考表1填写信息,单
调测HBase Phoenix样例程序 HBase支持通过Phoenix调用JDBC接口来访问HBase服务。调测HBase Phoenix样例程序,默认集群已完成HBase对接Phoenix服务,具体对接步骤详情请参考HBase配置Phoenix。 在Windows中运行并调测程序
配置Hive动态脱敏 使用场景 Hive动态脱敏功能开启后,配置脱敏列的数据可以参与计算,计算结果输出时不可见,在集群内脱敏策略会根据血缘关系自动传递,更大的发挥数据的价值同时保障数据的隐私性。 使用约束 不支持Hudi表的脱敏。 不支持涉及直接读写HDFS的操作的脱敏。 不支持
导入并配置Flink样例工程 操作场景 Flink针对多个场景提供样例工程,包含Java样例工程和Scala样例工程等,帮助客户快速学习Flink工程。 针对Java和Scala不同语言的工程,其导入方式相同。 以下操作步骤以导入Java样例代码为例。操作流程如图1所示。 图1 导入样例工程流程