检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
tore实例的URI连接串。 需要配置组件连接指定MetaStore时，复制2中的参数值，按组件名称修改对应配置项，保存后重启对应组件。 以Spark2x为例，限制Spark2x仅可连接Hive服务中两个MetaStore实例。 登录FusionInsight Manager页面，选择“集群
Hive和Calcite具有不同的保留关键字。例如default在Calcite中是保留关键字，在Hive中是非保留关键字。所以在使用Hive dialect时，必须使用反引号（`）引用此类关键字，才能将其用作标识符。 在Hive中不能查询在Flink中创建的视图。 【示例】修改SQL解析为Hive语法（sql-submit-defaults
准备MapReduce应用开发用户 开发用户用于运行样例工程。用户需要有组件权限，才能运行样例工程。 前提条件 MRS服务集群开启了Kerberos认证，没有开启Kerberos认证的集群忽略该步骤。 操作步骤 登录MRS Manager，在MRS Manager界面选择“系统设置
grep krbLoginFailedCount OMS浮动IP地址获取方式：远程登录Master2节点，执行“ifconfig”命令，系统回显中“eth0:wsom”表示OMS浮动IP地址，请记录“inet”的实际参数值。如果在Master2节点无法查询到OMS浮动IP地址，请切换到
问题 解决Ranger界面无法正常搜索问题 解决Ranger界面登出后未重定向到登录页面的问题 补丁兼容关系 MRS 3.0.5.1补丁包中包含所有MRS 3.0.5单点问题修复补丁。 安装补丁的影响 MRS 3.0.5.1补丁安装过程中会自动重启Executor、Control
ogs/application_${appid}/container_{$contid}” 运行中的任务日志存储在以上路径中，运行结束后会基于Yarn的配置确定是否汇聚到HDFS目录中，详情请参见Yarn常用配置参数。 其他日志：“/var/log/Bigdata/spark2x”
ogs/application_${appid}/container_{$contid}” 运行中的任务日志存储在以上路径中，运行结束后会基于Yarn的配置确定是否汇聚到HDFS目录中，详情请参见Yarn常用配置参数。 其他日志：“/var/log/Bigdata/spark2x”
降低系统负载压力 配置HetuEngine物化视图推荐能力 配置物化视图缓存能力 可将多次执行并改写后的SQL保存到缓存中，再次执行这条SQL时会直接从缓存中获取改写后的SQL，而不是重新对SQL进行改写，提高查询效率 配置HetuEngine物化视图缓存能力 配置物化视图有效期与数据刷新
在Flink WebUI和Linux中调测Flink应用 操作场景 IoTDB应用程序支持在安装了Flink客户端的Linux环境和安装了Flink WebUI的环境中运行。在程序代码完成开发后，您可以上传Jar包至准备好的环境中运行。 前提条件 集群已安装Flink组件，并且添加了FlinkServer实例。
Storm日志介绍 本章节内容适用于MRS 3.x及后续版本。 日志描述 日志路径：Storm相关日志的默认存储路径为“/var/log/Bigdata/storm/角色名”（运行日志），“/var/log/Bigdata/audit/storm/角色名”（审计日志）。 Nimb
1-SNAPSHOT目录上传到HDFS中。 同时上传6中target目录下的所有jar包。 登录客户端安装节点，执行安全认证。 cd /opt/client source bigdata_env kinit HetuEngine的用户 根据回显提示输入密码，首次认证需要修改密码。 HDFS中创建如下路径，如已存在则不需创建。
Flink应用开发流程介绍 Flink应用程序开发流程 Flink开发流程参考如下步骤： 图1 Flink应用程序开发流程 表1 Flink应用开发的流程说明 阶段 说明 参考章节 了解基本概念 在开始开发应用前，需要了解Flink的基本概念。 Flink基本概念 准备开发和运行环境
准备Hive应用开发用户 开发用户用于运行样例工程。用户需要有Hive权限，才能运行Hive样例工程。 前提条件 MRS服务集群开启了Kerberos认证需要执行该步骤，没有开启Kerberos认证的集群忽略该步骤。 操作步骤 登录MRS Manager，请参考登录MRS Manager。
Flink应用开发流程介绍 Flink应用程序开发流程 Flink开发流程参考如下步骤： 图1 Flink应用程序开发流程 表1 Flink应用开发的流程说明 阶段 说明 参考章节 了解基本概念 在开始开发应用前，需要了解Flink的基本概念。 基本概念 准备开发和运行环境 Fl
作业参数配置完成后，拖拽图标将作业进行关联，然后单击“保存”，作业配置完成。 在“作业管理”的作业列表中，找到创建的作业名称，单击操作列的“启动”，等待作业启动。 观察数据传输是否生效，例如在opengauss数据库中对表进行插入数据操作，查看Hudi导入的文件内容。 父主题： 创建CDL作业
级高于“Allow Conditions”中配置的允许条件。 例如为用户“testuser”添加“test”主题的生产权限，配置如下： 图1 Kafka权限参数 表2 设置权限 任务场景 角色授权操作 设置Kafka管理员权限 在首页中单击“KAFKA”区域的组件插件名称，例如“Kafka”。
ANALYZE 语法 EXPLAIN ANALYZE [VERBOSE] statement 描述 执行一条SQL语句，并显示分布式执行计划，以及过程中每个操作的代价。 VERBOSE可选参数，带上这个参数意味着会显示更多详细信息和底层统计数据。这个统计信息不能保证完全正确，特别是对于一些快速执行完成的语句。
WebUI的Flink作业开发界面添加自定义参数“table.optimizer.multi-join-enabled”为“true”开启MultiJoin算子功能，可参考如何创建FlinkServer作业。 SQL示例： CREATE TABLE datagen1 ( id int, f1 int,
表2 MRS集群运行状态说明 状态 说明 启动中 集群正在创建，则其状态为“启动中”。 运行中 集群创建成功且运行正常，则其状态为“运行中”。 扩容中 集群Master节点、Core节点或者Task节点正在扩容，则其状态为“扩容中”。 缩容中 当对集群节点进行缩容、弹性缩容、包周期集
Plan能够被成功执行，Compaction Plan只是记录了Hudi表中哪些Log文件要和哪些Parquet文件合并，所以最重要的地方在于保证Compaction Plan在被执行的时候它需要合并的文件都存在。而Hudi表中只有Clean操作可以清理文件，所以建议Clean的触发阈值（hoodie
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
