检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
或者Python定义的代码）发送到Executor上。 所有的Task执行完成后，用户的应用程序运行结束。 图1 Spark应用运行架构 约束与限制 本实践仅适用于MRS 3.x及之后版本，且在集群外客户端节点中安装Python3。 操作流程 本实践基本操作流程如下所示： 步骤1：在MRS集群外节点安装客户端
source bigdata_env 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户，当前用户需要具有创建HBase表的权限，具体请参见创建角色配置拥有对应权限的角色，参考创建用户章节，为用户绑定对应角色。如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit
配置SparkSQL支持Hudi Schema演进 Schema演进开启后不能关闭。 本章节仅适用于MRS 3.2.0及之前版本。 使用spark-beeline时，需要登录Manager页面，选择“集群 > 服务 > Spark2x > 配置 > 全部配置”。 在搜索栏中搜索参数“spark
Spark2x的Ranger访问权限策略。 Spark2x开启或关闭Ranger鉴权后，需要重启Spark2x服务，并重新下载客户端，或刷新客户端配置文件spark/conf/spark-defaults.conf： 开启Ranger鉴权：spark.ranger.plugin.authorization
ClickHouse数据源中同一个Schema（或Database）下不能存在名字内容相同但大小写格式不同的Table，例如：cktable（小写）、CKTABLE（大写）和CKtable（大小写混合），该内容的Table只能有一个，否则HetuEngine无法使用该Schema（或Database）下的表。 添加ClickHouse数据源步骤
集群 > 服务 > Doris”，查看“Leader所在的主机”获取。 将代码中PORT = "xxx"的“xxx”修改为Doris的MySQL协议查询连接端口，默认为29982，可登录FusionInsight Manager，选择“集群 > 服务 > Doris > 配置”，搜索“query_port”获取。
在已有弹性伸缩策略右边单击“删除”按钮，在弹出的对话框中单击“确定”。 开启或关闭已有弹性伸缩策略 登录MRS管理控制台。 选择“现有集群”，选中一个运行中的集群并单击集群名称。进入集群详情页面。 选择“弹性伸缩”页签。 在已有弹性伸缩策略上单击“启用/关闭弹性伸缩策略”。 父主题： MRS集群Task节点弹性伸缩
HetuEngine智能物化视图应用流程说明 阶段 说明 参考章节 开启物化视图推荐功能 开启物化视图推荐功能之后，QAS实例会根据用户的SQL执行记录自动推荐高价值的物化视图SQL，推荐的物化视图语句可在HSConsole界面的物化视图推荐页面查看，可参考查看物化视图推荐结果。 开启物化视图推荐功能 设置维护实例
park客户端），如“/opt/female”。运行Spark应用程序，具体样例程序可参考开发Spark应用。 在Spark任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例，否则可能会导致任务失败，并可能导致JobHistory部分数据丢失。 父主题： 在Linux环境中调测Spark应用
列。AFTER origin_col新增列将会被加入到原始列origin_col之后，可以缺省。FIRST只能在嵌套列添加新的子列时使用，禁止top-level列使用FIRST，AFTER没有限制。 示例 alter table h0 add columns(ext0 string);
HQL（Hive Query Language）编译和解析，生成并执行相应的MapReduce任务或者HDFS操作。 图1 Hive结构 约束与限制 需要在Manager的“系统 > 权限 > 用户”界面上创建一个LDAP中已存在的同名用户，并添加“hive”和“hadoop”用
WebUI的Flink作业开发界面添加自定义参数“table.optimizer.graph-merge-enabled”为“true”开启Lookup算子复用功能，可参考如何创建FlinkServer作业。 SQL示例： create table hudimor ( uuid
“ON”表示安全模式已打开。 是，执行4。 否，执行7。 执行以下操作登录HDFS客户端。 登录HDFS客户端安装节点。 集群已启用Kerberos认证（安全模式）：使用root用户登录。 集群未启用Kerberos认证（普通模式）：使用omm用户登录，并确保omm用户具有客户端执行权限。 （此处为集群
<value>false</value> </property> 如果集群已启用Kerberos认证（安全模式），执行以下命令使用具有相应OBS路径“Read”和“Write”权限的用户进行认证，如果集群未启用Kerberos认证（普通模式），则无需执行此命令。 kinit 用户名
使用指定物化视图进行查询重写 SET SESSION materialized_view_rewrite_enabled=true; --启用物化视图查询改写能力 CREATE TABLE t1 (id int, c1 varchar); INSERT INTO t1 VALUES
配置“key-ttl-mode”参数为非“no-ttl”时需设置该值，该值不需要带单位。 isSSLMode 可选 String 是否开启SSL模式： true：开启SSL模式。 false：不开启SSL模式。 keyPrefix 可选 String Redis key的前缀。 父主题： FlinkSQL
park客户端），如“/opt/female”。运行Spark应用程序，具体样例程序可参考开发Spark应用。 在Spark任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例，否则可能会导致任务失败，并可能导致JobHistory部分数据丢失。 父主题： 在Linux环境中调测Spark应用
'type' = 'hive', 'hive-version' = '3.1.0', 'default-database' = 'default', 'cluster.name' = 'flink_hive' ); 父主题： FlinkSQL
1440”（1天）。 心跳设置 上报心跳 开启 设置是否开启周期上报Syslog心跳消息。打开开关表示开启此功能，关闭开关表示不启用。开关默认为关闭。 心跳周期（分钟） 15 设置周期上报心跳的时间间隔，当“上报心跳”开关设置为打开时启用。单位为分钟，默认值为“15”，支持范围为“1”到“60”。
wal.hsync 设置是否启用WAL文件耐久性以将WAL数据持久化到磁盘。如果将该参数设置为“true”，则性能将受到影响，因为每个WAL的编辑都会被Hadoop fsync同步到磁盘上。 false hbase.hfile.hsync 设置是否启用Hfile耐久性以将数据持久
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
