检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置SparkSQL支持Hudi Schema演进 Schema演进开启后不能关闭。 本章节仅适用于MRS 3.2.0及之前版本。 使用spark-beeline时,需要登录Manager页面,选择“集群 > 服务 > Spark2x > 配置 > 全部配置”。 在搜索栏中搜索参数“spark
Studio图形界面客户端”下载Data Studio工具。 使用已创建好的DWS集群中的数据库用户名、密码等信息,参考使用Data Studio工具连接章节连接DWS数据库。 将DWS数据库中的表数据导出到CSV格式文件。 (可选)如果DWS数据库对应的表和数据已经存在,该步骤请忽略。本文通过演示在DWS创建测试表,并插入测试数据进行演示。
)数据将不被视为Bad Records,如果设置为“true”,则空数据将被视为Bad Records。 BAD_RECORD_PATH - 指定存储Bad Records的HDFS路径。默认值为Null。 如果启用了Bad Records日志记录或者Bad Records操作重定向,则该路径必须由用户进行配置。
source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户,当前用户需要具有创建HBase表的权限,具体请参见创建角色配置拥有对应权限的角色,参考创建用户章节,为用户绑定对应角色。如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit
“ON”表示安全模式已打开。 是,执行4。 否,执行7。 执行以下操作登录HDFS客户端。 登录HDFS客户端安装节点。 集群已启用Kerberos认证(安全模式):使用root用户登录。 集群未启用Kerberos认证(普通模式):使用omm用户登录,并确保omm用户具有客户端执行权限。 (此处为集群
HetuEngine智能物化视图应用流程说明 阶段 说明 参考章节 开启物化视图推荐功能 开启物化视图推荐功能之后,QAS实例会根据用户的SQL执行记录自动推荐高价值的物化视图SQL,推荐的物化视图语句可在HSConsole界面的物化视图推荐页面查看,可参考查看物化视图推荐结果。 开启物化视图推荐功能 设置维护实例
Studio图形界面客户端”下载Data Studio工具。 使用已创建好的DWS集群中的数据库用户名、密码等信息,参考使用Data Studio工具连接章节连接DWS数据库。 将DWS数据库中的表数据导出到CSV格式文件。 (可选)如果DWS数据库对应的表和数据已经存在,该步骤请忽略。本文通过演示在DWS创建测试表,并插入测试数据进行演示。
表2 属性描述 属性 描述 carbon.options.bad.records.logger.enable 启用或禁用bad record日志记录。 carbon.options.bad.records.action 指定bad record操作,例如,强制(force),重定
WebUI的Flink作业开发界面添加自定义参数“table.optimizer.graph-merge-enabled”为“true”开启Lookup算子复用功能,可参考如何创建FlinkServer作业。 SQL示例: create table hudimor ( uuid
<value>false</value> </property> 如果集群已启用Kerberos认证(安全模式),执行以下命令使用具有相应OBS路径“Read”和“Write”权限的用户进行认证,如果集群未启用Kerberos认证(普通模式),则无需执行此命令。 kinit 用户名
examples包的“Demo”类的createDatabase方法中。 通过on cluster语句在集群中创建表1中以databaseName参数值为数据库名的数据库。 private void createDatabase(String databaseName, String clusterName)
切换到客户端安装目录并配置环境变量: cd 客户端安装目录 source bigdata_env 如果集群已启用Kerberos认证(安全模式),需执行以下命令进行安全认证,如果集群未启用Kerberos认证(普通模式)请跳过该步骤。 kinit 组件业务用户 执行以下命令查看ENABL
1440”(1天)。 心跳设置 上报心跳 开启 设置是否开启周期上报Syslog心跳消息。打开开关表示开启此功能,关闭开关表示不启用。开关默认为关闭。 心跳周期(分钟) 15 设置周期上报心跳的时间间隔,当“上报心跳”开关设置为打开时启用。单位为分钟,默认值为“15”,支持范围为“1”到“60”。
值 描述 qas.enable.auto.recommendation true 开启物化视图推荐,默认值为“false” qas.sql.submitter 如:default,zuhu1 启用物化视图推荐功能的租户名称,多租户用英文逗号隔开 qas.schedule.fixed
positions : __col1,__col2 回答 这种情况通常会发生当您试图使用HiveSyncTool.java类向现有hive表添加新列时。数据库通常不允许将列数据类型按照从高到低的顺序修改,或者数据类型可能与表中已存储/将要存储的数据冲突。如果要修复相同的问题,请尝试设置以下属性:
进入客户端目录,配置环境变量。 cd /opt/客户端安装目录 source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit MRS集群用户 该用户必须具有Clickhouse管理员权限。
SQL接口 提交SQL语句 查询SQL结果 取消SQL执行任务 父主题: API V2
节点,执行以下命令: source 客户端安装目录/bigdata_env 根据集群认证模式,完成HetuEngine客户端登录。 集群已启用Kerberos认证(安全模式):执行以下命令,完成用户认证并登录HetuEngine客户端。 kinit HetuEngine组件操作用户
是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 job_execution_id 是 String 参数解释: 作业ID。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 请求参数 无 响应参数
配置“key-ttl-mode”参数为非“no-ttl”时需设置该值,该值不需要带单位。 isSSLMode 可选 String 是否开启SSL模式: true:开启SSL模式。 false:不开启SSL模式。 keyPrefix 可选 String Redis key的前缀。 父主题: FlinkSQL