检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS 3.2.0-LTS.1版本说明 发布日期 MRS 3.2.0-LTS.1 2023年4月28日 更新内容 服务模块 主要变更点 ClickHouse 升级到22.3.2.2版本。 ClickHouse支持多租户，通过CPU优先级和内存限额分配资源。 Flink 升级到1.15
REFRESH TABLE 命令功能 REFRESH TABLE命令用于将已有的Carbon表数据注册到Hive元数据库中。 命令语法 REFRESH TABLE db_name.table_name; 参数描述 表1 REFRESH TABLE参数描述 参数 描述 db_name
在“作业管理”的作业列表中，找到创建的作业名称，单击操作列的“启动”，等待作业启动。 观察数据传输是否生效，例如在MySQL数据库中对作业中指定的表进行插入数据操作，查看Hudi导入的文件内容是否正常。 父主题： 创建CDL作业
144:9111/templeton/v1/status' 执行操作前需确保使用的curl版本在7.34.0以上。 可以使用以下命令查看curl版本： curl -V :version(GET) 描述 查询WebHCat支持的返回类型列表。 URL https://www.myserver.com/templeton/:version
144:9111/templeton/v1/status' 执行操作前需确保使用的curl版本在7.34.0以上。 可以使用以下命令查看curl版本： curl -V :version(GET) 描述 查询WebHCat支持的返回类型列表。 URL https://www.myserver.com/templeton/:version
配置parquet表的压缩格式 配置场景 当前版本对于parquet表的压缩格式分以下两种情况进行配置： 对于分区表，需要通过parquet本身的配置项“parquet.compression”设置parquet表的数据压缩格式。如在建表语句中设置tblproperties："parquet
KrbServer及LdapServer基本原理 KrbServer及LdapServer简介 为了管理集群中数据与资源的访问控制权限，推荐安装安全模式集群。在安全模式下，客户端应用程序在访问集群中的任意资源之前均需要通过身份认证，建立安全会话链接。MRS通过KrbServer为
配置parquet表的压缩格式 配置场景 当前版本对于parquet表的压缩格式分以下两种情况进行配置： 对于分区表，需要通过parquet本身的配置项“parquet.compression”设置parquet表的数据压缩格式。如在建表语句中设置tblproperties："parquet
rkSQL应用程序的资源，也就是说不同的用户之间可以共享数据。JDBCServer启动时还会开启一个侦听器，等待JDBC客户端的连接和提交查询。所以，在配置JDBCServer的时候，至少要配置JDBCServer的主机名和端口，如果要使用hive数据的话，还要提供hive metastore的uris。
安全集群（开启Kerberos认证）执行如下命令： kinit testuser 并输入密码登录 impala-shell -i <Impalad节点IP> 查询数据，验证Ranger是否已经集成成功。 执行select * from dataorigin失败，报错显示权限不足。 执行select name
rkSQL应用程序的资源，也就是说不同的用户之间可以共享数据。JDBCServer启动时还会开启一个侦听器，等待JDBC客户端的连接和提交查询。所以，在配置JDBCServer的时候，至少要配置JDBCServer的主机名和端口，如果要使用hive数据的话，还要提供hive metastore的uris。
forName("org.apache.hive.jdbc.HiveDriver").newInstance(); 获取JDBC连接，执行HQL，输出查询的列名和结果到控制台，关闭JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper
grep '${BIGDATA_HOME}' | awk '{print $2}' | xargs -I '{}' kill -9 '{}' 命令查找并终止container的进程。 管理员已排除主机的异常或故障后，需要将主机隔离状态取消才能继续使用该主机。 在“主机”界面勾选已隔离的主机，选择“更多
相关依赖jar包将自动下载，不需手动添加。 当样例代码使用其他FusionInsight组件时，例如Kafka等，请去对应FusionInsight组件的服务端安装目录查找并添加依赖包。样例工程对应的依赖包详情，请参见样例工程运行依赖包参考信息。 （可选）如果导入Scala语言开发的样例程序，还需要为工程设置语言。
确保本地环境的时间与MRS集群的时间差要小于5分钟，若无法确定，请联系系统管理员。MRS集群的时间可通过FusionInsight Manager页面右下角查看。 已准备开发环境及MRS集群相关配置文件，详情请参考准备Spark连接集群配置文件。 操作步骤 参考获取MRS应用开发样例工程，获取样例
确保本地环境的时间与MRS集群的时间差要小于5分钟，若无法确定，请联系系统管理员。MRS集群的时间可通过FusionInsight Manager页面右下角查看。 已准备开发环境及MRS集群相关配置文件，详情请参考准备Spark连接集群配置文件。 操作步骤 参考获取MRS应用开发样例工程，获取样例
HDFS > 服务配置”，在“参数类别”选择“全部配置”，在“搜索”框里搜索“hadoop.ssl.enabled.protocols”，查看参数值是否包含“TLSv1”，若不包含，则在配置项“hadoop.ssl.enabled.protocols”中追加“,TLSv1”。清空“ssl
消减Spark Insert Overwrite自读自写风险 场景说明 对于目的表，需要使用动态分区插入（使用历史分区更新），且目的表和数据源表都是同一张表。 由于直接在原表上执行insert overwrite可能会导致数据丢失或数据不一致的风险，建议首先使用一个临时表来处理数据。
如何对insert overwrite自读自写场景进行优化 场景说明 对于需要使用动态分区插入（使用历史分区更新）数据到目的表中，且和数据源表是同一张表时，由于直接在原表上执行insert overwrite可能会导致数据丢失或数据不一致的风险，建议先使用一个临时表来处理数据，再执行insert
Flink流式读Hudi表规则 Flink流式读Hudi表参数规范如下所示： 表1 Flink流式读Hudi表参数规范 参数名称 是否必填 参数描述 示例 Connector 必填 读取表类型。 hudi Path 必填 表存储的路径。 根据实际情况填写 table.type 必填
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
