检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
3版本进行对接时存在Jetty版本的兼容性问题。 按以下步骤进行操作可以完成部署和对接。 在一个ECS节点进行MRS Client安装，具体请参考集群外节点使用MRS客户端。本操作以MRS客户端安装路径为“/srv/client/”为例进行说明。 安装完成后执行如下命令导入MRS客户端环境变量bigdat
Spark Core企业级能力增强 配置Spark HA增强高可用 配置Spark事件队列大小 配置parquet表的压缩格式 使用Ranger时适配第三方JDK 使用Spark小文件合并工具说明 配置流式读取Spark Driver执行结果 父主题： 使用Spark2x（MRS
用户在“组件管理”页面修改任意组件的配置并重启服务后，连接impala-shell，会出现连接失败，报错no such file/directory。 原因分析 修改服务配置并重启服务后，部分服务的目录结构会删除并重新创建，如服务的etc目录等。如果重启服务前所在的目录为etc或者其子目录，由于重启
Spark Streaming企业级能力增强 配置Kafka后进先出 配置对接Kafka可靠性 父主题： 使用Spark2x（MRS 3.x及之后版本）
在Windows中调测程序HBase应用 编译并运行HBase应用 查看HBase应用调测结果 父主题： 调测HBase应用
介绍怎么把DWS数据仓库服务中的表数据导出到CSV文件，再把CSV文件数据导入到ClickHouse表中。 前提条件 ClickHouse集群和实例状态正常。 DWS集群已创建，已获取到相关表所在的数据库用户名和密码。 已安装MRS客户端，例如安装目录为“/opt/client”
CDL任务运行一段时间后，Yarn任务失败，并返回状态码“104”或“143”。下图为返回状态码“143”： 可能原因 抓取到Hudi中的一批数据量过大，导致任务内存不足。 处理步骤 登录FusionInsight Manager，选择“集群 > 服务 > CDL”，单击“CDLService UI”右侧的超链接进入CDLService
ALTER TABLE COMPACTION 命令功能 ALTER TABLE COMPACTION命令将合并指定数量的segment为一个segment。这将提高该表的查询性能。 命令格式 ALTER TABLE[db_name.]table_name COMPACT 'MIN
OUTER JOIN，表示以左表（nation）为基础返回左表所有的行及右表（region）中相匹配行的数据，若右表中没有匹配，则该行对应的右表的值为空。 右外连接：RIGHT JOIN或RIGHT OUTER JOIN，表示以右表（region）为基础返回右表所有的行及左表（nation
在Hive上执行SQL语句查询时，如果语句中存在“(a&b) or (a&c)”逻辑时，建议将逻辑改为“a & (b or c)”。 样例 假设条件a为“p_partkey = l_partkey”，优化前样例如下所示： select sum(l_extendedprice*
在Hive上执行SQL语句查询时，如果语句中存在“(a&b) or (a&c)”逻辑时，建议将逻辑改为“a & (b or c)”。 样例 假设条件a为“p_partkey = l_partkey”，优化前样例如下所示： select sum(l_extendedprice*
Spark Core 日志聚合下如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中，
Alluxio初始化 功能简介 在使用Alluxio提供的API之前，需要先进行Alluxio初始化操作。过程为： 加载HDFS服务配置文件。 实例化Filesystem。 使用HDFS的API。 代码样例 如下是代码片段，详细代码请参考ExampleClient类。 /** *
特殊字符组成。 table_blocksize 数据文件的block大小。更多详细信息，请参考•Block大小。 注意事项 db_name为可选项。 示例 create table productdb.productSalesTable(id int,price int,productName
使用序号指定加密列时，序号从0开始。0代表第1列，1代表第2列，依次类推。 创建列加密表时，表所在的目录必须是空目录。 使用insert语法向设置列加密的表中导入数据。 假设test表已存在且有数据： insert into table <table_name> select <col_list>
集群版本和运行的程序包版本不匹配。 处理步骤 参考运行Spark Streaming 对接Kafka0-10样例程序进行相关配置。 当前集群为MRS 2.1.0版本，请如需使用Maven库中的提供的样例程序，请获取spark-streaming-kafka-0-10_2.11-2.3
用户user_chen向HiveServer发起了show tables请求，客户端IP为192.168.1.18。 如下的MetaStore审计日志，表示在2016-01-29 11:31:15 用户hive向MetaStore发起shutdown请求，客户端ip为192.168.1.18。 在遇到诸如下述类问题时，需要查看审计日志：
修改节点主机名后导致MRS集群状态异常 问题现象 修改节点主机名后，MRS集群状态异常。 原因分析 修改节点hostname导致兼容性问题和故障。 处理步骤 以root用户登录集群的任意节点。 在集群节点中执行cat /etc/hosts命令，查看各个节点的hostname值，根
${username}/.Trash/current）中。 解决办法 使用skipTrash命令可以跳过HDFS回收站，直接删除。使用前先设置HDFS客户端配置项“dfs.client.skipTrash.enabled=true”。 以root用户登录集群任一Master节点。
distcp默认拷贝文件时不记录原block大小导致在原文件block.size不是128M时校验失败，需要在distcp命令增加-pb参数。 原因分析 HDFS在写的时候有设置块大小，默认128M，某些组件或者业务程序写入的文件可能不是128M，如8M。 <name>dfs.blocksize</name> <v
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
