检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
根据HiveServer的审计日志，确认该任务的开始时间和结束时间。 在上述时间区间内，查找是否有对同一张表或分区进行插入数据的操作。 Hive不支持对同一张表或分区进行并发数据插入，这样会导致多个任务操作同一个数据临时目录，一个任务将另一个任务的数据移走，导致任务失败。 解决办法 修改业务逻辑，单线程插入数据到同一张表或分区。
IDEA工具，同时完成JDK、Maven等初始配置。 准备本地应用开发环境 准备连接集群配置文件 应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，配置文件通常包括集群组件信息文件以及用于安全认证的用户文件，可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点，需要与
ClickHouse数据查询 数据查询规则 禁止select *查询 只查询需要的字段可以减少磁盘io和网络io，提升查询性能。 使用uniqCombined替代distinct uniqCombined对去重逻辑进行了优化，通过近似去重提升十倍查询性能，如果对查询允许有误差，可
HCatalog开发环境 为了运行Hive组件的HCatalog接口样例代码，需要完成下面的操作。 以在Windows环境下开发HCatalog方式连接Hive服务的应用程序为例。 操作步骤 参考获取MRS应用开发样例工程 获取Hive示例工程。 在Hive示例工程根目录，执行mvn install编译。
在MRS Manager页面查看审计日志，是否有相关操作的记录。 使用ping命令，查看IP是否可连通。 解决办法 如果ResourceManager出现异常，可参考相关告警章节查看解决方法。 如果客户端不是最新，请重新下载安装客户端。 若使用ping命令查看IP不通，需要协调网络管理相关人员协助排查网络。
选项通常会和-update配合使用，表示将源位置和目标位置的文件同步，删除掉目标位置多余的文件。 -diff <oldSnapshot> <newSnapshot> 将新旧版本之间的差异内容，拷贝到目标位置的旧版本文件中。 -skipcrccheck 是否跳过源文件和目标文件之间的CRC校验。
dfs”，其他盘的数据比较均衡。 原因分析 磁盘为卸载重装，有一个目录在上次卸载时未卸载干净，即添加的磁盘，未格式化，残留历史垃圾数据。 解决办法 手动清理未卸载干净的数据。 父主题： 使用HDFS
值为true或者false。可以设置数据库名和表名，使得该表的首次查询性能得到提升。 压缩配置 carbon.number.of.cores.while.compacting 2 在压缩过程中用于写入数据所使用的核数。配置的核数越大压缩性能越好。如果CPU资源充足可以增加此值。 carbon
创建用户信息表user_info。 在用户信息中新增用户的学历、职称信息。 根据用户编号查询用户姓名和地址。 A业务结束后，删除用户信息表。 表1 用户信息 编号 姓名 性别 年龄 地址 12005000201 A 男 19 A城市 12005000202 B 女 23 B城市 12005000203 C 男
的Decimal类型处理是不同的。 UPSERT操作时，Hudi使用Avro兼容的parquet文件写入类进行写入，这个和Spark的写入方式是不兼容的。 解决方案： 执行BULK_INSERT时指定设置“hoodie.datasource.write.row.writer.enable
对系统的影响 升级观察期禁止对用户、实例、角色、服务、主机、资源池等执行添加或删除等影响管理拓扑结构的操作。 可能原因 系统升级之后超过一定时间（默认为10天）未做升级提交。 处理步骤 查看系统是否处于升级观察期。 以root用户登录主管理节点，用户密码为安装前用户自定义，请咨询系统管理
SQL时如果Flink语法不兼容则可切换Hive方言 当前Flink支持的SQL语法解析引擎有default和Hive两种，第一种为Flink原生SQL语言，第二种是Hive SQL语言。因为部分Hive语法的DDL和DML无法用Flink SQL运行，所以遇到这种SQL可直接切换成Hive的dialect。使用Hive
yarn-session.sh 可以使用yarn-session.sh启动一个常驻的Flink集群，接受来自客户端提交的任务。启动一个有3个TaskManager实例的Flink集群示例如下： bin/yarn-session.sh yarn-session.sh的其他参数可以通过以下命令获取： bin/yarn-session
yarn-session.sh 可以使用yarn-session.sh启动一个常驻的Flink集群，接受来自客户端提交的任务。启动一个有3个TaskManager实例的Flink集群示例如下： bin/yarn-session.sh yarn-session.sh的其他参数可以通过以下命令获取： bin/yarn-session
yarn-session.sh 可以使用yarn-session.sh启动一个常驻的Flink集群，接受来自客户端提交的任务。启动一个有3个TaskManager实例的Flink集群示例如下： bin/yarn-session.sh yarn-session.sh的其他参数可以通过以下命令获取： bin/yarn-session
%。 是，执行8。 否，执行11。 数据倾斜，需要均衡集群中的数据。以root用户登录MRS客户端，用户密码为安装前用户自定义，请咨询系统管理员。如果集群为普通模式，执行su - omm切换到omm用户。执行cd命令进入客户端安装目录，然后执行source bigdata_env
orumpeer实例“ZooKeeper服务客户端资源连接状况”监控值分析，当规格不满足要求时，增大如上服务端参数配置值即可。 滚动重启3个节点耗时约15分钟 Guardian 直接重启 请求Guardian失败，任务拿不到访问OBS的aksk 直接重启耗时约5分钟 滚动重启 滚动重启无影响
pred/local等，不存在的目录会自动忽略。 JAVA开发时，申请资源须在finally释放 申请的HDFS资源需要在try/finally中释放，而不能只在try语句之外释放，否则会导致异常情况下的资源泄漏。 HDFS文件操作API概述 Hadoop中关于文件操作类基本上全部是在“org
2及之后版本支持该参数。 单击“确定”。 在弹出窗口输入当前登录用户密码验证身份，单击“确定”，在确认重启的对话框中单击“确定”。 如果重置LDAP账户密码需要重启ACS，操作步骤如下： 使用PuTTY，以omm用户登录主管理节点，执行以下命令更新域配置： sh ${BIGDAT
> 告警”，查看“告警ID”为“19034”的告警的“定位信息”中上报该告警的服务实例和主机名。 检查是否存在慢盘故障。 在FusionInsight Manager的告警列表中，查看1中的告警实例是否有“慢盘故障”或“磁盘不可用”告警产生。 是，执行3。 否，执行5。 参考“ALM-12033
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
