检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用oracle-connector时,要求给连接用户赋予如下系统表或者视图的select权限: dba_tab_partitions、dba_constraints、dba_tables 、dba_segments 、v$version、dba_objects、v$instance、SYS_CO
linux-175): org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=36, exceptions: Tue Dec 15 02:41:14 CST 2015, null
clickhouse-ugsync is not exit.”,执行3。 若附加信息为“Process clickhouse-ugsync sync user failed.”,执行6。 根据告警详情中涉及的主机名,以omm用户登录到异常的主机节点,执行如下命令,查看ClickHouse用户角色同步进程是否正常:
Manager解决周期备份失败问题 MRS大数据组件 Ranger的私有patch 解决Yarn出现JVM Create GC thread failed问题 新增Hiveserver2 任务堆积告警 新增Hiveserver HiveMetastore GC时间超过5s告警 新增HiveServer2
解决Hudi删除外表之后重建报错的问题 解决Hive查询Hudi特殊场景下失败的问题 [Hidden partitioning] Fix Job fails for non-partitioned table for streaming read 解决Flink on hudi模块存在默认密码硬编码的问题
linux-175): org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=36, exceptions: Tue Dec 15 02:41:14 CST 2015, null
Code: 516, e.displayText() = DB::Exception: default: Authentication failed: password is incorrect or there is no user with such name, Stack trace
TBL_NAME varchar NOT NULL, CUR_VER_FLAG tinyint DEFAULT '0' NOT NULL, CONSTRAINT PK_T_RTD_TBL_CUR_VER_INFO PRIMARY KEY (TBL_NAME) ); 设置作业基本信息 登录“Loader
存放Spark2x cli方式运行metastore session临时文件 否 任务运行失败 /tmp/logs/ 固定目录 存放container日志文件 是 container日志不可查看 /tmp/carbon/ 固定目录 数据导入过程中,如果存在异常CarbonData数据,则将异常数据放在此目录下
s/map-reduce Java任务 客户端安装目录/Oozie/oozie-client-*/examples/apps/java-main Shell任务 客户端安装目录/Oozie/oozie-client-*/examples/apps/shell Streaming任务
否,执行5。 运行命令service named stop将DNS服务停掉,如果出现“Shutting down name server BIND waiting for named to shut down (28s)”结果,即说明DNS服务停止成功。然后将“/etc/resolv.conf”文件的内容(若不为空)全部注释。
运行Spark任务时需要的环境变量,如果当前无可用的ENV,则需先参考管理CDL ENV变量进行创建。 dc_env Desc 描述信息 - 在“创建Compare-Pair”界面参照下表进行参数设置,并单击“创建”。 参数名称 说明 示例 Name 当前比对任务名。 test Source Table 源端表名。
集群在线扩缩容 大数据集群的处理能力通常可以通过增加集群的节点数来横向扩展,当集群规模不符合业务要求时,用户可以通过该功能进行集群节点规模的调整,进行扩容或者缩容;在缩容节点时,MRS会智能地选择负载最少或者迁移数据量最小节点,并且在缩容过程中,缩容节点不再接收新的任务,正在执行
需要确保数据保留的时间超过最大查询执行时间。 KEEP_LATEST_COMMITS hoodie.cleaner.commits.retained 保留的提交数。因此,数据将保留为num_of_commits * time_between_commits(计划的),这也直接转化为逐步提取此数据集的数量。
的HiveServerAudit日志,下载的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟。打开日志文件查找“Result=FAIL”关键字筛选执行错误语句的日志信息,再根据日志信息中的“UserName”查看执行错误语句的用户。 输入正确的HQL语句,观察命令是否正确执行。
下一个Agent异常,Channel可以持久化数据,Agent恢复后再传输。Flume的可用性则基于内建的Load Balancing和Failover机制。Channel及Agent都可以配多个实体,实体之间可以使用负载分担等策略。每个Agent为一个JVM进程,同一台服务器可
为满足企业需求,克服YARN社区在调度上遇到的挑战与困难,华为自主研发的Superior调度器,不仅集合了当前Capacity调度器与Fair调度器的优点,还做了以下增强: 增强资源共享策略 Superior调度器支持队列层级,在同集群集成开源调度器的特性,并基于可配置策略进一
s/map-reduce Java任务 客户端安装目录/Oozie/oozie-client-*/examples/apps/java-main Shell任务 客户端安装目录/Oozie/oozie-client-*/examples/apps/shell Streaming任务
选择处于非“良好”状态的NodeManager实例并重启该实例。检查该告警是否恢复。 NodeManager重启过程中,提交到该节点的Container可能会重试到其他节点。 是,处理完毕。 否,执行11。 检查网络状态。 登录管理节点,ping丢失的NodeManager节点的IP
cn-north-4.myhuaweicloud.com/mrs-demon-samples/demon/detail-records.zip获取Spark样例数据到本地。 将下载的“detail-records.zip”解压,获取图3所示的样例数据。 图3 样例数据 进入“input”文件夹