检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
产生告警的角色名称。 HostName 产生告警的主机名。 TaskName 任务名称。 对系统的影响 周期备份任务失败,可能会导致长时间没有可用的备份包,在系统出现异常时,无法恢复。 可能原因 该告警产生原因依赖于该任务的详细情况,直接获取日志和任务详情来处理该告警。 处理步骤 查看磁盘空间是否不足
Spark的表管理层次如图1所示,最底层是Spark的临时表,存储着使用DataSource方式的临时表,在这一个层面中没有数据库的概念,因此对于这种类型表,表名在各个数据库中都是可见的。 上层为Hive的MetaStore,该层有了各个DB之分。在每个DB中,又有Hive的临时表与
系统将自动显示数据库中的所有表。可以输入表名关键字,系统会自动搜索包含此关键字的全部表。 图1 选择数据库 单击指定的表名,可以显示表中所有的列。 光标移动到表所在的行,单击 可以查看列的详细信息。 在SparkSql语句编辑区输入查询语句。 单击后的三角并选择“解释”,编辑器将
参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 数据目录名称 Kafka磁盘IO频繁的数据目录名称 对系统的影响 Partition所在的磁盘分区IO过于繁忙,产生告警的Kafka Topic上可能无法写入数据。
1.7及其以后版本中使用的索引与以前MRS版本中HBase使用的二级索引都不兼容。因此,为了将索引数据从以前的版本(MRS 1.5及其以前版本)迁移到MRS 1.7及其以后版本,需要遵循以下步骤。 前提条件 迁移数据时旧版本集群应为MRS1.5及其以前的版本,新版本集群应为MRS1
完成Loader客户端的安装。使用非root用户安装Loader客户端时,如果其他用户也需要使用该客户端,则需要当前客户端的安装用户或者其他拥有更大权限的用户进行授权(将loader客户端的安装目录赋予“755”权限),请用户关注授权后的安全问题。 创建访问Loader服务的用户,如果是“机机”用户需要下载keytab文件。
执行和管理HiveQL语句。 在“保存的查询”中查看当前访问用户已保存的HiveQL语句。 在“查询历史记录”中查看当前访问用户执行过的HiveQL语句。 执行HiveQL语句 在“Database”右侧下拉列表选择一个Hive中的数据库,默认数据库为“default”。 系统将自动显示数据库中的所有表。可
stderr/stdin/syslog Yarn服务上运行的应用所对应的container日志。 yarn-application-check.log Yarn服务上运行的应用检查日志。 yarn-appsummary.log Yarn服务上运行的应用的运行结果日志。 yarn-switch-resourcemanager
_64版本的“egg”文件,需要根据操作系统选取其中一个版本安装即可,使用uname -p命令确认当前操作系统架构。 MRS 3.2.0及之后版本,使用对应的easy_install命令,安装dependency_python3.x文件夹下的egg文件,egg文件存在依赖关系,可使用通配符安装,如:
节点可使用的CPU、I/O和内存总量。 实现服务级别的资源隔离,可将集群中的服务与其他服务隔离,使一个服务上的负载对其他服务产生的影响有限。 调度机制简介 静态服务资源支持基于时间的动态调度机制,可以在不同时间段为服务配置不同的资源量,优化客户业务运行环境,提高集群的效率。 在一
kafkasource; 创建的cksink表中username、password参数填写的用户为具有ClickHouse相应表权限的用户及密码,详见创建ClickHouse角色。 Kafka端口号: 集群的“认证模式”为“安全模式”时为“sasl.port”的值,默认为“21007”。 集群的“认证模
_64版本的“egg”文件,需要根据操作系统选取其中一个版本安装即可,使用uname -p命令确认当前操作系统架构。 MRS 3.2.0及之后版本,使用对应的easy_install命令,安装dependency_python3.x文件夹下的egg文件,egg文件存在依赖关系,可使用通配符安装,如:
用户将所有历史数据加载到CarbonData,此数据的一个segment的大小假定为500GB。 用户设置major compaction参数的阈值:“carbon.major.compaction.size” = “491520(480gb * 1024)”。其中,491520可配置。 运行major comp
参数 描述 CARBON TABLE 在其中执行删除操作的CarbonData表的名称。 注意事项 删除segment将删除相应segment的所有二级索引。 如果查询的表设置了carbon.input.segments属性,则DELETE操作失败。要解决该问题,在查询前执行以下语句。
'url' = 'jdbc:mysql://MySQL的服务器IP:MySQL的服务器端口/mysql', 'table-name' = 'customer_t1', 'username' = 'username', --连接MySQL数据库的用户名 'password'
法登录MRS Manager。 可能原因 Okerberos依赖的OLdap资源异常。 处理步骤 检查Manager中的OKerberos依赖的OLdap资源是否异常。 登录主管理节点。 执行以下命令,查询当前HA管理的OLdap资源状态是否正常。 sh ${BIGDATA_HO
运行MRS作业时如何读取OBS加密数据 MRS 1.9.x支持使用OBS文件系统中加密后的数据来运行作业,同时支持将加密后的作业运行结果存储在OBS文件系统中。目前仅支持通过OBS协议访问数据。 OBS支持使用KMS密钥的加解密方式对数据进行加解密,所有的加解密操作都在OBS完成,同时密钥管理在DEW服务。
开发环境:Windows系统,支持Windows7以上版本。 运行环境:Windows系统或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。版本要求如下: 服务端和客户端仅支持自带的OpenJDK,版本为1.8.0_272,不允许替换。
Metastore元数据JDBC链接的URL。 外置MySQL,则值为: jdbc:mysql://MySQL的IP:MySQL的端口/test?characterEncoding=utf-8 外置Postgres,则值为: jdbc:postgresql://Postgres的IP:Postgres的端口号/test
查看Flink应用运行结果 Flink应用程序运行完成后,您可以查看运行结果数据,也可以通过Flink WebUI查看应用程序运行情况。 操作步骤 查看Flink应用运行结果数据。 当用户查看执行结果时,需要在Flink的web页面上查看Task Manager的Stdout日志。