检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
考如下表1。 表1 迁移任务参数说明 参数名 参数取值说明 任务名称 填写具体的任务名称。可由字母、数组及下划线组成,长度为1~50位,且不能与已有的迁移任务相同。 任务类型 定时任务:选择定时任务时,可以设置“开始时间”参数,设定任务在当前时间以后的某个时间点执行。 即时任务:任务启动后立即开始执行。
限,可以在“资源名称”的输入框输入列名称并设置列权限,也可以在表格中直接修改列的权限。若在表格中修改了列权限,又同时增加了同名的列权限,则无法保存。角色修改列权限,建议直接修改列的权限。支持搜索功能。 单击“确定”完成,返回“角色”。 父主题: 使用HBase
您还可以勾选一个或多个作业,单击作业列表右上方的“删除作业”。 在弹出的对话框窗口,单击“是,将其删除”。 如果某个Loader作业正处于“运行中”的状态,则无法删除作业。 父主题: 使用Loader
产生告警的角色名称。 主机名 产生告警的主机名。 Unhealthy Host 不健康节点的主机列表。 对系统的影响 故障的NodeManager节点无法提供Yarn服务。 容器减少,集群性能下降。 可能原因 NodeManager节点所在主机的硬盘空间不足。 NodeManager节点本地目录omm用户无访问权限。
(a+b)。 不支持aggregate运算,如:sum(a)+min(b)。 注意事项 外部数据源是Hive的场景,通过Spark建的外表无法进行查询。 数据源只支持MySQL和MPPDB。 父主题: Spark
根据用户业务判断,是否存在下游消费Topic中消息较慢的情况。 是,执行9。 否,执行10。 根据实际情况分析下游作业导致Topic中消息不能及时、快速消费的原因,增强下游消费Topic中消息的能力。等待5分钟,查看当前告警是否清除。 是,操作结束。 否,执行10。 收集故障信息。
作业ID列表。获取方法,请参见获取作业ID。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 响应参数 无 请求示例 批量删除作业请求示例 POST https://{endpoint}/v2/{project_id}/clusters/{cluster_id}/job-executions/batch-delete
过1MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>_<编号>.gz”。最多保留最近的20个压缩文件。 日志归档规则用户不能修改。 表1 DBService日志列表 日志类型 日志文件名 描述 DBServer运行相关日志 dbservice_serviceCheck
Policy”,添加Yarn权限控制策略。 根据业务需求配置相关参数。 表1 Yarn权限参数 参数名称 描述 Policy Name 策略名称,可自定义,不能与本服务内其他策略名称重复。 Policy Conditions IP过滤策略,可自定义,配置当前策略适用的主机节点,可填写一个或多个IP
Join时需要注意小表不能过大,如果小表将内存基本用尽,会使整个系统性能下降甚至出现内存溢出的异常。 Sort Merge Bucket Map Join 使用Sort Merge Bucket Map Join必须满足以下2个条件: join的两张表都很大,内存中无法存放。 两张表都按照join
> 告警”,选中“告警ID”为“50232”的告警,查看“附加信息”中的“db”和“table”。如果较大的Tablet较多,在附加信息中不能完全显示相关信息,可在Master FE节点的日志文件“${BIGDATA_LOG_HOME}/nodeagent/monitorlog/pluginmonitor
Policy”,添加Yarn权限控制策略。 根据业务需求配置相关参数。 表1 Yarn权限参数 参数名称 描述 Policy Name 策略名称,可自定义,不能与本服务内其他策略名称重复。 Policy Conditions IP过滤策略,可自定义,配置当前策略适用的主机节点,可填写一个或多个IP
过1MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>_<编号>.gz”。最多保留最近的20个压缩文件。 日志归档规则用户不能修改。 表1 DBService日志列表 日志类型 日志文件名 描述 DBServer运行相关日志 dbservice_serviceCheck
图1中各模块的说明如表1所示: 表1 业务模块说明 模块名称 描述 Web Service 是一个部署在Tomcat下的Web服务,提供Manager的https接口,用于通过浏览器访问Manager。同时还提供基于Syslog和SNMP协议的北向接入能力。 OMS 操作维护系统的管理节点,OMS节点一般有两个,互为主备。
Join时需要注意小表不能过大,如果小表将内存基本用尽,会使整个系统性能下降甚至出现内存溢出的异常。 Sort Merge Bucket Map Join 使用Sort Merge Bucket Map Join必须满足以下2个条件: join的两张表都很大,内存中无法存放。 两张表都按照join
合压缩算法压缩数据,可以减少60%~80%数据存储空间,大大节省硬件存储成本。 关于CarbonData的架构和详细原理介绍,请参见:https://carbondata.apache.org/。 父主题: 组件介绍
保存配置,并重启该ResourceManager实例。 重启主ResourceManager实例,会发生ResourceManager实例主备倒换,倒换过程中,Yarn无法提交新作业,已提交的作业不受影响。Yarn组件以及依赖Yarn的组件会出现短暂的服务不可用告警。 重启备ResourceManager实例,服务业务不受影响。
主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 可能导致上层服务无法连接DBService的数据库,影响正常业务。 可能原因 数据库连接数使用过多。 数据库连接数最大值设置不合理。 告警阈值配置或者平滑次数配置不合理。
二级索引表使用hive注册,并以json格式的值存储在HiveSERDEPROPERTIES中。由hive支持的SERDEPROPERTIES的最大字符数为4000个字符,无法更改。 父主题: 使用CarbonData(MRS 3.x及之后版本)
群的密码策略,为保证系统安全,建议集群升级后及时修改密码。 对系统的影响 MRS 2.x及之前版本,修改密码需要重启全部服务,服务在重启时无法访问。 MRS 3.1.0版本集群: 修改LdapServer服务的用户密码为高危操作,需要重启KrbServer和LdapServer服