检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理系统的数据,以便在系统故障时,恢复集群管理系统功能。 为进一步提供系统的可靠性,在将Manager、HBase上的数据备份到第三方服务器时,也需要通过手动备份。 节点可靠性 操作系统健康状态监控 周期采集操作系统硬件资源使用率数据,包括CPU、内存、硬盘、网络等资源的使用率状态。
“指定组别”:表示导出某个指定分组中的所有作业。选择“指定分组”,在分组列表中勾选需要导出的作业分组。 “是否导出密码”:导出时是否导出连接器密码,勾选时,导出加密后的密码串。 单击“确定”,开始导出作业。当弹出框中进度条显示100%,则说明作业导出完成。 父主题: 作业管理
es=10000 10000可以根据数据中脏数据的比例进行调整。 kafka_skip_broken_messages:Kafka消息解析器对每个块的架构不兼容消息的容忍度,默认值:0。 例如:kafka_skip_broken_messages = N,则引擎会跳过N条无法解析的Kafka消息。
高效率。 Hive用户对象 MRS提供了用户和角色来使用Hive,比如创建表、在表中插入数据或者查询表。Hive中定义了“USER”类,对应用户实例;定义了“GROUP”类,对应角色实例。 使用Manager设置Hive用户对象的权限,只支持在角色中设置,用户或用户组需要绑定角色
如果当前集群支持手动添加服务,也可以在首次添加HBase服务时,选择部署Thrift1Server实例,服务添加成功后,需重启Hue服务,详情请参考添加服务。 访问作业浏览器 访问Hue WebUI,请参考访问Hue WebUI界面。 单击HBase,进入“HBase Browser”页面。 新建HBase表 访问Hue
Hue”,单击“Hue WebUI”右侧的链接,进入Hue WebUI界面。 在界面左侧导航栏单击 ,选择“Workflow”,打开Workflow编辑器。 单击“文档”后的下拉框选择“操作”, 在操作列表中选择需要创建的作业类型,将其拖到操作界面中即可。 不同类型作业提交请参考以下章节: 使用Hue提交Oozie
可。 如果执行的Shell文件需要传递参数,可单击“参数+”设置参数。 传递参数的顺序需要和Shell脚本中保持一致。 单击Oozie编辑器右上角的。 保存前如果需要修改作业名称(默认为“My Workflow”),可以直接单击该名称进行修改,例如“Shell-Workflow”。
务的节点的IP地址。例如该配置项的值可设置为:root@x.x.x.x。 Ssh command:提交作业的具体命令。 单击Oozie编辑器右上角的。 保存前如果需要修改作业名称(默认为“My Workflow”),可以直接单击该名称进行修改,例如“Ssh-Workflow”。 保存完成后,单击,提交该作业。
Hue”,单击“Hue WebUI”右侧的链接,进入Hue WebUI界面。 在界面左侧导航栏单击 ,选择“Workflow”,打开Workflow编辑器。 单击“文档”后的下拉框选择“操作”, 在操作列表中选择需要创建的作业类型,将其拖到操作界面中即可。 不同类型作业提交请参考以下章节: 使用Hue提交Oozie
可。 如果执行的Shell文件需要传递参数,可单击“参数+”设置参数。 传递参数的顺序需要和Shell脚本中保持一致。 单击Oozie编辑器右上角的。 保存前如果需要修改作业名称(默认为“My Workflow”),可以直接单击该名称进行修改,例如“Shell-Workflow”。
务的节点的IP地址。例如该配置项的值可设置为:root@x.x.x.x。 Ssh command:提交作业的具体命令。 单击Oozie编辑器右上角的。 保存前如果需要修改作业名称(默认为“My Workflow”),可以直接单击该名称进行修改,例如“Ssh-Workflow”。 保存完成后,单击,提交该作业。
而完成本次数据操作。 为了提升数据操作的效率,HBase Client会在内存中缓存“hbase:meta”和用户表Region的信息,当应用程序发起下一次数据操作时,HBase Client会首先从内存中获取这些信息;当未在内存缓存中找到对应数据信息时,HBase Client会重复上述操作。
bigdata,{ECS_FLAVOR_NAME}可以为c3.4xlare.2等在MRS购买页可见的云服务器规格。实例规格详细说明请参见MRS所使用的弹性云服务器规格和MRS所使用的裸金属服务器规格。该参数建议从MRS控制台的集群创建页面获取对应区域对应版本所支持的规格。 约束限制: 不涉及
行创建和处理。 Stream Storm的关键抽象,是一个无边界的连续Tuple序列。 Topology 在Storm平台上运行的一个实时应用程序,由各个组件(Component)组成的一个DAG(Directed Acyclic Graph)。一个Topology可以并发地运行
yError -XX:HeapDumpPath=artifacts/heapdump default.schedule.mode 默认调度器的调度模式。目前支持两个值,具体值与含义如下: “AVERAGE”:使用按空闲Slot数目为优先级的调度机制 “RATE”:使用按空闲Slot比率为优先级的调度机制
其中“HostName”为故障告警的节点,“PartitionName”为故障磁盘的分区。 联系硬件工程师确认为磁盘硬件故障之后,将服务器上故障磁盘在线拔出。 拔出磁盘后系统会上报“ALM-12014 分区丢失”告警,参考ALM-12014 设备分区丢失(2.x及以前版本)进行处理,处理完成后,本告警即可自动消除。
在“资源分配”列表指定队列的“操作”列,单击“修改”。 修改资源分配。 Capacity调度器: “资源容量(%)”:表示当前租户计算资源使用的资源百分比。 “最大资源容量(%)”:表示当前租户计算资源使用的最大资源百分比。 Superior调度器: 在“修改资源分配”窗口的“资源配置策略”页签设置任务队列在此资源池中的资源配置策略。
1及之后版本: 根据实际情况配置“选择下载位置”参数。 服务器端:下载到当前集群的主OMS节点上。 浏览器:下载到本地电脑。 远端节点:下载到主OMS节点外的其他节点上。 根据界面提示配置“保存到如下路径”参数。如果下载位置选择“浏览器”则无需配置该参数。 如果选择下载到“远端节点”还需参考表1进行配置。
VARCHAR(32) ) WITH( 'connector' = 'jdbc', 'url' = 'jdbc:mysql://MySQL服务器IP:MySQL服务器端口/mysql', 'table-name' = 'customer_t1', 'username' = 'MySQL数据库用户名'
export”表示数据导出作业。 “-connectorType” 表示连接器类型,当“-u”的值为“y”时,必须配置。根据业务需要可修改外部数据源的部分参数。 指定参数值为“sftp”表示SFTP连接器。 在导入作业中,支持修改源文件的输入路径“-inputPath”、源文件的