检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在MRS Manager界面,单击“系统设置 > 日志导出”。 在“服务”下拉框中勾选如下节点信息,单击“确定”。 Hue Controller 设置日志收集的“开始时间”和“结束时间”分别为产生告警的前后10分钟,选择导出类型,单击“确定”,收集对应的故障日志信息。 Hue重新启动。
应用的Spark节点中。生成Jar包的操作步骤请参见在Linux环境中调测Spark应用章节。 SparkLauncher程序的编译依赖包为spark-launcher_2.12-3.1.1-hw-ei-311001-SNAPSHOT.jar,请从软件发布包中Software文件
配置文件还需参考准备ThriftServer实例配置文件获取。 复制解压目录下的“hosts”文件中的内容到本地hosts文件中。 在应用开发过程中,如需在本地Windows系统中调测应用程序,需要确保本地节点能与“hosts”文件中所列出的各主机在网络上互通。 如果当前节点与M
使用CDM服务迁移HBase数据至MRS集群 应用场景 本章节适用于将线下IDC机房或者公有云HBase集群中的数据(支持数据量在几十TB级别或以下的数据量级)迁移到华为云MRS服务。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移为例介绍。不同版本操作可能有差
配置ClickHouse对接OBS源文件 同步Kafka数据至ClickHouse 导入DWS表数据至ClickHouse ClickHouse数据导入导出 父主题: 使用ClickHouse
管理FlinkServer作业 查看FlinkServer作业健康状况 导入导出FlinkServer作业信息 配置FlinkServer作业运行残留信息自动清理 配置FlinkServer作业重启策略 配置FlinkServer作业中添加第三方依赖jar 配置FlinkServer作业中使用UDF
配置HetuEngine Worker节点数量 配置HetuEngine维护实例 配置HetuEngine Coordinator运行的节点范围 导入导出HetuEngine计算实例配置 查看HetuEngine实例监控页面 查看HetuEngine Coordinator和Worker日志
业、按分组导出作业等操作。 是否定时执行:如果需要配置作业定时自动执行,请参见配置定时任务。这里保持默认值“否”。 抽取并发数:设置同时执行的抽取任务数。这里保持默认值“1”。 是否写入脏数据:如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中,以便后面查
管理Loader作业 批量迁移Loader作业 批量删除Loader作业 批量导入Loader作业 批量导出Loader作业 查看Loader作业历史信息 清理Loader作业残留历史数据 管理Loader数据连接 父主题: 使用Loader
解决集群扩容task节点,managr中的主机列表中的host无impala实例信息问题 解决HUE页面无法访问问题 解决hue导出excel导致临时目录残留文件问题 安装完成后必须的手动操作 请参考安装完成后必须的手动操作。 补丁兼容关系 MRS 3.1.0.0.1补丁包中已包含所有MRS 3.1
同步Kafka数据至ClickHouse 导入DWS表数据至ClickHouse ClickHouse数据批量导入 ClickHouse数据导入导出 父主题: 使用ClickHouse
查看组件监控。 单击列表中指定服务名称,可查看服务状态及指标信息。 定制、导出监控图表。 在“图表”区域框中,单击中的“定制”自定义服务监控指标。 在“时间区间”选择查询时间,显示该时间段内的监控数据,单击中“导出”,导出当前查看的指标数据。 查看角色实例监控。 单击服务指定名称。 单击“实例”,查看角色状态。
集群创建需要时间,所创集群的初始状态为“启动中”,创建成功后状态更新为“运行中”,请您耐心等待。 步骤2:准备样例程序和数据 创建OBS并行文件系统,用于存放Spark样例程序、样例数据、作业执行结果和日志。 登录华为云管理控制台。 在“服务列表”中,选择“存储 > 对象存储服务”。 单击“并行文件系统
MRS支持数据存储加密,所有用户账号密码加密存储,数据通道加密传输,服务模块跨信任区的数据访问支持双向证书认证等能力。 MRS大数据集群提供了完整的企业级大数据多租户解决方案。多租户是MRS大数据集群中的多个资源集合(每个资源集合是一个租户),具有分配和调度资源(资源包括计算资源和存储资源)
从HDFS/OBS导出数据到关系型数据库,可以不用配置数据转换,数据将按“,”分隔保存到关系型数据库。 算子简介 Loader算子包括以下类型: 输入算子 数据转换的第一步,负责将数据转换成字段,每次转换有且只能有一种输入算子,涉及HBase或Hive导入导出时,必须填写。 转换算子
从HDFS/OBS导出数据到关系型数据库,可以不用配置数据转换,数据将按“,”分隔保存到关系型数据库。 算子简介 Loader算子包括以下类型: 输入算子 数据转换的第一步,负责将数据转换成字段,每次转换有且只能有一种输入算子,涉及HBase或Hive导入导出时,必须填写。 转换算子
冲区用于接收子分区中的飞行中数据,1个缓冲区用于并行序列化。 2 否 taskmanager.network.memory.floating-buffers-per-gate 每个输出/输入门(结果分区/输入门)使用的额外网络缓冲区数。在基于信用的流量控制模式中,这表示在所有输入
x及之后版本) Loader作业源连接配置说明 Loader作业目的连接配置说明 管理Loader作业 准备MySQL数据库连接的驱动 数据导入 数据导出 作业管理 算子帮助 客户端工具说明 Loader日志介绍 样例:通过Loader将数据从OBS导入HDFS Loader常见问题
使用CDM服务迁移Hadoop数据至MRS集群 应用场景 本章节适用于将线下IDC机房或者公有云Hadoop集群中的数据(支持数据量在几十TB级别或以下的数据量级)迁移到华为云MRS服务。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移为例介绍。不同版本操作可能
通过管理控制台查看集群事件 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 选择“告警管理 > 事件”查看事件信息。 单击“全部导出”。在弹框内选择保存类型,单击“确定”可导出事件。 通过Manager查看集群事件 MRS 3.x及之后版本: 登录FusionInsight