检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Apache HDFS时,建议使用的版本为2.8.X、3.1.X,请执行搬迁前务必确认是否支持搬迁。 方案架构 CDM围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高您数据迁移和集成的效率。
配置Spark HA增强高可用 配置多主实例模式 配置Spark多租户模式 配置多主实例与多租户模式切换 父主题: Spark Core企业级能力增强
配置Spark HA增强高可用 配置多主实例模式 配置Spark多租户模式 配置多主实例与多租户模式切换 父主题: Spark Core企业级能力增强
将元数据存储于关联的数据库。 约束限制: 不涉及 availability_zone 是 String 参数解释: 可用分区名称,不支持多AZ集群。可用分区信息请参见终端节点。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 security_groups_id 否
> 全部配置 > NodeManager > 系统”。对NodeManager的内存参数“GC_OPTS”进行调整,并单击“保存”,在弹出的对话框中单击“确定”并重启角色实例。 NodeManager重启过程中,提交到该节点的Container可能会重试到其他节点。 集群中的Nod
IDEA开发环境中。 在IntelliJ IDEA的菜单栏中,选择“File > Open...”,显示“Open File or Project”对话框。 在弹出窗口选择文件夹“hive-rest-client-example”,单击“OK”。Windows下要求该文件夹的完整路径不包含空格。
IDEA开发环境中。 在IntelliJ IDEA的菜单栏中,选择“File > Open...”,显示“Open File or Project”对话框。 在弹出窗口选择文件夹“hive-jdbc-example”,单击“OK”。Windows下要求该文件夹的完整路径不包含空格。 设置IntelliJ
”。 删除作业 访问Loader页面。 在指定作业所在行,单击。 您还可以勾选一个或多个作业,单击作业列表右上方的“删除作业”。 在弹出的对话框窗口,单击“是,将其删除”。 如果某个Loader作业正处于“运行中”的状态,则无法删除作业。 父主题: 使用Loader
Manager。 单击主页上的或者“更多”,单击“重启”,重启集群。 在弹出窗口中,输入当前登录的用户密码确认身份,单击“确定”。 在确认重启的对话框中,单击“确定”。 等待界面提示重启成功。 修改MRS集群组件运行用户密码(MRS 2.x及之前版本) 登录Master1节点。 (可选
双击指定的输入算子(例如CSV文件输入)进入编辑页面,在输入字段的参数表格添加相应配置信息。 双击指定的输出算子(例如文件输出)进入编辑页面,单击“关联”,并在弹出的“关联”对话框中勾选需要的字段信息。 在输出算子的字段表格里面已存在名称的字段信息,不会在“关联”窗口显示。 用户也可在“字段名”的列表中选择需要字段
Project from Existing Sources”。 在显示的“Select File or Directory to Import”对话框中,选择“clickhouse-examples”文件夹中的“pom.xml”文件,单击“OK”。 确认后续配置,单击“Next”;如无特殊需求,使用默认值即可。
Project from Existing Sources”。 在显示的“Select File or Directory to Import”对话框中,选择“clickhouse-examples”文件夹中的“pom.xml”文件,单击“OK”。 确认后续配置,单击“Next”,如无特殊需求,相关配置使用默认值即可。
据仓库进行OLAP分析。当前ClickHouse被广泛的应用于互联网广告、App和Web流量、电信、金融、物联网等众多领域,非常适用于商业智能化应用场景,在全球有大量的应用和实践,具体请参考:https://clickhouse.tech/docs/en/introduction/adopters/。
管理MRS集群租户 MRS多租户简介 MRS多租户使用流程 配置MRS租户 管理MRS租户资源 切换MRS租户资源调度器 父主题: 管理MRS集群
检查Kafka数据规划。 选择上报告警实例主机名对应的角色“Broker”。单击图表区域右上角的下拉菜单,选择“定制”,来自定义监控项。 在弹出的“定制”对话框中,选择“磁盘 > Broker磁盘使用率”,并单击“确定”。 关于Kafka磁盘使用情况信息会被显示。 图1 Broker磁盘使用率
Spark2x HA方案介绍 Spark2x多主实例 Spark2x多租户 父主题: Spark2x
HBase数据读写示例安全认证(单集群场景) HBase服务数据读写示例安全认证(多集群互信场景) 调用REST接口访问HBase应用安全认证 访问HBase ThriftServer认证 HBase访问多ZooKeeper场景安全认证 调用SpringBoot接口访问HBase/Phoenix应用安全认证
在白天HBase查询服务的业务多。 在晚上查询服务的业务少而Hive分析服务业务多。 如果只给每个服务设置固定的资源可能会导致: 白天查询服务的资源不够用,分析服务的资源空闲。 晚上分析服务的资源不够用,查询服务的资源空闲。 集群资源利用率不高,而且服务能力也打了折扣。因此: 白天多配置HBase服务资源。
HBase数据读写示例安全认证(单集群场景) HBase服务数据读写示例安全认证(多集群互信场景) 调用REST接口访问HBase应用安全认证 访问HBase ThriftServer安全认证 HBase访问多ZooKeeper场景安全认证 父主题: 准备HBase应用开发环境
全部配置”搜索并修改参数“KAFKA_JMX_IP”的值为“${BROKER_IP}”。 图1 修改Kafka参数 修改完成后,单击左上方“保存”,在弹出的对话框中单击“确定”保存配置。 单击“概览”页签,选择右上方“更多 > 重启服务”重启Kafka服务。 以root用户登录集群主节点,将获取到