检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
编辑连接 在Loader页面，单击“管理连接”。 单击指定连接的名称，进入编辑页面。 根据业务需要，修改连接配置参数。 单击“测试”。 如果显示测试成功，则执行5；如果显示不能连接至OBS Server，则需要重复3。 单击“保存”。 如果某个Loader作业已集成一个Load
L查询接口，使得现有的第三方分析可视化系统可以轻松与它集成对接。 同时ClickHouse使用了关系模型，所以将构建在传统关系型数据库或数据仓库之上的系统迁移到ClickHouse的成本会变得更低。 数据分片与分布式查询 ClickHouse集群由1到多个分片组成，而每个分片则对
创建FlinkServer作业写入数据至ClickHouse表 本章节适用于MRS 3.1.2及之后的版本。 操作场景 Flink通过对接ClickHouse的ClickHouseBalancer实例进行读写，有效避免ClickHouse流量分发问题。FlinkSQL与ClickHouse数据类型对应关系如下表所示。
Access Protocol，简称为LDAP），为Kerberos认证提供用户和用户组数据保存能力。 方案架构 Hive是建立在Hadoop上的数据仓库框架，提供大数据平台批处理计算能力，能够对结构化/半结构化数据进行批量分析汇总完成数据计算。提供类似SQL的Hive Query Lan
AUTHORIZATION”区域的组件插件名称“OBS”，为hive用户组赋予OBS存储路径的“Read”和“Write”的权限，此时拥有hive组的用户均可以访问hive数据仓库路径。 例如，为“hive”用户组赋予“obs://hivetest/user/hive/warehouse/”目录的“Read”和“Write”的权限：
域相关参数，参数详情可参考创建HetuEngine计算实例章节或保持默认值即可。 创建计算实例时的默认配置只申请极少量的资源，仅供基本功能测试。用户需要根据实际业务需求和可用资源进行参数配置，可参考配置HetuEngine资源组和配置HetuEngine Worker节点数量。
创建CarbonData Table的建议 操作场景 本章节根据超过50个测试用例总结得出建议，帮助用户创建拥有更高查询性能的CarbonData表。 表1 CarbonData表中的列 Column name Data type Cardinality Attribution msname
address=5055,suspend=n,server=y，保存配置后重启相关实例。 调试Storm程序需要先修改指定的服务端参数，并在重启服务后生效，建议在测试环境上进行调测。 提交拓扑后，在Storm UI上进入到Topology界面，再单击进入要调试组件界面。 图1 进入拓扑的Component界面
当节点的实例规格选项后标示“已售罄”时，将无法购买此规格的节点，请选择其他规格节点进行购买。 Master节点中的4核8GB规格不在SLA售后范围内，仅适用于测试环境，不建议用于生产环境。 MRS 3.x及之后版本集群Master节点规格不能小于64GB。 - 系统盘 节点系统盘的存储类型和存储空间
“名称”输入作业的名称，“类型”选择“导出”即导出。 “连接”选择一个连接。默认没有已创建的连接，单击“添加”创建一个新的连接，完成后单击“测试”，测试是否可用，待提示成功后单击“确定”。 表1 连接配置参数一览表 连接器类型 参数名 说明 generic-jdbc-connector
创建高查询性能的CarbonData表 操作场景 本章节根据超过50个测试用例总结得出建议，帮助用户创建拥有更高查询性能的CarbonData表。 表1 CarbonData表中的列 Column name Data type Cardinality Attribution msname
address=5055,suspend=n,server=y，保存配置后重启相关实例。 调试Storm程序需要先修改指定的服务端参数，并在重启服务后生效，建议在测试环境上进行调测。 提交拓扑后，在Storm UI上进入到Topology界面，再单击进入要调试组件界面。 图1 进入拓扑的Component界面
“名称”输入作业的名称，“类型”选择“导入”。 “连接”选择一个连接。默认没有已创建的连接，单击“添加”创建一个新的连接，完成后单击“测试”，测试是否可用，待提示成功后单击“确定”。 MRS与外部数据源交换数据和文件时需要连接数据源，“连接”表示连接数据源时的连接参数集合。 表1
数据迁移 数据迁移方案介绍 数据迁移到MRS前信息收集 数据迁移到MRS前网络准备 使用CDM服务迁移Hadoop数据至MRS集群 使用CDM服务迁移HBase数据至MRS集群 使用CDM服务迁移Hive数据至MRS集群 使用BulkLoad工具向HBase中批量导入数据 使用CDM服务迁移MySQL数据至MRS
HetuEngine应用开发简介 HetuEngine简介 HetuEngine是华为自研高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合，实现海量数据秒级交互式查询；支持跨源跨域统一访问，使能数据湖内、湖间、湖仓一站式SQL融合分析。 HetuEngine基本概念
具有supergroup组权限的用户（普通集群跳过该步骤） 执行命令以下命令查看数据仓库目录权限是否为770： hdfs dfs -ls /tmp | grep hive-scratch 是，执行29。 否，执行27。 执行以下命令修复默认数据仓库权限： hdfs dfs -chmod 770 /tmp/hive-scratch
元数据导出 为了保持迁移后数据的属性及权限等信息在目标集群上与源集群一致，需要将源集群的元数据信息导出，以便在完成数据迁移后进行必要的元数据恢复。 需要导出的元数据包括HDFS文件属主/组及权限信息、Hive表描述信息。 HDFS元数据导出 HDFS数据需要导出的元数据信息包括文
查询Impala数据 功能简介 本小节介绍了如何使用Impala SQL对数据进行查询分析。从本节中可以掌握如下查询分析方法。 SELECT查询的常用特性，如JOIN等。 加载数据进指定分区。 如何使用Impala自带函数。 如何使用自定义函数进行查询分析，如何创建、定义自定义函数请见开发Impala用户自定义函数。
HetuEngine应用开发简介 HetuEngine简介 HetuEngine是华为自研高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合，实现海量数据秒级交互式查询；支持跨源跨域统一访问，使能数据湖内、湖间、湖仓一站式SQL融合分析。 HetuEngine基本概念 HSBroker：
Hive on Hue Hue提供了Hive图形化管理功能，使用户可以通过界面的方式查询Hive的不同数据。 查询编辑器使用介绍 访问Hue WebUI，请参考访问Hue WebUI界面。 在左侧导航栏单击编辑器，然后选择“Hive”，进入“Hive”。 执行Hive HQL语句
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
