检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Linux环境中调测ClickHouse应用(MRS 3.3.0及之后版本) ClickHouse应用程序支持在Linux环境中运行。在程序代码完成开发后,您可以上传Jar包至准备好的Linux运行环境中运行。 前提条件 Linux环境已安装JDK,版本号需要和IntelliJ
准备本地应用开发环境 准备开发环境 在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,推荐Windows 7以上版本。 运行环境:Windows或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。
Flink DataStream样例程序(Java) 功能介绍 统计连续网购时间超过2个小时的女性网民信息,将统计结果直接打印。 DataStream FlinkStreamJavaExample代码样例 下面代码片段仅为演示,具体代码参见com.huawei.bigdata.flink
通过JDBC方式实现查询HetuEngine SQL任务 功能简介 通过JDBC连接方式,组装对应的SQL发送到HetuServer执行,并能查询对应的SQL语句执行进度和状态。 import io.XXX.jdbc.XXXResultSet; import java.sql.Connection;
CarbonData CarbonData是一种新型的Apache Hadoop本地文件格式,使用先进的列式存储、索引、压缩和编码技术,以提高计算效率,有助于加速超过PB数量级的数据查询,可用于更快的交互查询。同时,CarbonData也是一种将数据源与Spark集成的高性能分析引擎。
Spark同步HBase数据到CarbonData开发思路 场景说明 数据实时写入HBase,用于点查业务,数据每隔一段时间批量同步到CarbonData表中,用于分析型查询业务。 数据规划 运行样例程序前,需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark
FlinkIoTDBSource样例程序 功能简介 IoTDB与Flink的集成。此模块包含了iotdb source,通过flink job将时序数据从IoTDB读取出来并且打印。 代码样例 该示例演示了Flink job 如何从IoTDB server读取时序数据的场景: Flink使用IoTDBSource从
HDFS客户端使用实践 操作场景 该任务指导用户在运维场景或业务场景中使用HDFS客户端。 前提条件 已安装客户端。 例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下,“
管理Loader作业 操作场景 Loader页面支持创建、查看、编辑和删除作业。 本章节适用于MRS 3.x之前版本。 前提条件 已访问Loader页面,参见Loader页面介绍。 创建作业 访问Loader页面,单击“新建作业”。 在“基本信息”填写参数。 在“名称”填写一个作业的名称。
添加IoTDB数据源 本章节适用于MRS 3.2.0及之后的版本。 本章节指导用户在安全模式集群的HSConsole界面添加IoTDB类型的JDBC数据源。 添加IoTDB数据源前提条件 数据源所在集群域名与HetuEngine集群域名不能相同。 数据源所在集群与HetuEngine集群节点网络互通。
配置HetuEngine Worker节点数量 配置HetuEngine Worker节点数量说明 在HetuEngine的WebUI界面,可以对计算实例的Worker节点个数进行调整,实现计算实例在资源不够时扩充资源,资源空闲时释放资源。其中包含手动扩缩容和自动扩缩容两种方式进行Worker个数调整。
配置MRS集群用户的OBS的细粒度访问权限 开启细粒度权限时,用户通过该指导配置访问OBS权限,实现MRS用户对OBS文件系统下的目录权限控制。 该章节内容不适用于MRS 1.9.2版本。 如需对MRS的用户访问OBS的资源进行详细控制,可通过该功能实现。例如,您只允许用户组A访
准备本地应用开发环境 准备开发环境 在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,推荐Windows 7以上版本。 运行环境:Windows或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。
快速使用Hive进行数据分析 Hive是基于Hadoop的一个数据仓库工具,可将结构化的数据文件映射成一张数据库表,并提供类SQL的功能对数据进行分析处理,通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。 背景信息
功能丰富:CQL除了包含标准SQL的各类基本表达式等功能之外,还特别针对流处理场景增加了窗口、过滤、并发度设置等功能。 易于扩展:CQL提供了拓展接口,以支持日益复杂的业务场景,用户可以自定义输入、输出、序列化、反序列化等功能来满足特定的业务场景 易于调试:CQL提供了详细的异常码说明,降低了用户对各种错误的处理难度。
在“任务名称”填写备份任务的名称。 在“备份对象”选择待操作的集群。 在“备份类型”选择备份任务的运行类型。 “周期备份”表示按周期自动执行备份,“手动备份”表示由手工执行备份。 表1 周期备份参数 参数 示例 参数说明 开始时间 2024/11/22 10:29:11 任务第一次启动的时间。 周期 1天
行的备份路径信息,查找以下信息: “备份对象”表示备份的数据源。 “备份路径”表示备份文件保存的完整路径。 选择正确的项目,在“备份路径”手工选中备份文件的完整路径并复制。 在FusionInsight Manager,选择“运维 > 备份恢复 > 恢复管理”。 单击“创建”。 在“任务名称”填写恢复任务的名称。
在“任务名称”填写备份任务的名称。 在“备份对象”选择待操作的集群。 在“备份类型”选择备份任务的运行类型。 “周期备份”表示按周期自动执行备份,“手动备份”表示由手工执行备份。 表1 周期备份参数 参数 示例 参数说明 开始时间 2024/11/22 10:29:11 任务第一次启动的时间。 周期 1天
在“任务名称”填写备份任务的名称。 在“备份对象”选择待操作的集群。 在“备份类型”选择备份任务的运行类型,“周期备份”表示按周期自动执行备份,“手动备份”表示由手工执行备份。 创建周期备份任务,还需要填写以下参数: “开始时间”:表示任务第一次启动的时间。 “周期”:表示任务下次启动,与上一次运行的时间间隔,支持按“小时”或按“天”。
创建CDL数据库连接 操作场景 通过CDLService WebUI创建数据库连接时,可参考该章节进行CDL作业编排。 前提条件 已获取待连接数据对应的驱动Jar包并上传。 开启Kerberos认证的集群需已参考CDL用户权限管理创建具有CDL管理操作权限的用户。 操作步骤 使用