检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备ClickHouse应用开发和运行环境 根据场景开发工程 提供样例工程,帮助用户快速了解ClickHouse各部件的编程接口。 导入并配置ClickHouse样例工程 运行程序及查询结果 用户可以直接通过运行结果查看应用程序运行情况。 在本地Windows环境中调测ClickHouse应用(MRS
job_execution_id 是 String 参数解释: 作业ID。获取方法,请参见获取作业ID。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。 约束限制: 不涉及 取值范围: 只能由
应缓慢,导致FusionInsight健康检查认为NodeManager进程退出,强制重启NodeManager,导致上述问题产生。 解决方法: 调整NodeManager的内存,数据量比较大(1T以上)的情况下,NodeManager的内存至少在4G以上。 父主题: Spark
集群购买成功后,在MRS集群的任一节点内,安装集群客户端,具体操作可参考安装并使用集群客户端。 例如客户端安装在主管理节点中,安装目录为“/opt/client”。 客户端安装完成后,在客户端内创建“lib”目录,用于放置相关jar包。 将安装客户端过程中解压的目录中Kafka相关jar包复制到“lib”目录。
register(AggrateKey.class); kryo.register(AggrateValue.class); } } 您可以在Spark客户端对spark.kryo.registrationRequired参数进行配置,设置是否需要Kryo注册序列化。 当参数设置为true时,
register(AggrateKey.class); kryo.register(AggrateValue.class); } } 您可以在Spark客户端对spark.kryo.registrationRequired参数进行配置,设置是否需要Kryo注册序列化。 当参数设置为true时,
参考快速使用HetuEngine访问Hive数据源在HetuEngine客户端执行set session rewrite_cache_enabled=true System级别: 使用用于访问HetuEngine WebUI界面的用户登录FusionInsight Manager。 选择“集群
"com.huawei.bigdata.spark.examples.MyRegistrator"); 在SparkConf对象使用set方法设置,代码如下: val conf = new SparkConf().setAppName("HbaseTest"); conf.set("spark
IDEA工具,请根据指导完成开发环境配置。 准备本地应用开发环境 根据场景开发工程 提供样例工程,帮助用户快速了解Kudu各部件的编程接口。 开发Kudu应用 查看程序运行结果 指导用户将开发好的程序编译提交运行并查看结果。 调测Kudu应用 父主题: Kudu应用开发概述
图1 reimport projects 编译运行程序。 修改代码匹配的IoTDBServer节点IP、端口、登录用户名和密码。 编译方式有以下两种。 方法一 选择“Maven > 样例工程名称 > Lifecycle > clean”,双击“clean”运行maven的clean命令。
登录FusionInsight Manager,选择“集群 > 概览 > 更多 > 下载客户端”,“选择客户端类型”设置为“仅配置文件”,单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如,客户端配置文件压缩包为“FusionInsight_Cluster_1_Services_Client
Phoenix是构建在HBase之上的一个SQL中间层,提供一个客户端可嵌入的JDBC驱动,Phoenix查询引擎将SQL输入转换为一个或多个HBase scan,编译并执行扫描任务以产生一个标准的JDBC结果集。 代码样例 客户端“hbase-example/conf/hbase-site
Phoenix是构建在HBase之上的一个SQL中间层,提供一个客户端可嵌入的JDBC驱动,Phoenix查询引擎将SQL输入转换为一个或多个HBase scan,编译并执行扫描任务以产生一个标准的JDBC结果集。 代码样例 客户端“hbase-example/conf/hbase-site
集任务。 前提条件 已安装Flume客户端。 已成功安装集群及Flume服务。 确保集群网络环境安全。 操作步骤 配置Flume角色客户端参数。 使用FusionInsight Manager界面中的Flume配置工具来配置Flume角色客户端参数并生成配置文件。 登录FusionInsight
Records,则INSERT INTO命令会失败。 源列上的aggregartion函数的结果超过目标列的最大范围,则INSERT INTO命令会失败。 解决方法: 在进行插入操作时,可在对应的列上使用cast函数。 示例: 使用DESCRIBE命令查询目标表和源表。 DESCRIBE newcarbontable;
这个原生的配置项,存在一定的缺陷。当DataNode的数据存放卷数量不一致的时候,就需要对每个DataNode进行单独配置,而无法配置为所有节点统一生成配置文件,造成用户使用的不便。 例如:集群中存在3个DataNode节点,第一个节点有3个数据目录,第二个节点有4个数据目录,第三个节点有5个数据目录,如果
register(AggrateKey.class); kryo.register(AggrateValue.class); } } 您可以在Spark客户端对spark.kryo.registrationRequired参数进行配置,设置是否需要Kryo注册序列化。 当参数设置为true时,
Records,则INSERT INTO命令会失败。 源列上的aggregartion函数的结果超过目标列的最大范围,则INSERT INTO命令会失败。 解决方法: 在进行插入操作时,可在对应的列上使用cast函数。 示例: 使用DESCRIBE命令查询目标表和源表。 DESCRIBE newcarbontable;
Configurations”,在弹出的会话框中设置运行用户。 -DHADOOP_USER_NAME=test 图1 参数配置 用户可向管理员咨询运行用户。test在这里只是举例,若需运行Colocation相关操作的样例代码,则此用户需属于supergroup用户组。 若已按照1设置环境变量,则直接
Manager页面,选择“主机管理”。 查找主Master节点,主机名称前带实心五角星的Master节点即为主Master节点。 以root用户登录主Master节点。 执行su - omm切换到omm用户。 执行sh /opt/Bigdata/om-0.0.1/sbin/restart-controller.sh重启Controller。