正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ClickHouse系统调优 通过FusionInsight Manager查看主机上的CPU、内存、I/O和网络资源使用情况,确认这些资源是否已被充分利用,分以下几种情况: 每个节点资源占用都比较均匀 通过观察资源在每个节点都使用比较均匀,说明系统资源使用比较正常,可以先不关注
将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt” )下。 运行任务 在运行样例程序时需要指定 <brokers> <subscribe-type> <topic> <checkpointLocation>。 <brokers>指获取元数据的Kafka地址。 <subscribe-type>
nnel和Sink,各模块配置参数说明可通过本节内容了解。 MRS 3.x及之后版本部分参数可通过Manager界面配置,选择“集群 > 服务 > Flume > 配置工具”,选择要使用的Source、Channel以及Sink,将其拖到右侧的操作界面中,双击对应的Source、
在网络拥塞的情况下,这个特性可以避免客户端由于无限等待服务端的返回而挂起。使用方式如下: 在执行“DriverManager.getConnection”方法获取JDBC连接前,添加“DriverManager.setLoginTimeout(n)”方法来设置超时时长,其中n表示等待服务返回的超时时长,单位为秒
待操作集群的名称 > 服务 > Kafka > 实例”,将运行状态为“正在恢复”的Broker实例停止并记录实例所在节点的管理IP地址以及对应的“broker.id”,该值可通过单击角色名称,在“实例配置”页面中选择“全部配置”,搜索“broker.id”参数获取。 以root用户登录记录的管理IP地址,并执行df
void setState(long count) { this.count = count; } // 获取用户自定义状态 public long geState() { return this.count; } }
CarbonData常见问题 为什么对decimal数据类型进行带过滤条件的查询时会出现异常输出? 如何避免对历史数据进行minor compaction? 如何在CarbonData数据加载时修改默认的组名? 为什么INSERT INTO CARBON TABLE失败? 为什么含转义字符的输入数据记录到Bad
HBase应用程序运行完成后,可通过如下方式查看运行情况。 通过IntelliJ IDEA运行结果查看应用程序运行情况。 通过HBase日志获取应用程序运行情况。 登录HBase WebUI查看应用程序运行情况。可参见“更多信息 > 对外接口 > Web UI ”。 通过HBase
Hive输入 概述 “Hive输入”算子,将Hive表的指定列转换成同等数量的输入字段。 输入与输出 输入:Hive表列 输出:字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Hive数据库 Hive的数据库名称。 String 否 default Hive表名
Spark输入 概述 “Spark输入”算子,将SparkSQL表的指定列转换成同等数量的输入字段。 输入与输出 输入:SparkSQL表列 输出:字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark数据库 SparkSQL的数据库名称。 String
弹性云服务器的CPU架构需和MRS集群节点保持一致。 弹性云服务器客户端安装目录需要分配足够的磁盘空间,至少40GB。 弹性云服务器需要与MRS集群在同一个VPC网络及安全组中。 MRS集群安全组入方向将所有端口对客户端节点放开,具体操作请参考添加安全组规则。 弹性云服务器操作系
ts from hudi_trips_point_in_time where fare > 20.0").show() 删除数据: # 获取记录总数 spark.sql("select uuid, partitionpath from hudi_trips_snapshot")
MapReduce服务集群的Task节点如何收费? 包年/包月集群和按需计费集群的Task节点的计费模式都是按需计费,即按实际使用时长计费,计费周期为一小时。 父主题: 计费FAQ
“系统资源调整基数”表示集群中每个节点可以被集群服务使用的最大资源。如果节点只有一个服务,则表示此服务独占节点可用资源。如果节点有多个服务,则表示所有服务共同使用节点可用资源。 “CPU”表示节点中服务可使用的最大CPU。 “Memory”表示节点中服务可使用的最大内存。 在图表区域,查看集群服务资源使用状态指标数据图表。
待操作集群的名称 > 服务 > 待操作服务的名称”。选择右上角“更多 > 下载堆栈信息”。 选择需要下载的角色和内容,单击“下载”,可直接下载相关堆栈信息到本地。 图2 下载堆栈信息 清理堆栈信息 选择“集群 > 待操作集群的名称 > 服务 > 待操作服务的名称”。 选择右上角“更多
nf/”下。 配置Flume角色的服务端参数,并将配置文件上传到集群。 使用FusionInsight Manager界面中的Flume配置工具来配置服务端参数并生成配置文件。 登录FusionInsight Manager,选择“集群 > 服务 > Flume > 配置工具”。
nf/”下。 配置Flume角色的服务端参数,并将配置文件上传到集群。 使用FusionInsight Manager界面中的Flume配置工具来配置服务端参数并生成配置文件。 登录FusionInsight Manager,选择“集群 > 服务 > Flume > 配置工具”。
四种状态除了取决于Hive本身服务的可用性(会用简单的SQL来检测Hive服务的可用性),还取决于Hive服务所依赖的其他组件的服务状态。 Hive实例分为Hiveserver和Metastore两种,健康状态有Good,Concerning ,Unknown三种状态,这三种状态是通
两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前,样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如:“/opt/female/user
法中proPath的路径。 图2 ClickHouseFunc.java路径替换 查看调测结果 ClickHouse springboot服务启动后,通过ClickHouse样例接口触发样例代码运行,在浏览器中输入需要执行具体操作的链接,如http://localhost:808