检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
服务”,单击服务视图中待操作的服务名称。 选择“实例”页签,单击待操作的实例。 选择“实例配置”,单击“导出”,导出配置参数文件到本地。 在实例配置页面单击“导入”,在弹出的配置文件选择框中定位到实例的配置参数文件,即可导入所有配置。 MRS 2.x及之前版本集群: 登录MRS Manager页面。 单击“服务管理”。
Spark SQL样例程序(Python) 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示,具体代码参见SparkSQLPythonExample: # -*- coding:utf-8 -*- import sys from
Spark SQL样例程序(Python) 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示,具体代码参见SparkSQLPythonExample: # -*- coding:utf-8 -*- import sys from
etu-examples”目录下的样例工程文件夹“python3-examples”。 进入“python3-examples”文件夹。 normal文件夹:普通模式下对接HetuEngine的python3样例代码 security文件夹:安全模式下对接HetuEngine的python3样例代码。
Spark从Hive读取数据再写入HBase样例程序(Python) 功能介绍 在Spark应用中,通过使用Spark调用Hive接口来操作hive表,然后把Hive表的数据经过分析后写到HBase表。 代码样例 由于pyspark不提供Hbase相关api,本样例使用Python调用Java的方式实现。
安装。 误报内容可以通过如下方式确认: 查看并导出健康检查报告,健康检查结果上只存在这两个主机报错:“安装目录及数据目录检查: 目录下文件异常. 请检查安装目录和数据目录下的内容”。 图1 健康检查的结果 安装补丁的影响 安装补丁后需要重启服务才能生效,重启服务期间引起服务暂不可用。
“指定组别”:表示导出某个指定分组中的所有作业。选择“指定分组”,在分组列表中勾选需要导出的作业分组。 “是否导出密码”:导出时是否导出连接器密码,勾选时,导出加密后的密码串。 单击“确定”,开始导出作业。当弹出框中进度条显示100%,则说明作业导出完成。 父主题: 作业管理
发。 适用以下场景: 数据处理(Data Processing):可以用来快速处理数据,兼具容错性和可扩展性。 迭代计算(Iterative Computation):支持迭代计算,有效应对多步的数据处理逻辑。 数据挖掘(Data Mining):在海量数据基础上进行复杂的挖掘分析,可支持各种数据挖掘和机器学习算法。
SHOW_INVALID_PARQUET 本章节仅适用于MRS 3.3.0及之后版本。 命令功能 查看执行路径下损坏的parquet文件。 命令格式 call show_invalid_parquet(path => 'path') 参数描述 表1 参数描述 参数 描述 是否必填
Spark从Hive读取数据再写入HBase样例程序(Python) 功能介绍 在Spark应用中,通过使用Spark调用Hive接口来操作hive表,然后把Hive表的数据经过分析后写到HBase表。 代码样例 由于pyspark不提供Hbase相关api,本样例使用Python调用Java的方式实现。
lapsingmergetree/。 建议少或不增删数据列 业务提前规划列个数,如果将来有更多列要使用,可以规划预留多列,避免在生产系统跑业务过程中进行大量的alter table modify列操作,导致不可以预知的性能、数据一致性问题。 父主题: ClickHouse常用SQL语法
这种情况通常在试图对Hudi数据集执行Hive同步,但配置的hive_sync数据库不存在时发生。 请在您的Hive集群上创建对应的数据库后重试。 父主题: Hive同步
API读取HBase表数据 使用Scan API读取HBase表数据 使用Filter过滤器读取HBase表数据 删除HBase表数据 删除HBase二级索引 删除HBase表 创建Phoenix表 向Phoenix表中写入数据 读取Phoenix表数据 配置HBase应用输出运行日志 父主题:
创建ClickHouse数据库 本章节介绍创建ClickHouse数据库样例代码。 通过on cluster语句在集群中创建表1中以databaseName参数值为数据库名的数据库。 示例代片段参考如下: private void createDatabase(String databaseName
向Doris表中插入数据 本章节介绍向Doris表中插入数据样例代码。 以下代码片段在“JDBCExample”类中。 以Java JDBC方式执行SQL语句在集群的dbName.tableName表中插入数据。 String insertTableSql = "insert into
lapsingmergetree/。 建议少或不增删数据列 业务提前规划列个数,如果将来有更多列要使用,可以规划预留多列,避免在生产系统跑业务过程中进行大量的alter table modify列操作,导致不可以预知的性能、数据一致性问题。 父主题: ClickHouse常用SQL语法
从纵向来看,每个shard内部有多个副本组成,保证分片数据的高可靠性,以及计算的高可靠性。 数据分布设计 Shard数据分片均匀分布 建议用户的数据均匀分布到集群中的多个shard分片,如图1所示有3个分片。 假如有30 GB数据需要写入到集群中,需要将30 GB数据均匀切分后分别放到shard-1、s
ClickHouse数据库调优 ClickHouse调优思路 ClickHouse系统调优 ClickHouse SQL调优 ClickHouse参数调优实践 父主题: ClickHouse应用开发规范
Spark SQL样例程序(Java) 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示,具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection: public
安全集群需要进行Kerberos认证,需要在客户端节点的hosts中配置信息,访问速度才不会受到影响。 处理步骤 将集群节点上的hosts文件内容复制到安装客户端节点的hosts文件中。 父主题: 集群管理类