检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
thriftserver.zookeeper.namespace"); if (zkNamespace != null) { //从配置项中删除冗余字符 zkNamespace = zkNamespace.substring(1); } StringBuilder
导入DWS表数据至ClickHouse ClickHouse支持CSV、JSON等格式文件的数据导入导出操作。本章节主要介绍怎么把DWS数据仓库服务中的表数据导出到CSV文件,再把CSV文件数据导入到ClickHouse表中。 前提条件 ClickHouse集群和实例状态正常。
UI五种方式,可参考HDFS常用API介绍、HDFS Shell命令介绍。 JAVA API 提供HDFS文件系统的应用接口,本开发指南主要介绍如何使用Java API进行HDFS文件系统的应用开发。 C API 提供HDFS文件系统的应用接口,使用C语言开发的用户可参考C接口的描述进行应用开发。
API、WEB UI五种方式,可参考常用API介绍、HDFS Shell命令介绍。 JAVA API 提供HDFS文件系统的应用接口,本开发指南主要介绍如何使用Java API进行HDFS文件系统的应用开发。 C API 提供HDFS文件系统的应用接口,使用C语言开发的用户可参考C接口的描述进行应用开发。
UI五种方式,可参考HDFS常用API介绍、HDFS Shell命令介绍。 JAVA API 提供HDFS文件系统的应用接口,本开发指南主要介绍如何使用Java API进行HDFS文件系统的应用开发。 C API 提供HDFS文件系统的应用接口,使用C语言开发的用户可参考C接口的描述进行应用开发。
使用LZC压缩算法存储HDFS文件 配置场景 文件压缩可以减少储存文件的空间,并且提高数据从磁盘读取和网络传输的速度。HDFS有Gzip和Snappy这两种默认压缩格式。本章节为HDFS新增加的压缩格式LZC(Lempel-Ziv Compression)提供配置方法。这种压缩格
232:2181,192.168.169.84:2181”。 其中“sparkthriftserver2x”是Zookeeper上的目录,表示客户端从该目录下随机选择JDBCServer实例进行连接。 JDBC客户端代码 通过JDBC客户端代码连接JDBCServer,来访问SparkSQ
提升HBase Put和Scan数据性能 操作场景 HBase有很多与读写性能相关的配置参数。读写请求负载不同的情况下,配置参数需要进行相应的调整,本章节旨在指导用户通过修改RegionServer配置参数进行读写性能调优。 操作步骤 登录FusionInsight Manager界面,选择“集群
使用向量化、MPP架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。 StarRocks既支持从各类实时和离线的数据源高效导入数据,也支持直接分析数据湖上各种格式的数据。 StarRocks兼容MySQL协议,可使用MySQL客户端和常
使用LZC压缩算法存储HDFS文件 配置场景 文件压缩可以减少储存文件的空间,并且提高数据从磁盘读取和网络传输的速度。HDFS有Gzip和Snappy这两种默认压缩格式。本章节为HDFS新增加的压缩格式LZC(Lempel-Ziv Compression)提供配置方法。这种压缩格
232:2181,192.168.169.84:2181”。 其中“sparkthriftserver2x”是Zookeeper上的目录,表示客户端从该目录下随机选择JDBCServer实例进行连接。 JDBC客户端代码 通过JDBC客户端代码连接JDBCServer,来访问SparkSQ
如为test用户在“default”库中的“datagen”表添加“a<>1”过滤条件。 使用权限配置完成的用户通过FlinkServer提交FlinkSQL作业,详情可参考如何创建FlinkServer作业。 SQL示例如下: CREATE CATALOG myhive WITH ( 'type' = 'hive'
Spark Doris Connector可以支持通过Spark读取Doris中存储的数据,也支持通过Spark写入数据到Doris中。 支持从Doris中读取数据 支持Spark DataFrame批量/流式写入Doris。 可以将Doris表映射为DataFrame或者RDD,推荐使用DataFrame。
基础:需配置“默认资源池容量 (%)”,配置当前租户在“default”资源池中使用的计算资源百分比。 高级:需配置如下参数。 权重:资源分配权重,取值范围从0到100。租户资源占比=租户权重/同级别租户总权重之和。 最小资源:保证租户能获得的资源(有抢占支持)。取值可以是父租户资源的百分比或绝对
WebUI的Flink作业开发界面添加自定义参数“table.optimizer.multi-join-enabled”为“true”开启MultiJoin算子功能,可参考如何创建FlinkServer作业。 SQL示例: CREATE TABLE datagen1 ( id int, f1 int,
手动导出IoTDB数据 操作场景 该任务指导用户使用“export-csv.sh”将数据从IoTDB导出为CSV格式的文件。 导出CSV格式的数据文件,可能存在注入风险,请谨慎使用。 前提条件 已安装客户端,请参见。例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。
客户端连接JDBCServer时,需要指定Namespace,即访问ZooKeeper哪个目录下的JDBCServer实例。在连接的时候,会从Namespace下随机选择一个实例连接。 客户端成功连接JDBCServer服务后,向JDBCServer服务发送SQL语句。 JDBCS
参数名称 描述 示例 Name 作业名称。 job_pgsqltokafka Desc 描述信息。 xxx 在“作业管理”界面,根据业务数据流向,从界面左侧列表中分别选择“Source”和“Sink”中数据连接元素并将其拖到右侧的操作界面中。 MRS 3.2.0版本: MRS 3.3.0及之后版本:
Consumer初始化成功但是无法从Kafka中获取指定Topic消息 问题背景与现象 使用MRS安装集群,主要安装ZooKeeper、Flume、Kafka、Storm、Spark。 使用Storm、Spark、Flume或者自己编写consumer代码来消费Kafka中指定T
使用CDM服务迁移Hive数据至MRS集群 应用场景 本章节适用于将线下IDC机房或者公有云Hive集群中的数据(支持数据量在几十TB级别或以下的数据量级)迁移到华为云MRS服务。 使用华为云CDM服务“场景迁移功能”可以一键式便捷地完成Hive数据的迁移。 本章节以通过华为云CDM服务