检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
下面代码片段仅为演示,具体代码请参见获取样例代码解压目录中“hdfs-c-example/hdfs_test.c”文件。 设置HDFS NameNode参数,建立HDFS文件系统连接。 hdfsFS fs = hdfsConnect("default", 0); fprintf(stderr, "hdfsConnect-
命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 通过Kerberos模式认证: ./sqoop2-shell -uk true -k user.keytab -s userPrincipal 系统显示如下信息: Welcome to sqoop
面。 在HBase全部配置界面查看相关参数。 表1 HBase Index相关参数 配置入口 配置项 默认值 描述 “HMaster > 系统” hbase.coprocessor.master.classes org.apache.hadoop.hbase.hindex.server
间的推移,如果一行数据满足:当前时间-时间列值 > COLD_BOUNDARY设置的值,则会在执行Compaction时被归档到冷存储(OBS)中。 插入记录。 执行“put”命令向指定表插入一条记录,需要指定表的名称,主键,自定义列,及插入的具体值。例如: put 'hot_cold_table'
RDS服务MySQL数据库用户名。 password:RDS服务MySQL数据库用户密码,命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 MySQL引擎使用示例: 连接到RDS服务的MySQL数据库。详细操作可以参考RDS服务MySQL实例连接。
.withFieldDelimiter("|"); // 同步策略,每1000个tuple对文件系统进行一次同步 // HdfsBolt必选参数 SyncPolicy syncPolicy = new Co
成实例启动。 实例启动成功后,使用ClickHouse客户端登录问题节点。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 clickhouse client --host clickhouse实例IP --user
<directory> [-tf <time-format> -s <sqlfile>]”命令。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 运行示例: ./export-csv.sh -h x.x.x.x -p 22260 -u test
jar。如果两个Jar包里都包含一个“com.xxx.bigdata.iotdb.UDTFExample”类,当同一个SQL中同时使用到这两个UDF时,系统会随机加载其中一个类,导致UDF执行行为不一致。 UDF查询。 UDF支持对的基础SQL语法为: SLIMIT / SOFFSET LIMIT
码解压目录中“HDFS/hdfs-c-example/hdfs_test.c”文件。 设置HDFS NameNode参数,建立HDFS文件系统连接。 hdfsFS fs = hdfsConnect("default", 0); fprintf(stderr, "hdfsConnect-
已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。 操作步骤 在FusionInsight Manager管理界面,选择“系统 > 权限 > 用户”,选择“更多 > 下载认证凭据”下载用户flume_hdfs的kerberos证书文件并保存在本地。 图1 下载认证凭据
获取样例工程并将其导入IDEA,导入样例工程依赖jar包。通过IDEA配置并生成jar包。 准备样例工程所需数据。 将场景说明中的原日志文件放置在HDFS系统中。 本地新建两个文本文件,分别将log1.txt及log2.txt中的内容复制保存到input_data1.txt和input_data2
egionServer节点数量需要配置一定的冗余量,确保冗余节点数 >(RSGroup内业务表region总数/2000)*50%。 如果系统表在单独的RSGroup,需要确保该RSGroup的节点数量 > 2。 为了不影响滚动重启功能,如果RegionServer节点总数在30
ionServer节点数量需要配置一定的冗余量,确保冗余节点数 > (RSGroup内业务表region总数/2000)* 50%。 如果系统表在单独的RSGroup,需要确保该RSGroup的节点数量 > 2。 为了不影响滚动重启功能,如果RegionServer节点总数在30
user:RDS服务MySQL数据库用户名。 password:RDS服务MySQL数据库用户密码,命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 MySQL引擎使用示例: 连接到RDS服务的MySQL数据库。详细操作可以参考RDS服务MySQL实例连接。
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
发现29101端口连接对端端口为21005,而21005为Kafka服务端端口。 说明业务层作为客户端连接Kafka获取消息,业务端口分配通过OS的随机端口分配范围来确定。 通过cat /proc/sys/net/ipv4/ip_local_port_range命令查看随机端口范围。
已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。 操作步骤 在FusionInsight Manager管理界面,选择“系统 > 权限 > 用户”,选择“更多 > 下载认证凭据”下载用户flume_hdfs的kerberos证书文件并保存在本地。 图1 下载认证凭据
要影响写入性能,如果写入性能明显下降,可以适当调整该参数,参数值按照0.5倍速率调大。注意:需要保证“堆内存+直接内存 <= 80% * 系统可用内存”, 否则会导致IoTDB启动失败。 查询场景调优举例:如果查询的范围比较大,单个序列10000个点以上,JVM分配内存的20% /
collapsingmergetree/。 建议少或不增删数据列 业务提前规划列个数,如果将来有更多列要使用,可以规划预留多列,避免在生产系统跑业务过程中进行大量的alter table modify列操作,导致不可以预知的性能、数据一致性问题。 对于批量数据清理,建议根据分区来操作: