检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
r API向安全Topic生产消息。 KafkaConsumerMultThread.java: 该样例展示如何通过多线程将数据从Kafka集群写入到IoTDB,Kafka集群数据由“Producer.java”产生。 根据实际场景,在“KafkaProperties.java”
HColumnDescriptor column) 添加一个列簇到指定的表。 void deleteColumn(final TableName tableName, final HColumnDescriptor column) 从指定的表删除指定的列簇。 void modifyColumn(final
义操作。 MRS支持WrapperFS特性,提供OBS的翻译能力,兼容HDFS到OBS的平滑迁移,解决客户将HDFS中的数据迁移到OBS后,即可实现客户端无需修改自己的业务代码逻辑的情况下,访问存储到OBS的数据。 MRS支持自动弹性伸缩,相对自建Hadoop集群的使用成本更低。
HColumnDescriptor column) 添加一个列簇到指定的表。 void deleteColumn(final TableName tableName, final HColumnDescriptor column) 从指定的表删除指定的列簇。 void modifyColumn(final
HColumnDescriptor column) 添加一个列簇到指定的表。 void deleteColumn(final TableName tableName, final HColumnDescriptor column) 从指定的表删除指定的列簇。 void modifyColumn(final
个配置文件,例如“/opt/client/conf”。 “hbase-site.xml”从HBase客户端获取,“hiveclient.properties”和“hive-site.xml”从Hive客户端获取。 在Linux环境中添加样例工程运行所需的classpath,例如 export
间”超过“分区创建时的系统时间”加上“延迟”时间,就提交分区。 partition-time:基于从分区提取的时间,它需要生成watermark。即“watermark时间”超过“从分区提取的时间”加上“延迟”时间,就提交分区。 sink.partition-commit.delay
在用户意外修改、删除或需要找回数据时,系统管理员对HDFS进行重大操作(如升级、重大数据调整等)后,系统数据出现异常或未达到预期结果,模块全部故障无法使用,或者迁移数据到新集群的场景中,需要对HDFS进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复HDFS任务。只支持创建任务手动恢复数据。
当业务正常时需要恢复Kafka元数据,建议手动备份最新Kafka元数据后,再执行恢复操作。否则会丢失从备份时刻到恢复时刻之间的Kafka元数据信息。 对系统的影响 元数据恢复后,会丢失从备份时刻到恢复时刻之间的数据。 元数据恢复后,Kafka的消费者在ZooKeeper上保存的offset信息将会回退,可能导致重复消费。
客户端连接JDBCServer时,需要指定Namespace,即访问ZooKeeper哪个目录下的JDBCServer实例。在连接的时候,会从Namespace下随机选择一个实例连接。 客户端成功连接JDBCServer服务后,向JDBCServer服务发送SQL语句。 JDBCS
com/huaweicloud/huaweicloud-mrs-example/tree/mrs-3.1.5。 图1 样例代码下载 下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 MRS服务3.1.2-LTS版本获取样例工程请参考通过开源镜像站获取样例工程。 配置华为开源镜像仓
ON后才能访问表数据。 访问对端集群的HBase: 先将cluster2集群的所有Zookeeper节点和HBase节点的IP和主机名配置到cluster1集群的客户端节点的/etc/hosts文件中。 使用cluster2中的Spark2x客户端下“conf”目录的hbase-site
CheckPoint CheckPoint是Flink数据处理高可靠、最重要的机制。该机制可以保证应用在运行过程中出现失败时,应用的所有状态能够从某一个检查点恢复,保证数据仅被处理一次(Exactly Once)。 SavePoint Savepoint是指允许用户在持久化存储中保存某
CheckPoint CheckPoint是Flink数据处理高可靠、最重要的机制。该机制可以保证应用在运行过程中出现失败时,应用的所有状态能够从某一个检查点恢复,保证数据仅被处理一次(Exactly Once)。 SavePoint Savepoint是指允许用户在持久化存储中保存某
connection.pool.minIdle JDBC连接池中最小空闲连接数 0 jdbc.connection.pool.testOnBorrow 从JDBC连接池中获取连接使用时是否对连接的有效性做检验 false clickhouse.map-string-as-varchar 是否将
需要手动复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中,确保本地机器能与集群各主机在网络上互通。 Hive操作权限 在进行应用程序开发之前,使用的用户的基本权限要求是属于Hive组,额外操作权限需从系统管理员处获取,具体权限要求请参见表2。用户运行样
在用户意外修改、删除或需要找回数据时,系统管理员对NameNode进行重大操作(如升级、重大数据调整等)后,系统数据出现异常或未达到预期结果,模块全部故障无法使用,或者迁移数据到新集群的场景中,需要对NameNode进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复NameNod
from_base, int to_base) 对num做进制转换操作,示例为从10进制转为2进制 select conv('123',10,2); -- 1111011 rand() → double 返回0到1之间的随机小数 select rand();-- 0.049510824616263105
y cookie方式进行认证。 表1 安全认证方式 安全认证方式 说明 配置方法 Kerberos认证 当前只支持keytab认证方式。 从FusionInsight Manager下载用户keytab,并将keytab放到Flink客户端所在主机的某个文件夹下。 在“flink-conf
ON后才能访问表数据。 访问对端集群的HBase: 先将cluster2集群的所有Zookeeper节点和HBase节点的IP和主机名配置到cluster1集群的客户端节点的/etc/hosts文件中。 使用cluster2中的Spark2x客户端下“conf”目录的hbase-site