检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
处理步骤 检查是否为新创建的消费者组。 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”。查看当前告警详细信息,在定位信息中查看告警上报的Kafka消费者组名称,在附加信息中查看Topic名称。 根据实际情况判断消费者组是否为新创建。 是,执行3。
print(); env.execute("Word Count Example"); 执行环境层次 Flink程序运行在执行环境中。执行环境为所有执行的算子、数据源、data sink定义了一个默认的并行度。 执行环境的默认并行度可以通过调用setParallelism()方法指定。例如:
向HBase表中插入数据 功能简介 HBase是一个面向列的数据库,一行数据,可能对应多个列族,而一个列族又可以对应多个列。通常,写入数据的时候,需要指定要写入的列(含列族名称和列名称)。HBase通过HTable的put方法来Put数据,可以是一行数据也可以是数据集。 代码样例
向HBase表中插入数据 功能简介 HBase是一个面向列的数据库,一行数据,可能对应多个列族,而一个列族又可以对应多个列。通常,写入数据的时候,需要指定要写入的列(含列族名称和列名称)。HBase通过HTable的put方法来Put数据,可以是一行数据也可以是数据集。 代码样例
以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。 在启用了安全服务的集群中执行如下操作,需要在数据库中具有UPDATE权限及对加载数据文件具有owner权限和读写权限。 如果加载数据语句中有关键字LOCAL,表明从本地加载数据,除要求对相
Manager支持统一管理集群的客户端安装信息,用户下载并安装客户端后,界面可自动记录已安装(注册)客户端的信息,方便查询管理。 同时系统支持手动添加、修改未自动注册的客户端信息(如历史版本已安装的客户端)。 本章节仅适用于MRS 3.x及以后版本。 查看已安装的集群客户端 登录FusionInsight
如用户20分钟内不对页面(包括Manager和组件WebUI)进行操作,页面自动锁定。 Manager关键特性:自动健康检查与巡检 Manager为用户提供界面化的系统运行环境自动检查服务,帮助用户实现一键式系统运行健康度巡检和审计,保障系统的正常运行,降低系统运维成本。用户查看检查结果
Administrator和KMS Administrator权限。同时请勿在IAM修改MRS_ECS_DEFAULT_AGENCY委托。 如需使用预置的委托,请跳过创建委托步骤。如需使用自定义委托,请参考如下步骤进行创建委托(创建或修改委托需要用户具有Security Administrator权限
COLUMNS (col_name, ...); 参数描述 表1 DROP COLUMNS参数描述 参数 描述 db_name 数据库名。如果未指定,则选择当前数据库。 table_name 表名。 col_name 表中的列名称。支持多列。列名称包含字母,数字和下划线(_)。 注意事项
regex) 查看匹配指定正则表达式格式的用户表。该方法还有另外两个重载的方法,一个入参类型为Pattern;一个入参为空,默认查看所有用户表。该方法的作用与listTables类似,只是该方法返回类型为TableName[]。 TableName[] listTableNames(final
ght_BASE_x.x.x/install/FusionInsight-dbservice-2.7.0/”为DBService工作区的安装目录,请按照实际升级环境进行修改。 进入“$BIGDATA_HOME/FusionInsight_BASE_x.x.x/install/Fu
执行ls -al * -R命令,检查是否所有文件的所有者均是运行Flume Agent的用户。 是,执行3。 否,使用chown命令修改文件属主为运行Flume Agent的用户,执行2.d 查看告警列表中,该告警是否已清除。 是,处理完毕。 否,执行3。 收集故障信息。 在MRS
用户创建HBase表时,“KEEP_DELETED_CELLS”属性默认值为“false”,备份该HBase表时会将已经删除的数据备份,可能导致恢复后出现垃圾数据。请根据业务需要,在创建HBase表时手动修改该参数值为“true”。 用户在HBase表写入数据时手动指定了时间戳,且时间
插入HBase数据 功能简介 HBase是一个面向列的数据库,一行数据,可能对应多个列族,而一个列族又可以对应多个列。通常,写入数据的时候,需要指定要写入的列(含列族名称和列名称)。HBase通过HTable的put方法来Put数据,可以是一行数据也可以是数据集。 代码样例 以下代码片段在com
向HBase表中插入数据 功能简介 HBase是一个面向列的数据库,一行数据,可能对应多个列族,而一个列族又可以对应多个列。通常,写入数据的时候,需要指定要写入的列(含列族名称和列名称)。HBase通过HTable的put方法来Put数据,可以是一行数据也可以是数据集。 代码样例
ge Collection,垃圾回收),但是task执行时间严重不一致。 需要重新设计key,以更小粒度的key使得task大小合理化。 修改并行度。 调用rebalance操作,使数据分区均匀。 缓冲区超时设置 由于task在执行过程中存在数据通过网络进行交换,数据在不同服务器
5 表2为HDFS磁盘均衡操作的CRON表达式。使用此功能时,需要先将参数dfs.disk.balancer.auto.enabled设置为true。其它参数依据集群状况设置。 表2 CRON表达式解释 列 说明 第1列 分钟,参数值为0~59。 第2列 小时,参数值为0~23。
huawei.bigdata.iotdb.FlinkIoTDBSink”为执行FlinkIoTDBSink样例程序的开发程序,或“com.huawei.bigdata.iotdb.FlinkIoTDBSource”为执行FlinkIoTDBSource样例程序的开发程序。。 场景二:
anager实例的JVM参数建议配置为:-Xms4G -Xmx4G -XX:NewSize=512M -XX:MaxNewSize=1G 集群中的NodeManager实例数量达到200,ResourceManager实例的JVM参数建议配置为:-Xms6G -Xmx6G -XX:NewSize=512M
分布式模式下,应注意Driver和Executor之间的参数传递 在Spark编程时,总是有一些代码逻辑中需要根据输入参数来判断,这种时候往往会使用这种方式,将参数设置为全局变量,先给定一个空值(null),在main函数中,实例化SparkContext对象之前对这个变量赋值。然而,在分布式模式下,执行程序