检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
mers/consumer-group-xxx/owners/topic-xxx/x。 当触发负载均衡后,原来的consumer会重新计算并释放已占用的partitions,此过程需要一定的处理时间,新来的consumer抢占该partitions时很有可能会失败。 表1 参数说明
Kafka普通用户组。添加入本组的用户,需要被kafkaadmin组用户授予特定Topic的读写权限,才能访问对应Topic。 前提条件 系统管理员已明确业务需求,并准备一个Kafka管理员用户(属于kafkaadmin组)。 已安装Kafka客户端。 操作步骤 以客户端安装用户,登录安装Kafka客户端的节点。
--secure 组件业务用户需要具有创建ClickHouse表的权限,具体请参见创建ClickHouse角色章节,在Manager中创建用户并绑定对应角色。 表1 clickhouse client命令行参数说明 参数名 参数说明 --host 服务端节点名称,可以选择使用Clic
进入客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 执行以下命令认证用户身份,并输入用户密码(任意有权限的用户,这里以userA为例,普通模式不涉及)。 kinit userA 在ZooKeeper客户端执行以下命令,进入ZooKeeper命令行。
通过HQL完成海量结构化数据分析。 灵活的数据存储格式,支持JSON、CSV、TEXTFILE、RCFILE、ORCFILE、SEQUENCEFILE等存储格式,并支持自定义扩展。 多种客户端连接方式,支持JDBC接口。 Hive主要应用于海量数据的离线分析(如日志分析,集群状态分析)、大规模的数据挖掘
只有当output mode为complete时才支持排序操作。 有条件地支持流和静态数据集之间的外连接。 不支持部分DataSet上立即运行查询并返回结果的操作: count():无法从流式Dataset返回单个计数,而是使用ds.groupBy().count()返回一个包含运行计数的streaming
Roles > Add New Role”,创建“Role Name”为“hive”的角色: 进入Hive Beeline命令行,创建一个表并确认Location为OBS路径。 cd 客户端安装目录 kinit 组件操作用户 beeline create table test(name
内存调优 CarbonData为内存调优提供了一个机制,其中数据加载会依赖于查询中需要的列。不论何时,接收到一个查询命令,将会获取到该查询中的列,并确保内存中这些列有数据加载。在该操作期间,如果达到内存的阈值,为了给查询需要的列提供内存空间,最少使用加载级别的文件将会被删除。 父主题: CarbonData性能调优
WebUI。 参考如何创建FlinkServer作业,新建Flink SQL作业,作业类型选择“流作业”。在作业开发界面进行如下作业配置,并启动作业。需勾选“基础参数”中的“开启CheckPoint”,“时间间隔(ms)”可设置为“60000”,“模式”可使用默认值。 如果当前MRS集群为安全模式,执行以下操作:
内存调优 CarbonData为内存调优提供了一个机制,其中数据加载会依赖于查询中需要的列。不论何时,接收到一个查询命令,将会获取到该查询中的列,并确保内存中这些列有数据加载。在该操作期间,如果达到内存的阈值,为了给查询需要的列提供内存空间,最少使用加载级别的文件将会被删除。 父主题: CarbonData性能调优
只有当output mode为complete时才支持排序操作。 有条件地支持流和静态数据集之间的外连接。 不支持部分DataSet上立即运行查询并返回结果的操作: count():无法从流式Dataset返回单个计数,而是使用ds.groupBy().count()返回一个包含运行计数的streaming
只有当output mode为complete时才支持排序操作。 有条件地支持流和静态数据集之间的外连接。 不支持部分DataSet上立即运行查询并返回结果的操作: count():无法从流式Dataset返回单个计数,而是使用ds.groupBy().count()返回一个包含运行计数的streaming
只有当output mode为complete时才支持排序操作。 有条件地支持流和静态数据集之间的外连接。 不支持部分DataSet上立即运行查询并返回结果的操作: count():无法从流式Dataset返回单个计数,而是使用ds.groupBy().count()返回一个包含运行计数的streaming
Manager,修改该用户初始密码。 集群未启用Kerberos认证(普通模式) 使用admin用户连接Doris后,创建具有管理员权限的角色并绑定给用户。 已安装MySQL客户端,相关操作可参考使用MySQL客户端连接Doris。 导出Doris数据至HDFS示例 登录安装了MyS
此时需要使用对应RAID卡厂商的检查工具进行处理,然后执行16。 例如LSI一般是MegaCLI工具。 在告警详情页面单击“清除告警”,并继续观察该告警,查看同一块磁盘的告警是否会继续上报。 如果当前磁盘出现三次以上该告警,建议用户更换磁盘。 是,执行17。 否,操作结束。 更换磁盘。
AL32UTF8或UTF-8(默认值) UTF-8 单击“删除”可以删除已增加的自定义配置参数。 单击“确定”。 登录集群客户端所在节点,执行以下命令,切换到客户端安装目录并认证用户。 cd /opt/hadoopclient source bigdata_env kinit HetuEngine组件操作用户 (普通模式集群跳过)
单击“作业管理”进入作业管理页面。 找到待调优的并处于非运行中的作业,在“操作”列单击“开发”进入作业开发界面。 在作业开发界面的“自定义参数”项中,添加如下参数并保存。 开启RocksDB监测 表1 RocksDB监测配置 参数名称 值 说明 state.backend.rocksdb.metrics
例如LSI一般是MegaCLI工具。 在FusionInsight Manager界面,选择“运维 > 告警 > 告警”,单击该告警操作列的“清除”,并继续观察该告警,查看同一块磁盘的告警是否会继续上报。 如果当前磁盘出现三次以上该告警,建议用户更换磁盘。 是,执行18。 否,操作结束。 更换磁盘。
文件路径。 相对路径(推荐) 请执行如下步骤配置“flink.keystore”和“flink.truststore”文件路径为相对路径,并确保Flink客户端执行命令的目录可以直接访问该相对路径。 在Flink客户端“conf”目录下新建目录,例如ssl。 cd /Flink客
B列(int) 数据Rowkey a 1 a#1 b null b# -tb,--table <arg> 目标HBase表,若目标表不存在时,会进行采样并创建目标表。 -op,--output-path HFile文件输出路径,最终导出的HFile会在该目录下的一个临时目录中,导入成功后会被清除。