检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
e.xml”中配置“mapreduce.job.maps”项。 说明: 指定的InputFormat类用来控制map任务个数,注意该类是否支持客户端设定map个数。 setNumReduceTasks(int n) 核心接口,指定MapReduce作业的reduce个数。默认只启
设置角色“配置资源权限”请参见表1。 IoTDB权限: 普通用户权限:具有数据操作权限,可选择性的对IoTDB根目录、存储组及存储组到时间序列之间任意节点路径授权,最小可支持对时间序列进行数据的读、写、修改和删除权限。 IoTDB管理员权限:具有表1的所有权限。 表1 设置角色 任务场景 角色授权操作 设置IoTDB管理员权限
kinit MRS集群用户 例如:kinit opentsdbuser 执行tsdb命令。例如执行tsdb可以打印出当前opentsdb所支持的所有命令,如,fsck, import, mkmetric, query, tsd, scan, search, uid, version。
e.xml”中配置“mapreduce.job.maps”项。 说明: 指定的InputFormat类用来控制map任务个数,注意该类是否支持客户端设定map个数。 setNumReduceTasks(int n) 核心接口,指定MapReduce作业的reduce个数。默认只启
e.xml”中配置“mapreduce.job.maps”项。 说明: 指定的InputFormat类用来控制map任务个数,注意该类是否支持客户端设定map个数。 setNumReduceTasks(int n) 核心接口,指定MapReduce作业的reduce个数。默认只启
为32G;128G<机器内存<200G,“-Xmx”设置为16G;机器内存<128G,“-Xmx”设置为8G。“-Xmx”配置为32G,可支持单RegionServer节点2000个Region,200个热点Region。 “XX:CMSInitiatingOccupancyFraction”建议设置为“100
数。 上述命令中的参数描述如下: idx_1:表示索引名称。 cf_0:表示列族名称。 q_0:表示列名称。 string:表示数据类型,支持STRING,INTEGER,FLOAT,LONG,DOUBLE,SHORT,BYTE和CHAR。 '#'用于分隔索引,';' 用于分隔列族,'
Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统,它提供了类似于JMS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据)、日志收集等大量数据的互联网服务的数据收集场景。
用户必须自己保证每个Job有一个唯一的TOPIC,否则会引起作业间订阅关系的混乱。 在ZookeeperRegisterServerHandler调用shutdown()时,首先删除本并发度的注册信息,然后尝试删除TOPIC节点,如果TOPIC节点为非空,则放弃删除TOPIC节点,说明其他并发度还未退出。
缓存行数。 上述命令中的参数描述如下: idx_1:表示索引名称 cf_0:表示列族名称 q_0:表示列名称 string:表示数据类型,支持STRING,INTEGER,FLOAT,LONG,DOUBLE,SHORT,BYTE或CHAR。 '#'用于分隔索引,';' 用于分隔列族,'
如果需要在UI上查看之前产生的日志,建议将此参数设置为true。 true 在WebUI显示更多历史作业 默认情况下,Yarn WebUI界面支持任务列表分页功能,每个分页最多显示5000条历史作业,总共最多保留10000条历史作业。如果您需要在WebUI上查看更多的作业,可以配置参
obmanager.web.access-control-allow-origin”中添加访问主机的IP地址,可使用逗号分隔。 Flink支持的所有REST API的URL中的Path信息如表1所示。 表1 Path介绍 Path 说明 /config 有关监控API和服务器设置的一些信息。
obmanager.web.access-control-allow-origin”中添加访问主机的IP地址,可使用逗号分隔。 Flink支持的所有REST API的URL中的Path信息如表1所示。 表1 Path介绍 Path 说明 /config 有关监控API和服务器设置的一些信息。
登录MapReduce WebUI查看应用程序运行情况。 登录Yarn WebUI查看应用程序运行情况。 如果Windows运行环境中使用IBM JDK,不支持在Windows环境中直接运行应用程序。 在MapReduce任务运行过程中禁止重启HDFS服务,否则可能会导致任务失败。 运行统计样例程序
大。在内存充足的情况下,HeapSize可以相对设置大一些。 说明: 主HMaster的HeapSize为4GB的时候,HBase集群可以支持100000 Region数的规模。根据经验值,集群每增加35000个Region,HeapSize增加2GB,主HMaster的HeapSize不建议超过32GB。
obmanager.web.access-control-allow-origin”中添加访问主机的IP地址,可使用逗号分隔。 Flink支持的所有REST API的URL中的Path信息如表1所示。 表1 Path介绍 Path 说明 /config 有关监控API和服务器设置的一些信息。
对象、定位信息等,每页默认显示最近的十条事件。 单击“导出全部”可导出全部事件详情。 单击手动刷新当前页面,也可在修改事件表格显示的列。 支持通过指定对象或集群来筛选指定的事件。 单击“高级搜索”显示事件搜索区域,搜索条件包括事件ID、事件名称、事件级别、开始时间和结束时间。 单
SUSPEND:暂停使用状态,暂停使用的物化视图不会参与改写 ENABLE:可使用状态 REFRESHING:正在刷新物化视图数据,不可用于改写 DISABLE:关闭使用 仅支持ENABLE和SUSPEND相互转换,以及将DISABLE状态修改为SUSPEND或ENABLE 删除物化视图 删除mv.default.mv1的物化视图
LakeFormation数据连接参数说明 参数 参数说明 版本类型 LTS版 集群版本 选择配置对接的MRS集群版本。 当前仅MRS 3.3.0-LTS及之后版本支持在创建集群时配置LakeFormation数据连接。 组件选择 必须包含Hadoop、Ranger、Hive、Guardian、Spark(可选)、Flink(可选)等组件。
name 指定写入的Hudi表名。 无 hoodie.datasource.write.operation 写Hudi表指定的操作类型,当前支持upsert、delete、insert、bulk_insert等方式。 upsert:更新插入混合操作。 delete:删除操作。 insert:插入操作。