检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Total vcore-milliseconds taken by all map tasks=18123 Total vcore-milliseconds taken by all reduce tasks=7035
存算分离常见问题 运行MRS作业时如何读取OBS加密数据 HDFS对接OBS业务应用开发样例说明 MRS集群客户端如何通过AK/SK信息对接OBS 安装在集群外的MRS客户端如何访问OBS 访问MRS集群Manager(2.x及之前版本) MRS集群Core节点扩容成功后状态异常如何处理
uthException” 执行Kafka Topic创建操作时发现无法创建提示“NoNode for /brokers/ids” 执行Kakfa Topic创建操作时发现无法创建提示“replication factor larger than available brokers”
值的数据;导入到表中分区时导入的表必须是分区表。 导入数据时需注意: 使用import from '/tmp/export';命令导入表是没有指定表名的场景,该场景导入的数据会保存到与源表名相同的表路径下,需注意以下两点: 如果目标集群上不存在与源集群上同名的表,在导入表的过程中会创建该表。
/configure --prefix=/opt/Bigdata/python3 --enable-shared CFLAGS=-fPIC make && make install 安装的目录可以自定义。 执行如下命令,配置Python3.x变量。 echo "/opt/Bigdata/python3/lib"
配置Kafka数据安全传输协议 本章节内容适用于MRS 3.x及后续版本。 Kafka API简单说明 Producer API 指org.apache.kafka.clients.producer.KafkaProducer中定义的接口,在使用“kafka-console-producer
配置Kafka数据传输加密 操作场景 Kafka客户端和Broker之间的数据传输默认采用明文传输,客户端可能部署在不受信任的网络中,传输的数据可能遭到泄漏和篡改。 该章节仅适用于MRS 3.x及之后版本。 配置Kafka数据传输加密 默认情况下,组件间的通道是不加密的。用户可以配置如下参数,设置安全通道为加密的。
Geospatial功能要求或更准确地说是假设要操作的几何图形既简单又有效。例如,计算在多边形外部定义了孔的多边形的面积,或者从非简单边界线构造多边形是没有意义的。 HetuEngine地理空间功能支持空间对象的已知文本(WKT)和已知二进制(WKB)形式: POINT (0 0) LINESTRING
其中表名“t1”也可替换为全限定名“hive.tpcds_2gb.t1”,但不能为“tpcds_2gb.t1”。 物化视图的“查询重写”不支持全表扫描,SQL查询没有使用Where子句,无法被查询重写。 例如:表“hivetb1”的列定义包含了“id”、“name”、“age”三个列,如下SQL查询就无法被“查询重写”。
DISABLE:物化视图连续三次自动刷新失败导致的不可用状态,不可用作被改写 ENABLE:正常状态 REFRESHING:刷新中 INIT:物化视图首次被创建,没有实体数据 SUSPEND:挂起状态,不能改写,不能刷新 State:物化视图有效期 Stale:物化视图过期 Valid:物化视图未过期,正常状态
ce和FlinkServer。 FlinkResource:提供客户端配置管理,是必须安装的角色。包括供客户端下载使用的原始lib包和配置文件,以及FlinkServer提交作业所依赖的原始lib包。无实体进程,作业运行过程不依赖FlinkResource。 FlinkServe
若创建MRS集群时暂未绑定弹性公网IP,在“弹性公网IP”下拉框中选择可用的弹性公网IP。若用户创建集群时已经绑定弹性公网IP,直接执行3.b。 如果没有弹性公网IP,可先单击“管理弹性公网IP”购买弹性公网IP后,然后在弹性公网IP下拉框中选择购买的弹性公网IP。 如果在使用完后需要解绑或
个用户可指定哪些用户允许查看自己应用程序的运行状态或者控制应用程序。此外,MRS集群管理员可指定队列管理员和集群系统管理员。 动态更新配置文件。MRS集群管理员可根据需要动态修改配置参数以实现在线集群管理。 Capacity Scheduler中每个队列可以限制资源使用量。队列间
断电,恢复供电后系统能够正常恢复业务,除非硬盘介质损坏,否则关键数据不会丢失。 硬盘亚健康检测和故障处理,对业务不造成实际影响。 自动处理文件系统的故障,自动恢复受影响的业务。 自动处理进程和节点的故障,自动恢复受影响的业务。 自动处理网络故障,自动恢复受影响的业务。 MRS提供
MapReduce REST API接口介绍 功能简介 通过HTTP REST API来查看更多MapReduce任务的信息。目前Mapresuce的REST接口可以查询已完成任务的状态信息。完整和详细的接口请直接参考官网上的描述以了解其使用:http://hadoop.apache
MapReduce REST API接口介绍 功能简介 通过HTTP REST API来查看更多MapReduce任务的信息。目前Mapresuce的REST接口可以查询已完成任务的状态信息。完整和详细的接口请直接参考官网上的描述以了解其使用: http://hadoop.apache
-------+--+ | ID | Status | Load Start Time | Load Time Taken | Partition | Data Size | Index Size | File Format | +-----+-
-------+--+ | ID | Status | Load Start Time | Load Time Taken | Partition | Data Size | Index Size | File Format | +-----+-
MRS_Spark_ClientConfig.tar 由于不兼容老版本客户端,建议用户获取与服务端集群相同版本的客户端安装包进行安装部署。 进入解压文件夹,即“MRS_Spark_ClientConfig”,执行下列命令安装客户端 sh install.sh /opt/client 其中“
使用DBService 配置DBService HA模块的SSL 还原DBService HA模块的SSL配置 配置DBService备份任务超时时间 DBService日志介绍