检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
x版本不支持在管理控制台执行本章节操作,本章节仅适用于3.x之前的版本。 访问MRS Manager,详细操作请参见访问MRS集群Manager。 选择“系统设置 > 补丁管理”,进入补丁管理页面。 在“操作”列表中,单击“详情”。 在补丁详情界面,选中“Status”是“Isolated”的主机节点。
hostname3:9092;修改代码中的域名。 用户可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 父主题: Kafka应用开发常见问题
Hudi表必须指定primaryKey与preCombineField。 在指定路径下创建表时,如果路径下已存在Hudi表,则建表时不需要指定列。 系统响应 Table创建成功,创建成功的消息将被记录在系统日志中。 父主题: Hudi DDL语法说明
Manager的日志级别。对于某个具体的服务,除了可以修改日志级别,还可以修改日志文件大小,防止磁盘空间不足日志无法保存。 本章节操作仅支持MRS 3.x及之后的版本。 对系统的影响 保存新的配置需要重启服务,此时对应的服务不可用。 修改Manager日志级别 以omm用户登录主管理节点。 执行以下命令,切换路径。
a),count(distinct b) from hivetb; 当前语句中count distinct出现次数超出了2中配置规则的阈值,系统提示信息如下: ... WARN : STATIC_0001 The count(distinct X) times exceeds the
SEGMENT.STARTTIME BEFORE '2017-07-01 12:07:20'; 其中,STARTTIME是不同负载的加载启动时间。 系统响应 操作成功或失败会在CarbonData日志中被记录。 父主题: DML
column11 from sourceTable2 where column1 = 'xxx'); 示例5: delete from h0; 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: Hudi DML语法说明
SEGMENT.STARTTIME BEFORE '2017-07-01 12:07:20'; 其中,STARTTIME是不同负载的加载启动时间。 系统响应 操作成功或失败会在CarbonData日志中被记录。 父主题: CarbonData语法参考
maxbuffer”参数配置为一个更高的值。 “jute.maxbuffer”只能设置为Java系统属性,且没有zookeeper前缀。如果要将“jute.maxbuffer”的值设为X,在ZooKeeper客户端或服务端启动时传入以下系统属性:-Djute.maxbuffer=X。 例如,将参数值设置为4MB:-Djute
maxbuffer”参数配置为一个更高的值。 “jute.maxbuffer”只能设置为Java系统属性,且没有zookeeper前缀。如果要将“jute.maxbuffer”的值设为X,在ZooKeeper客户端或服务端启动时传入以下系统属性:-Djute.maxbuffer=X。 例如,将参数值设置为4MB:-Djute
准备开发环境 在进行应用开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置,版本要求如下:
sh”时,默认使用此API。 新Producer API和新Consumer API,在下文中统称为新API。 处理步骤 旧Consumer API 前提条件 系统管理员已明确业务需求,并准备一个Kafka管理员用户(属于kafkaadmin组)。 已安装Kafka客户端。 操作步骤 以客户端安装用户,登录安装Kafka客户端的节点。
并且不能超过99个字符。 角色 表示实例组包含哪个角色的实例。 复制源 指从指定的实例组复制配置值到新组,若为空,则新组对应的各配置值为系统默认值。 描述 只可以包含汉字、英文字母、数字、中英文逗号、中英文句号、下划线(_)、空格和换行符,并且不能超过200个字符。 每个实例必
产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 RESName 产生告警的资源名称。 对系统的影响 如果Manager的WebService浮动IP地址异常,用户无法登录和使用Manager。如果Manager的数据库异常,所有核
例如,SparkSQL运行TPCDS 500G的测试时,使用默认配置出现错误。所以当数据量较大时需要适当的调整该参数。 配置参数 参数入口: 在Manager系统中,选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”,单击“全部配置”。在搜索框中输入参数名称。 表1 参数介绍
ctas_select_parquet STORED AS carbondata as select * from parquet_ctas_test; 系统响应 该命令会从Parquet表上创建一个Carbon表,同时导入所有Parquet表的数据。 父主题: DDL
和删除文件/文件夹等相关接口操作示例。 hdfs-c-example HDFS C语言开发代码样例。 本示例提供了基于C语言的HDFS文件系统连接、文件操作如创建文件、读写文件、追加文件、删除文件等。相关业务场景介绍请参见HDFS C API接口介绍。 父主题: HDFS开发指南(安全模式)
和删除文件/文件夹等相关接口操作示例。 hdfs-c-example HDFS C语言开发代码样例。 本示例提供了基于C语言的HDFS文件系统连接、文件操作如创建文件、读写文件、追加文件、删除文件等。相关业务场景介绍请参见HDFS C API接口介绍。 父主题: HDFS开发指南(普通模式)
city) as 'carbondata' ; SHOW INDEXES ON productdb.productSalesTable; 系统响应 显示列出给定CarbonData表中的所有索引表和相应的索引列。 父主题: CarbonData语法参考
参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 无。 可能原因 Hive SQL语法有问题,导致Hive SQL执行失败。 处理步骤 查看运行失败的Hive SQL,修改为正确语法后再执行。