检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
随机值转换 概述 “随机值转换”算子，用于配置新增值为随机数的字段。 输入与输出 输入：无 输出：随机值字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出字段名 配置生成随机值的字段名。 string 是 无 长度 配置字段长度。 map 是 无 类型
取模转换 概述 “取模转换”算子，对整数字段取模，生成新字段。 输入与输出 输入：整数字段 输出：模数字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 取模字段名 配置取模运算信息： 输入字段名：配置输入字段名，需填写上一个转换步骤生成的字段名。 输出字段名：配置输出字段名。
CarbonData语法参考 DDL DML CarbonData表操作并发语法说明 CarbonData Segment API语法说明 CarbonData表空间索引语法说明 父主题： 使用CarbonData（MRS 3.x及之后版本）
优化Flink内存GC参数 操作场景 Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的YARN的Container
通过Hue管理Oozie作业 操作场景 用户需要使用图形化界面查看集群中所有作业时，可以通过Hue完成任务。 Hue提供了Oozie作业管理器功能，使用户可以通过界面图形化的方式使用Oozie。 Hue界面主要用于文件、表等数据的查看与分析，禁止通过Hue界面对操作对象进行删除等
nager中创建业务用户，用户拥有在Kafka主题中执行相应操作的权限。 管理消息 进入Kafka服务页面： 登录FusionInsight Manager，然后选择“集群 > 服务 > Kafka”。 单击“实例”，查看Kafka Broker角色实例的IP地址。 记录Kafka角色实例其中任意一个的IP地址即可。
如果您需要修改日志级别，请执行如下操作： 请参考修改集群服务配置参数，进入Flume的“全部配置”页面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 保存配置，在弹出窗口中单击“确定”使配置生效。 配置完成后即生效，不需要重启服务。 日志格式 Flume的日志格式如下所示：
Loader算子说明 转换流程 Loader读取源端数据，通过输入算子将数据按规则逐一转换成字段，再通过转换算子，对这些字段做清洗或转换，最后通过输出算子将处理后的字段，输出到目标端。 每个作业，如果进行数据转换操作，有且只能有一个输入算子，有且只能有一个输出算子。 不符合转换规则的数据，将成为脏数据跳过。
创建表关联OpenTSDB 功能描述 MRS的Spark实现了访问OpenTSDB的Datasource，能够在Spark中创建关联表，查询和插入OpenTSDB数据。 使用CREATE TABLE命令创建表并关联OpenTSDB上已有的metric。 若OpenTSDB上不存在metric，查询对应的表会报错。
通过Windows系统提交MapReduce任务 配置场景 用户将MapReduce任务从Windows上提交到Linux上运行，则“mapreduce.app-submission.cross-platform”参数值需配置为“true”。若集群无此参数，或参数值为“false
配置场景 当MapReduce shuffle服务启动时，它尝试基于localhost绑定IP。如果需要MapReduce shuffle服务连接特定IP，可以参考该章节进行配置。 配置描述 当需要MapReduce shuffle服务绑定特定IP时，需要在NodeManager实
CREATE TABLE As SELECT 命令功能 CREATE TABLE As SELECT命令通过指定带有表属性的字段列表来创建CarbonData Table。 命令格式 CREATE TABLE [IF NOT EXISTS] [db_name.]table_name
共部署hive数据源的每条事务的元数据信息的最大缓存大小 1000 单击“确定”完成配置。 重启HetuEngine服务。 返回Manager，在“概览”选择“更多 > 重启服务”，根据界面提示重启HetuEngine服务。 若存在运行中的计算实例需重启HetuEngine计算实例。 返回HSConsole界
配置Flink任务进程参数 操作场景 Flink on YARN模式下，有JobManager和TaskManager两种进程。在任务调度和运行的过程中，JobManager和TaskManager承担了很大的责任。 因而JobManager和TaskManager的参数配置对F
CREATE TABLE 本章节主要介绍Doris创建表的SQL基本语法和使用说明。 基本语法 CREATE TABLE [IF NOT EXISTS] [database.]table ( column_definition_list, [index_definition_list]
HetuEngine辅助命令语法 USE SET SESSION RESET SESSION DESCRIBE DESCRIBE FORMATTED COLUMNS DESCRIBE DATABASE| SCHEMA DESCRIBE INPUT DESCRIBE OUTPUT EXPLAIN
Hive ORC数据存储优化 操作场景 “ORC”是一种高效的列存储格式，在压缩比和读取效率上优于其他文件格式。 建议使用“ORC”作为Hive表默认的存储格式。 前提条件 已登录Hive客户端，具体操作请参见Hive客户端使用实践。 操作步骤 推荐：使用“SNAPPY”压缩，适用于压缩比和读取效率要求均衡场景。
Hue常用配置参数 参数入口 参数入口，请参考修改集群服务配置参数。 参数说明 表1 Hue常用参数 配置参数 说明 缺省值 范围 HANDLER_ACCESSLOG_LEVEL 表示Hue的访问日志级别。 DEBUG ERROR WARN INFO DEBUG HANDLER_AUDITSLOG_LEVEL
Manager系统，具体请参见访问FusionInsight Manager（MRS 3.x及之后版本）。 选择“集群 > 待操作集群名称 > 服务 > Loader”。 单击“LoaderServer(节点名称，主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面
Loader常用参数 参数入口 参数入口，请参考修改集群服务配置参数。 参数说明 表1 Loader常用参数 配置参数 说明 默认值 范围 mapreduce.client.submit.file.replication MapReduce任务在运行时依赖的相关job文件在HDF
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
