检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
hetu_test keytab文件 开启安全模式时填写此参数。 访问远端DataCenter的用户Keytab文件。在本地选择1k获取的“user.keytab”文件。 user.keytab 开启双向传输 跨域数据传输是否开启双向传输，默认为“是”。 是：双向传输，请求通过本端的H
配置ClickHouse表所在的数据库 string 是 default 表名 配置数据写入ClickHouse对应的表名 string 是 无 数据处理规则 将字段值输出到ClickHouse表中。 样例 通过“CSV文件输入”算子，生成十二个字段。 源文件如下： 创建ClickHouse表的语句如下：
功能描述 HDFS文件操作节点，支持对HDFS文件及目录的创建、删除、授权功能。 参数解释 FS Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name FS活动的名称 delete 删除指定的文件和目录的标签 move 将文件从源目录移动到目标目录的标签
0版本集群，当用户名超过20位时（添加用户时最长限制为32位），下载Keytab文件会下载失败，状态代码：400 Bad Request。 问题现象 MRS 3.0.2~MRS 3.1.0版本集群，当用户名超过20位时（添加用户时最长限制为32位），下载Keytab文件会下载失败，状态代码：400 Bad Request。
换到omm用户下，在/home/omm目录下创建fair-scheduler.xml、llama-site.xml文件。 打开fair-scheduler.xml文件，添加如下配置。 <allocations> <queue name="root"> <aclSubmitApps>
数越多，单个Task生成的HDFS文件越多，则元数据占用的内存也越多。这就导致程序GC（Gabage Collection）严重，甚至发生OOM（Out of Memory）。 经测试证明：10240个Task，2000个分区，在执行HDFS文件从临时目录rename到目标目录动
数据源所在集群与HetuEngine集群节点网络互通。 在HetuEngine所在集群的所有节点的“/etc/hosts”文件中，添加待对接数据源所在集群的主机名称和对应的IP映射，及其“/etc/hosts”文件中的“10.10.10.10 hadoop.系统域名”（如“10.10.10.10 hadoop
elete状态；segment合并后，旧的segments状态会变为compacted。这些segments的数据文件不会从物理上删除。如果用户希望强制删除这些文件，可以使用CLEAN FILES命令。 但是，使用该命令可能会导致查询命令执行失败。 命令格式 CLEAN FILES
配置Yarn大作业扫描 Yarn大作业扫描功能主要用于监控Hive、HetuEngine、Spark等作业的本地临时文件（例如shuffle文件是否过大）、监控Hive、HetuEngine、Spark的关键HDFS目录（不支持OBS）是否过大。对于占用存储资源（本地磁盘或者关键HDFS目录）过大的作业上报事件。
idleTimeout 120000 设置读取文件的空闲时间，单位：毫秒。如果在该时间内文件内容没有变更，关闭掉该文件，关闭后如果该文件有数据写入，重新打开并读取数据。 writePosInterval 3000 设置将元数据写入到文件的周期，单位：毫秒。 batchSize 1000
idleTimeout 120000 设置读取文件的空闲时间，单位：毫秒。如果在该时间内文件内容没有变更，关闭掉该文件，关闭后如果该文件有数据写入，重新打开并读取数据。 writePosInterval 3000 设置将元数据写入到文件的周期，单位：毫秒。 batchSize 1000
用。 回答 bulkload是通过启动MapReduce任务直接生成HFile文件，再将HFile文件注册到HBase，因此错误的使用bulkload会因为启动MapReduce任务而占用更多的集群内存和CPU资源，也可能会生成大量很小的HFile文件频繁的触发Compaction，导致查询速度急剧下降。
“JDBCExample.java”中，实现该功能的模块如下： 读取HiveServer客户端property文件，其中“hiveclient.properties”文件在“hive-jdbc-example\src\main\resources”目录下。 Properties clientInfo
用。 回答 bulkload是通过启动MapReduce任务直接生成HFile文件，再将HFile文件注册到HBase，因此错误的使用bulkload会因为启动MapReduce任务而占用更多的集群内存和CPU资源，也可能会生成大量很小的HFile文件频繁的触发Compaction，导致查询速度急剧下降。
test”为OBS文件系统名。 图1 hive.metastore.warehouse.dir配置 保存配置，然后单击“集群 > 服务”，在服务列表中重启Hive服务。 更新客户端配置文件。 登录Hive客户端所在的节点，执行以下命令修改Hive客户端配置文件目录下的“hivemetastore-site
用于跳过分隔符长度及白名单校验，不建议使用。 按自定义分隔符导入数据至HBase 将数据文件上传到客户端所在节点，例如上传名为“data.csv”的文件到客户端所在节点的“/opt/test”目录下，分隔符为“|^[”，文件内容如下所示： 以客户端安装用户，登录安装客户端的节点。 执行以下命令切换到客户端目录。
时候（此日志文件大小可进行配置），会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd>.[编号].log.zip”。最多保留最近的20个压缩文件，压缩文件保留个数和压缩文件阈值可以配置 表1 JobGateway日志列表 日志类型 日志文件名 描述 jobserver运行日志
过50MB的时候（此日志文件大小可进行配置），会自动压缩，压缩后的日志文件名规则为：“token-server.log.[编号]”。最多保留最近的20个压缩文件，压缩文件保留个数和压缩文件阈值可以配置。 表1 Guardian日志列表 日志类型 日志文件名 描述 是否支持Manager在线检索
场景使用。 bulkload是通过启动MapReduce任务直接生成HFile文件，再将HFile文件注册到HBase，因此错误的使用bulkload会因为启动MapReduce任务而占用更多的集群内存和CPU资源，也可能会生成大量很小的HFile文件频繁的触发Compaction，导致查询速度急剧下降。
“VARCHAR”时实际长度不足则不补齐。 常量值：配置符合类型的常量值。 map 是 无 数据处理规则 生成指定类型的常量字段。 样例 通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下图： 配置“增加常量字段”算子，增加两个字段C和D： 转换后，将A、B、C和D按顺序输出，结果如下：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
