检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
更新域 概述 “更新域”算子,当满足某些条件时,更新字段的值。 目前支持的类型有“BIGINT”、“DECIMAL”、“DOUBLE”、“FLOAT”、“INTEGER”、“SMALLINT”、“VARCHAR”。当类型为“VARCHAR”时,运算符为“+”时,表示在字符串后追加串
Hive输出 概述 “Hive输出”算子,用于配置已生成的字段输出到Hive表的列。 输入与输出 输入:需要输出的字段 输出:Hive表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Hive文件存储格式 配置Hive表文件的存储格式(目前支持四种格式:CSV、
表输出 概述 “表输出”算子,用于配置输出的字段对应到关系型数据库的指定列。 输入与输出 输入:需要输出的字段 输出:关系型数据库表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出分隔符 配置分隔符。 说明: 该配置仅用于MySQL专用连接器,当数据列内容中包含默认分隔符时
文件输出 概述 “文件输出”算子,用于配置已生成的字段通过分隔符连接并输出到文件。 输入与输出 输入:需要输出的字段 输出:文件 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出分隔符 配置分隔符。 string 是 无 换行符 用户根据数据实际情况,填写字符串作为换行符
HBase输出 概述 “HBase输出”算子,用于配置已生成的字段输出到HBase表的列。 输入与输出 输入:需要输出的字段 输出:HBase表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 HBase表类型 配置HBase表类型,可选项为normal(普通HBase
ZooKeeper客户端刷新TGT失败 问题 ZooKeeper客户端刷新TGT失败,无法连接ZooKeeper。报错内容如下: Login: Could not renew TGT due to problem running shell command: '***/kinit
长整型时间转换 概述 “长整型时间转换”算子,用于配置长整型数值与日期的转换。 输入与输出 输入:需要转换的字段 输出:转换后的新字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 转换类型 配置长整型时间转换类型: long to date:长整型数值转换为DATE
增加常量字段 概述 “增加常量字段”算子,用于直接生成常量字段。 输入与输出 输入:无 输出:常量字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 配置字段 配置常量字段相关信息: 输出字段名:配置字段名。 类型:配置字段类型。 时间格式:字段类型为“DATE
安装集群过程中Ranger启动失败 问题 安装集群过程中,Ranger启动失败,Manager进程任务列表里打印“ERROR:cannot drop sequence X_POLICY_REF_ACCESS_TYPE_SEQ”等关于数据库信息,如何解决并正常安装Ranger? 回答
通过ThriftServer实例向HBase表中写入数据 功能简介 传入ThriftServer实例所在host和提供服务的port,根据认证凭据及配置文件新建Thrift客户端,访问ThriftServer,分别使用put和putMultiple进行写数据操作。 代码样例 方法调用
通过ThriftServer实例向HBase表中写入数据 功能简介 传入ThriftServer实例所在host和提供服务的port,根据认证凭据及配置文件新建Thrift客户端,访问ThriftServer,分别使用put和putMultiple进行写数据操作。 代码样例 方法调用
通过ThriftServer实例向HBase表中写入数据 功能简介 传入ThriftServer实例所在host和提供服务的port,根据认证凭据及配置文件新建Thrift客户端,访问ThriftServer,分别使用put和putMultiple进行写数据操作。 代码样例 方法调用
通过ThriftServer实例向HBase表中写入数据 功能简介 传入ThriftServer实例所在host和提供服务的port,根据认证凭据及配置文件新建Thrift客户端,访问ThriftServer,分别使用put和putMultiple进行写数据操作。 代码样例 方法调用
修改DBService数据库compdbuser用户密码 建议管理员定期修改OMS数据库管理员的密码,以提升系统运维安全性。 该章节内容仅适用于MRS 3.x及之后版本。 登录FusionInsight Manager界面,选择“集群 > 服务 > DBService > 实例”,
ALM-43029 JDBCServer作业提交超时 本章节仅适用于MRS 3.5.0及之后版本。 告警解释 用户提交JDBC作业后,会尝试创建JDBCServer进程,并建立Session连接,在建立连接成功前,如果超出预设阈值,则会发出该告警。与该告警相关的配置参数有两个: spark.thriftserver.proxy.create.session.monitor.enabled
/tmp目录权限不对导致DBserver实例状态一直处于Restoring 问题背景与现象 DBServer实例状态一直是Restoring状态,重启之后仍然不恢复。 原因分析 查看“/var/log/Bigdata/dbservice/healthCheck/dbservice_processCheck.log
CSV文件输入 概述 “CSV文件输入”算子,用于导入所有能用文本编辑器打开的文件。 输入与输出 输入:文本文件 输出:多个字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 分隔符 CSV文件的列分隔符,用于分隔每行的数据。 string 是 , 换行符 用户根据数据实际情况
空值转换 概述 “空值转换”算子,用于将空值替换成指定值。 输入与输出 输入:空值字段 输出:原字段,但值已经被替换 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输入字段名 配置可能出现空值的字段名,需填写已生成的字段名。 string 是 无 替换值 配置替换空值的指定值
ClickHouse输出 概述 “ClickHouse输出”算子,用于配置已生成的字段输出到ClickHouse表的列。 输入与输出 输入:需要输出的字段 输出:ClickHouse表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 数据库名 配置ClickHouse
清理Loader作业残留历史数据 本章节适用于MRS 3.2.0及之后版本。 操作场景 在业务不断运行中,Loader会积累大量的历史数据,这些历史数据可能会对作业提交、作业运行、作业状态获取等产生影响,严重时可能导致页面访问卡顿,作业运行失败等,所以需要根据具体Loader业务数据量