检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当前版本的Hue组件,不支持导入文件到Hive表时设置多个分隔符。 本章节适用于MRS 3.x及后续版本。 操作步骤 创建表时指定inputFormat和outputFormat: CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name
该任务指导用户使用Loader将数据从SFTP服务器导入到Hive。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业中指定的Hive表的权限。 获取SFTP服务器使用的用户和密码,且该用户具备SFTP服务器上源文件的读取权限。如果源文件在导入后文件名要增加后缀,则该用户还需具备源文件的写入权限。
对系统进行调整。 根据6中的文件数据量和7中NameNode配置的非堆参数,检查当前配置的非堆内存是否不合理。 是,执行9。 否,执行12。 HDFS的文件对象数量(filesystem objects=files+blocks)和NameNode配置的JVM参数的对应关系建议如下:
使用SparkSql编辑器之前需要先修改Spark2x配置。 进入Spark2x的全部配置页面,具体操作请参考修改集群服务配置参数。 设置Spark2x多实例模式,搜索并修改Spark2x服务的以下参数: 参数名称 值 spark.thriftserver.proxy.enabled false
数据块信息和DataNode中存储的真实副本不一致而失败。因此该特性不适用于写完数据即读的场景,请结合业务场景谨慎使用该特性。 该功能适用于MRS 3.2.0-LTS.1及之后版本。 操作步骤 登录FusionInsight Manager页面。 选择“集群 > 服务 > HDFS
ALM-12028 主机D状态进程数超过阈值(2.x及以前版本) 告警解释 系统每30秒周期性检测主机中omm用户D状态进程数,并把实际进程数和阈值相比较。主机D状态进程数默认提供一个阈值。当检测到进程数超出阈值时产生该告警。 当主机中omm用户D状态进程数小于或等于阈值时,告警恢复。
调用HBase的get或scan接口,从HBase中实时读取数据。 操作步骤 读数据服务端调优 参数入口:登录FusionInsight Manager,选择“集群 > 服务 > 配置 > 全部配置”,进入HBase服务参数“全部配置”界面,配置以下相关参数以提升HBase读数据性能。 表1
task。给算子链上的中间算子手动分配ID是不可能的。例如:在链(Chain)[a->b->c]中,只能给a手动分配ID,b和c不能分配。如果用户想给b和c分配ID,用户必须手动建链。手动建链时需要使用disableChaining()接口。举例如下: env.addSource(new
DBService服务异常。 Yarn服务异常。 Mapreduce服务异常。 环境故障:网络异常,Loader服务无法与其依赖的内部服务通信,无法提供服务。 软件故障:Loader服务无法正常运行。 处理步骤 检查ZooKeeper服务状态。 在FusionInsight Manager首页,选择“集群
如果进程中已经有log4j的配置,需要将hbase-example\src\main\resources\log4j.properties中RFA与RFAS相关的配置复制到已有的log4j配置中。 代码样例 以下为代码片段: hbase.root.logger=INFO,console,RFA
如果进程中已经有log4j的配置,需要将“hbase-example\src\main\resources\log4j.properties”中RFA与RFAS相关的配置复制到已有的log4j配置中。 代码样例 以下为代码片段: hbase.root.logger=INFO,console,RFA
如果进程中已经有log4j的配置,需要将“hbase-example\src\main\resources\log4j.properties”中RFA与RFAS相关的配置复制到已有的log4j配置中。 代码样例 以下为代码示例: hbase.root.logger=INFO,console,RFA
注意堆内存设置时,可以设置“-Xms”和 “-Xmx”近似相等,从而避免每次GC后调整堆的大小,引起性能下降。 “-Xmx”与“XX:MaxPermSize”之和不能大于该节点服务器的实际物理内存值。 重启受影响的服务或实例,观察界面告警是否清除。 是,处理完毕。 否,执行4。 在Doris服务重启期间服务
该任务指导用户使用Loader将数据从SFTP服务器导入到Hive。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业中指定的Hive表的权限。 获取SFTP服务器使用的用户和密码,且该用户具备SFTP服务器上源文件的读取权限。若源文件在导入后文件名要增加后缀,则该用户还需具备源文件的写入权限。
当前集群的Master节点和Core节点ip。 执行脚本后,打印出“installing phoenix jars to hbase successfully...”字样则表示phoenix已安装成功。 登录MRS Manager界面,重启HBase服务。 配置phoenix客户
ipse导出Jar包使用的JDK版本一致。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 登录linux环境,创建运行OpenTSDB样例的工作目录,比如“/opt/opentsdb-example”
当有字段的值为null时,会转化为空字符串,再与其他字段值拼接。 样例 通过“CSV文件输入”算子,生成三个字段A、B和C。 源文件如下图: 配置“拼接转换”算子,“分隔符”为空格,生成新字段D: 转换后,依次输出A、B、C和D,结果如下: 父主题: Loader转换类算子
导出到CSV文件,再把CSV文件数据导入到ClickHouse表中。 前提条件 ClickHouse集群和实例状态正常。 DWS集群已创建,已获取到相关表所在的数据库用户名和密码。 已安装MRS客户端,例如安装目录为“/opt/client”。以下操作的客户端目录只是举例,请根据
操作步骤 在IDEA界面复制clickhouse-example.properties路径。右键clickhouse-example.properties文件,单击“Copy Path/Reference > Absolute Path”。 图1 复制配置文件绝对路径 使用clickhouse-example
创建CDL数据比较任务作业 操作场景 数据比对即是对源端数据库中的数据和目标端Hive中的数据作数据一致性校验,如果数据不一致,CDL可以尝试修复不一致的数据。 当前数据对比任务支持手动全量任务比对。数据比对任务采用On Yarn的运行形态,比对结果会上传到HDFS目录。 数据比对目前仅支持基本数据类型比对,