检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
kafka_group_name Kafka消费组。 kafka_format 消费数据的格式化类型,JSONEachRow表示每行一条数据的json格式,CSV格式表示逗号分隔的一行数据。 kafka_row_delimiter 每个消息体(记录)之间的分隔符。 kafka_handle_error_mode
查看NameNode的GC_OPTS参数配置 NameNode内存配置和数据量对应关系参考表1。 表1 NameNode内存配置和数据量对应关系 文件对象数量 参考值 10,000,000 “-Xms6G -Xmx6G -XX:NewSize=512M -XX:MaxNewSize=512M”
Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Kafka > 实例”,进入Kafka实例页面。 查看所有Broker实例中是否有故障的节点。 是,记录当前节点主机名,并执行3。 否,执行5。 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”。查看所有告警
Yarn”,单击“ResourceManager WebUI”后的链接进入Yarn页面。 根据告警“定位信息”中的任务名找到失败任务,查找并记录失败作业的“application ID”,是否可以在Yarn页面上查看到作业日志。 图1 作业的“application ID” 是,执行4。
需要操作的集群名称,选择“更多 > 下载客户端”,弹出“下载集群客户端”信息提示框。 选择“完整客户端”,选择与待安装节点架构相匹配的平台类型,勾选“仅保存到如下路径”,单击“确定”开始生成客户端文件。 文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client”。
回滚指定的savepoint savepoint rollback --savepoint 20210318155750 若commit写入导致元数据冲突异常,执行commit rollback、savepoint rollback能回退数据,但不能回退Hive元数据,只能删除Hive表然后手动进行同步刷新。
回滚指定的savepoint savepoint rollback --savepoint 20210318155750 如果commit写入导致元数据冲突异常,执行commit rollback、savepoint rollback能回退数据,但不能回退Hive元数据,只能删除Hive表然后手动进行同步刷新。
('table_blocksize'='128'); 对于不需要高精度的度量,无需使用numeric (20,0)数据类型,建议使用double数据类型来替换numeric (20,0)数据类型,以提高查询性能。 在一个测试用例中,使用double来替换numeric (20, 0),查询时间从
MRS支持结构化和非结构化数据在集群中的存储,并且支持多种高效的格式来满足不同计算引擎的要求。 HDFS是大数据上通用的分布式文件系统。 OBS是对象存储服务,具有高可用低成本的特点。 数据融合处理 MRS提供多种主流计算引擎:MapReduce(批处理)、Tez(DAG模型)、Spar
0之前版本,登录FusionInsight Manager,选择“集群 > 概览 > 更多 > 下载客户端”,“选择客户端类型”设置为“完整客户端”,注意平台类型与待安装客户端节点的节点类型相同(x86为x86_64,ARM为aarch64),单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。
Manager(MRS 3.x及之后版本)。然后选择“集群 > 服务 > ZooKeeper > 实例”。 查看ZooKeeper角色实例的IP地址。 记录ZooKeeper角色实例其中任意一个的IP地址即可。 根据业务情况,准备好客户端,登录安装客户端的节点。 请根据客户端所在位置,参考使用
检查故障的数据目录权限。 根据告警提示的主机信息,登录到该节点上。 查看告警详细信息中所提示的数据目录及其子目录,属组是否为omm:wheel。 是,记录当前节点主机名,并执行4。 否,执行3。 恢复数据目录及其子目录的属组为omm:wheel。 检查数据目录所在磁盘是否故障。 使用omm用
创建的用户为test,域名为HADOOP.COM,则其PRINCIPAL用户名则为test@HADOOP.COM,代码举例: conf.set(PRINCIPAL, "test@HADOOP.COM"); 执行命令kinit -kt /opt/conf/user.keytab test。
表示每次连接数据库时,最多可获取的数据量。 连接属性 不同类型数据库支持该数据库连接特有的驱动属性,例如MYSQL的“autoReconnect”。如果需要定义驱动属性,单击“添加”。 引用符号 表示数据库的SQL中保留关键字的定界符,不同类型数据库定义的定界符不完全相同。 文件服务器连接
from default.tbl_src where name is not null;注:表tbl_src的id字段为Int类型,name字段为String类型。 多线程安全登录方式 如果有多线程进行login的操作,当应用程序第一次登录成功后,所有线程再次登录时应该使用relogin的方式。
其中命令中各参数的含义如下: IDX1:索引名称 cf1:列族名称。 q1:列名。 datatype:数据类型。数据类型仅支持Integer、String、Double、Float、Long、Short、Byte、Char类型。 父主题: HBase数据读写示例程序
其中命令中各参数的含义如下: IDX1:索引名称 cf1:列族名称。 q1:列名。 datatype:数据类型。数据类型仅支持Integer、String、Double、Float、Long、Short、Byte、Char类型。 父主题: HBase数据读写样例程序
kafka_group_name Kafka消费组。 kafka_format 消费数据的格式化类型,JSONEachRow表示每行一条数据的json格式,CSV格式表示逗号分隔的一行数据。 kafka_row_delimiter 每个消息体(记录)之间的分隔符。 kafka_handle_error_mode
单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 HBase输入 表输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”,进入“输出设置”界面,设置数据保存方式。
l.mode.enable”为“true”,来启动SSL和SASL_SSL两种协议类型。 下表是四种协议类型的简单说明: 协议类型 说明 支持的API 默认端口 PLAINTEXT 支持无认证的明文访问 新API和旧API 9092 SASL_PLAINTEXT 支持Kerberos认证的明文访问