检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过IntelliJ IDEA可直接运行Producer.java,如图1所示: 图1 运行Producer.java 运行后弹出控制台窗口,可以查看到Producer正在向默认Topic(example-metric1)发送消息,每发送10条,打印一条日志。 图2 Producer运行窗口
filetype 指定当前工具要解析哪种格式的数据文件,目前仅支持orc、rc(RCFile)、parquet三种格式。 rc格式目前只支持查看数据。 -c 打印当前元信息中列的信息。 列信息包含类名、类型、序号。 -d 打印数据文件中的数据,可通过“'limit=x'”限制数据量。
等待ZooKeeper服务滚动重启完成。 滚动重启ZooKeeper服务请在ClickHouse业务空闲或低峰期进行操作。 请等待两小时后查看告警是否恢复。 是,操作结束。 否,执行3。 收集故障信息 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。
在“脏数据目录”填写一个脏数据的保存位置,例如“/user/sqoop/obs2hdfs-dd”。 单击“保存并运行”。 在“管理作业界面”,查看作业运行结果。可以单击“刷新列表”获取作业的最新状态。 父主题: 使用Loader
待操作集群的名称 > 服务 > ZooKeeper”,单击“资源”,在精细化监控“资源使用(按二级Znode)”中单击“按Znode数量”,查看监控中是否有顶级Znode被写入较多数据。 是,执行2。 否,执行4。 登录FusionInsight Manager,选择“运维 > 告警
表会增加作业的执行时间。 tmp_test 单击“保存并运行”,开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题: 数据导出
或删除“krb5.conf”配置文件的“renew_lifetime = 0m”配置项。 HBase应用程序运行完成后,可直接通过运行结果查看应用程序运行情况。 运行结果出现如下信息表示程序运行成功。 2020-03-13 14:54:13,369 INFO [main] client
灰色不能选择的用户组和用户则不能进行IAM用户同步。 同步请求下发后,返回MRS控制台在左侧导航栏中选择“操作日志”页面查看同步是否成功,日志相关说明请参考查看MRS云服务操作日志。 同步成功后,即可使用IAM同步用户进行后续操作。 当IAM用户的用户组的所属策略从MRS ReadOnlyAccess向MRS
单击“Add Conditions”,添加策略适用的IP地址范围,单击“Add Permissions”,添加对应权限。 Select:查询权限 Insert:插入权限 Create:创建权限 Drop:drop权限 Delete:删除权限 Use:use权限 Alter:alter权限
启用Kerberos认证的MRS集群默认创建“admin”用户账号,用于集群管理员维护集群。 直接执行组件的客户端命令。 例如:使用HDFS客户端命令查看HDFS根目录文件,执行hdfs dfs -ls /。 集群外节点安装客户端 根据在集群外节点安装客户端前提条件,创建一个满足要求的弹性云服务器。
通过IntelliJ IDEA可直接运行Producer.java,如图1所示: 图1 运行Producer.java 运行后弹出控制台窗口,可以查看到Producer正在向默认Topic(example-metric1)发送消息,每发送10条,打印一条日志。 图2 Producer运行窗口
在FusionInsight Manager首页,选择“集群 > 服务 > HDFS > 配置 > 全部配置”,搜索“GC_OPTS”参数,查看“HDFS->Router”的“GC_OPTS”内存参数。 将“GC_OPTS”参数中“-Xms”、“ -Xmx”的值根据实际情况调大,并保存配置。
了解更多关于续费的信息,请参见续费概述。 费用账单 您可以在管理控制台选择页面上方的“费用 > 费用账单”,进入费用中心后,在“账单管理”查看与MRS集群相关的流水和明细账单,以便了解您的消费情况。如需了解具体操作步骤,请参见费用账单。 欠费 在使用MRS时,包年/包月集群,没有欠费的概念。
通过“CSV文件输入”算子,生成两个字段a_str和b_str。 源文件如下: 配置“Hive输出”算子,将a_str和b_str输出到Hive的表中。 执行成功后,查看表数据: 父主题: 输出算子
登录FusionInsight Manager,具体请参见访问集群Manager。然后选择“集群 > 服务 > ZooKeeper > 实例”。 查看ZooKeeper角色实例的IP地址。 记录ZooKeeper角色实例其中任意一个的IP地址即可。 根据业务情况,准备好客户端,参考使用MRS客户端章节,登录安装客户端的节点。
通过“CSV文件输入”算子,生成两个字段a_str和b_str。 源文件如下: 配置“Hive输出”算子,将a_str和b_str输出到Hive的表中。 执行成功后,查看表数据: 父主题: Loader输出类算子
重启实例”,重启MetaStore实例。 正在重启的MetaStore实例无法对外提供服务,该实例上正在执行的SQL任务可能失败。 等待MetaStore实例重启完成后,查看该告警是否恢复。 是,操作结束。 否,执行6。 收集故障信息。 在FusionInsight Manager首页,选择“运维 > 日志 >
"obs://testhudi/cow_table/"是OBS路径,“testhudi”是OBS并行系统文件名称,请根据实际情况修改。 使用datasource查看表建立成功,数据正常。 val roViewDF = spark. read. format("org.apache.hudi"). load(basePath
处理步骤 检查Topic副本数配置。 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,单击此告警所在行的,查看定位信息中上报告警的“主题名”列表。 确认发生告警Topic是否需要增加副本。 是,执行3。 否,执行5。 在FusionInsight客
表会增加作业的执行时间。 tmp_test 单击“保存并运行”,开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题: 数据导出