正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
rk作业加工生成通用的报表数据(明细宽表),批量导入到ClickHouse。 ClickHouse暂不支持对接Kafka普通模式和HDFS安全模式。 父主题: ClickHouse
se等Hadoop生态的高性能大数据引擎,支持数据湖、数据仓库、BI、AI融合等能力,完全兼容开源,快速帮助客户上云构建低成本、灵活开放、安全可靠、全栈式的云原生大数据平台,满足客户业务快速增长和敏捷创新诉求。 父主题: 产品咨询类
界面。 个人或企业账号实名认证请参考:实名认证。 MRS服务授权操作 登录管理控制台。 在服务列表中选择“大数据 > MapReduce服务”,进入“服务授权”页面。 图1 服务授权 单击“同意授权”,完成服务授权。 同意授权后,MRS将在统一身份认证服务为您创建名为“mrs_a
通过运行结果查看应用程序运行情况。 通过HBase日志获取应用程序运行情况。 登录HBase WebUI查看应用程序运行情况。可参见“更多信息 > 对外接口 > Web UI ”。 通过HBase shell命令查看应用程序运行情况。可参见“更多信息 > 对外接口 > Shell ”。 通过运行日志
使用CDL同步drs-oracle-avro数据到Hudi(ThirdKafka) 操作场景 本章节指导用户通过开启Kerberos认证的集群的CDLService WebUI界面从ThirdKafka导入drs-avro-oracle数据库数据到Hudi。 该章节内容适用于MRS
使用CDL从PgSQL同步数据到Kafka 操作场景 本章节指导用户通过MRS 3.2.0版本开启Kerberos认证的集群的CDLService WebUI界面,从PgSQL导入数据到Kafka。 前提条件 集群已安装CDL、Kafka服务且运行正常。 PostgreSQL数据
具有“A”字节,但DataNode中的块文件将具有“A + B”字节。 恢复步骤: 从NameNode Web UI中获取已损坏的文件列表,或者通过下面的命令获取。 hdfs fsck <filepath> -list-corruptfileblocks 对于不需要的文件,请使用以下命令删除文件。
具有“A”字节,但DataNode中的块文件将具有“A + B”字节。 恢复步骤: 从NameNode Web UI中获取已损坏的文件列表,或者通过下面的命令获取。 hdfs fsck <filepath> -list-corruptfileblocks 对于不需要的文件,请使用以下命令删除文件。
步骤三:使用HBase客户端创建表:在HBase客户端创建表、插入表数据、查询表数据及删除表。 准备工作 注册账号并实名认证。 在创建MRS集群之前,请先注册华为账号并开通华为云,进行实名认证。 如果您已开通华为云并进行实名认证,请忽略此步骤。 已准备具有创建MRS集群的IAM用户,详细操作请参见创建IAM用户并授权使用MRS。
单击“作业实际编号”对应ID。 图4 Yarn界面 单击作业日志中的“Logs”。 图5 sparkPi作业日志 单击“here”获取更详细日志。 图6 sparkPi作业更详细日志 获取作业执行结果。 图7 sparkPi作业执行结果 父主题: 使用Spark(MRS 3.x之前版本)
前集群绑定。 在“安全组”中选择当前集群所在的安全组,该安全组在创建集群时配置或集群自动创建。 创建自定义集群时,安全组可配置提前创建的安全组或由系统自动创建。快速创建集群时,安全组由系统自动创建。 安全组名称可在集群的“概览”界面的“安全组”查看。 添加安全组规则,默认填充的是
Mapreduce应用开发建议 全局使用的配置项,在mapred-site.xml中指定 如下给出接口所对应的mapred-site.xml中的配置项: setMapperClass(Class <extends Mapper> cls) ->“mapreduce.job.map
名称。 --username 连接MySQL数据库的用户名。 -password 连接MySQL数据库的用户密码。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 -table <table-name> MySQL中用于存放导出数据的表名称。
/opt/hadoopclient 执行以下命令,配置环境变量。 source bigdata_env 启用Kerberos认证的集群,执行以下命令认证用户身份。未启用Kerberos认证的集群无需执行。 kinit Storm用户 执行以下命令,提交Storm拓扑: storm jar 拓扑包路径
确保本地PC的时间与集群的时间差要小于5分钟,若无法确定,请联系系统管理员。集群的时间可通过Manager页面右下角查看。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src”目录下的样例工程文件夹“hetu-examples”。 在应用开发环境中,导入样例工程到IntelliJ
使用CDL从PgSQL同步数据到Hudi 操作场景 本章节指导用户通过MRS 3.2.0版本开启Kerberos认证的集群的CDLService WebUI界面,从PgSQL导入数据到Hudi。 前提条件 集群已安装CDL、Hudi服务且运行正常。 PgSQL数据库需要开启前置要
例如,Storm-2实例: source Storm-2/component_env 启用Kerberos认证的集群,执行以下命令认证用户身份。未启用Kerberos认证的集群无需执行。 kinit Storm用户 MRS 3.x之前版本:执行以下命令,提交Storm拓扑。 storm
Superior通过REST接口查看已结束或不存在的applicationID,页面提示Error Occurred 问题 Superior通过REST接口查看已结束或不存在的applicationID,返回的页面提示Error Occurred。 回答 用户提交查看applic
ateBackend。 MemoryStateBackend是将state存储在JobManager的Java堆上,每个状态的大小不能超过akka帧的大小,且总量不能超过JobManager的堆内存大小。所以只适合于本地开发调试,或状态大小有限的一些小状态的场景。 FsState
使用Python提交Flink普通作业 获取样例工程“flink-examples/pyflink-example/pyflink-kafka”中的“pyflink-kafka.py”和“insertData2kafka.sql”。 参考准备本地应用开发环境将准备好的Python虚拟环境打包,获取“venv.zip”文件。