检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
提交命令示例(拓扑名为hbase-test): storm jar /opt/jartarget/source.jar com.huawei.storm.example.hbase.SimpleHBaseTopology hbase-test huawei.keytab 安全模式下在提交source
准备依赖的Jar包和配置文件。 在Linux环境新建目录,例如“/opt/test”,并创建子目录“lib”。将样例工程依赖的Jar包导出,将1生成的Jar包,以及3生成的Jar包,上传到Linux的“lib”目录。 在“/opt/test”根目录新建脚本“run.sh”,修改内容如下并保存: #
ter/user/XXX.jar”。 HiveScript文件需要以“.sql”结尾。 obs://wordcount/program/test.sql 运行程序参数 可选参数,为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。
insert into example_db.test_export_tbl values(1,1,1,"2020-02-21"),(2,2,2,"2020-03-21"),(3,3,3,"2020-04-21"); 执行以下命令导出“test_export_tbl”表数据到HDFS中:
选择“系统 > 权限 > 用户”,单击“添加用户”,配置以下参数并单击“确定”,创建执行自定义函数的用户: 用户名:填写用户名称,例如:test。 用户类型:选择“人机”用户。 “密码”和“确认新密码”输入该用户对应的密码。 用户组:单击“添加”,选择“hive”和“hadoop”用户组并单击“确定”。
进入Spark客户端目录,执行如下命令,同步数据到HBase目标表中。 cd Spark/spark/bin 例如,执行以下命令同步test.orc_table表的所有数据到HBase的test:orc_table表中,使用id+uuid组合作为rowkey列,输出路径指定为“/tmp/orc_table”:
导入并配置MapReduce样例工程 (可选)创建MapReduce样例工程 根据场景开发工程 提供了样例工程。 帮助用户快速了解MapReduce各部件的编程接口。 开发MapReduce应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 调测MapReduce应用 查看程序运行结果 程序
er上。 HBase本地二级索引相关接口 使用HIndex的API都在类org.apache.hadoop.hbase.hindex.client.HIndexAdmin中,相关接口介绍如下: 表2 HBase Index相关接口 操作 接口 描述 注意事项 添加索引 addIndices()
zookeeper.quorum"); // Query String querySQL = "SELECT * FROM TEST WHERE id = ?"; Connection conn = null; PreparedStatement preStat
zookeeper.quorum"); // Query String querySQL = "SELECT * FROM TEST WHERE id = ?"; Connection conn = null; PreparedStatement preStat
'properties.bootstrap.servers' = 'xxxx:21005', 'properties.group.id' = 'test_qk', 'scan.startup.mode' = 'latest-offset', 'format' = 'csv' );
告警产生时间的前后1小时,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。 父主题: MRS集群告警处理参考
已获取集群ID,即创建集群成功后返回结果中的“cluster_id” 或参考获取集群ID获取。 该示例以扩容Core节点为例。 操作步骤 接口相关信息 URI格式:PUT /v1.1/{project_id}/cluster_infos/{cluster_id} 详情请参见调整集群节点。
根据业务场景开发工程 提供了Producer和Consumer相关API的使用样例,包含了API和多线程的使用场景,帮助用户快速熟悉Kafka接口。 开发Kafka应用 编译与运行程序 指导用户将开发好的程序编译并提交运行。 调测Kafka应用 父主题: Kafka开发指南(普通模式)
告警产生时间的前后1小时,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无 父主题: MRS集群告警处理参考
告警产生时间的前后1小时,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 不涉及。 父主题: MRS集群告警处理参考
设置TaskManager的核数。 2 -ynm 自定义Yarn上应用程序名称。 test -c 设置程序入口点的类(如“main”或“getPlan()”方法)。该参数仅在JAR文件未指定其清单的类时需要。 com.bigdata.mrs.test 确认作业配置信息,单击“确定”,完成作业的新增。 作业新增完成后,可对作业进行管理。
存到源数据的目录中,文件名为源文件名加上.failed后缀。例如: -fd ./failed/。 -aligned:是否使用aligned接口, 默认参数值为“false”。例如: -aligned true。 -tp:用于指定时间精度,可选值包括ms(毫秒)、ns(纳秒)、us(微秒),默认值为ms。
educe工程。 导入并配置MapReduce样例工程 根据场景开发工程 提供了样例工程。 帮助用户快速了解MapReduce各部件的编程接口。 MapReduce统计样例程序开发思路 MapReduce访问多组件样例程序开发思路 编译并运行程序 指导用户将开发好的程序编译并提交运行。
如果您使用的是安全集群,需要进行安全认证。 配置MapReduce应用安全认证 根据场景开发工程 提供了样例工程。 帮助用户快速了解MapReduce各部件的编程接口。 开发MapReduce应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 调测MapReduce应用 查看程序运行结果 程序