检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
以下代码片段在“hbase-zk-example\src\main\java\com\huawei\hadoop\hbase\example”包的“TestZKSample”类中,用户主要需要关注“login”和“connectApacheZK”这两个方法。 private static
表的列名以及列族名不能包含特殊字符,可以由字母、数字以及下划线组成。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testCreateTable方法中。 public void testCreateTable() {
群的HBase服务。 以下代码在hbase-example样例工程的“com.huawei.bigdata.hbase.examples”包的“TestMultipleLogin”类中。 代码认证 List<String> confDirectorys = new
--connect 连接关系型数据库的url --connection-manager 指定连接管理类 --driver jdbc 连接驱动包 --help 帮助信息 --password 连接数据库密码 --username 连接数据库的用户名 --verbose 在控制台打印详细信息
/opt/client 执行以下命令,更新主管理节点的客户端配置。 sh refreshConfig.sh /opt/client 客户端配置文件压缩包完整路径 例如,执行命令: sh refreshConfig.sh /opt/client/tmp/MRS-client/MRS_Services_Client
登录Manager页面,重启受影响的组件,受影响组件请参考受影响组件列表。建议业务低峰期时执行重启操作。 (可选)如果要新下载的客户端安装上补丁,需要先为部件包安装补丁,可执行如下命令: su - omm cd /home/omm/MRS_Log4j_Patch/bin nohup sh install
4 定义end action 请参见End Action 5 定义killaction 请参见Kill Action 依赖或新开发的jar包需要放在“dataLoad/lib”目录下。 流程文件样例: <workflow-app xmlns="uri:oozie:workflow:1
获取并解压缩安装“MRS_HDFS_Client.tar”包。执行如下命令解压。 tar -xvf MRS_HDFS_Client.tar tar -xvf MRS_HDFS_ClientConfig.tar 由于不兼容老版本客户端,建议用户获取与服务端集群相同版本的客户端安装包进行安装部署。 进入解压文件夹
在指定用户对应的“操作”列单击“修改”。 为用户绑定拥有Hive Admin Privilege权限的角色,并单击“确定”完成权限添加。 在项目中example目录下新建udf包,并编写AddDoublesUDF类,将项目打包(例如: AddDoublesUDF.jar),并上传到HDFS指定目录下(如“/user/
SQL的程序样例代码的运行,其他样例代码暂不提供。 用户需保证Maven已配置华为镜像站中SDK的Maven镜像仓库,具体可参考配置华为开源镜像仓。 编包并运行程序 获取样例代码。 下载样例工程的Maven工程源码和配置文件,请参见获取MRS应用开发样例工程。 将样例代码导入IDEA中。 获取配置文件。
/opt/client 执行以下命令,更新主管理节点的客户端配置。 sh refreshConfig.sh /opt/client 客户端配置文件压缩包完整路径 例如,执行命令: sh refreshConfig.sh /opt/client /tmp/FusionInsight-Clien
系统(并行文件系统),使用普通对象桶会对集群性能产生较大影响。 在MRS 3.2.0-LTS.1及后续版本中,MRS集群内组件默认支持数据防误删策略,即组件用户删除的文件数据并不会直接被删除,而是会保存到OBS文件系统内的用户回收站目录中。 为节省OBS使用空间,需参考配置MRS
er。 FlinkResource:提供客户端配置管理,是必须安装的角色。包括供客户端下载使用的原始lib包和配置文件,以及FlinkServer提交作业所依赖的原始lib包。无实体进程,作业运行过程不依赖FlinkResource。 FlinkServer:基于Web的作业管理
MRS Hive解决hive server内存泄露问题:HIVE-10970、HIVE-22275。 补丁兼容关系 MRS 2.1.0.5补丁包中包含MRS 2.1.0版本发布的所有补丁内容。 安装补丁的影响 安装MRS 2.1.0.5补丁期间会重启MRS Manager,滚动重启H
自定义作业名称。 输入“driver_behavior_task”。 执行程序路径 待执行程序包的存放路径。 单击“OBS”,选择步骤2:准备样例程序和数据中上传名称为driver_behavior.jar的jar包。 运行程序参数 为本次执行的作业配置相关优化参数,用于优化资源使用效率,提升作业的执行性能。
job.properties 工作流的参数变量定义文件。 workflow.xml 工作流的规则定制文件。 lib 工作流运行依赖的jar包目录。 coordinator.xml “cron”目录下存在,定时任务配置文件,用于设置定时策略。 oozie_shell.sh “she
job.properties 工作流的参数变量定义文件。 workflow.xml 工作流的规则定制文件。 lib 工作流运行依赖的jar包目录。 coordinator.xml “cron”目录下存在,定时任务配置文件,用于设置定时策略。 oozie_shell.sh “she
action 请参见配置Oozie作业执行终点 5 定义kill action 请参见配置Oozie作业异常结束打印信息 依赖或新开发的jar包需要放在“dataLoad/lib”目录下。 流程文件样例: <workflow-app xmlns="uri:oozie:workflow:1
4 定义end action 请参见End Action 5 定义killaction 请参见Kill Action 依赖或新开发的jar包需要放在“dataLoad/lib”目录下。 流程文件样例: <workflow-app xmlns="uri:oozie:workflow:1
t等。 appName:构建的Application名称。 SparkHome:集群中安装Spark的目录。 jars:应用程序代码和依赖包。 主体程序:处理数据 Spark shell命令 Spark基本shell命令,支持提交Spark应用。命令为: ./bin/spark-submit