检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
class); job.setOutputValueClass(Text.class); // HBase提供工具类添加HBase的运行依赖 TableMapReduceUtil.addDependencyJars(job);
将Java样例工程导入到IDEA中。 打开IntelliJ IDEA。在“Quick Start”页面选择“Import Project”。 或者,针对已使用过的IDEA工具,您可以从IDEA主界面直接添加。选择“File > Import project...”导入工程。 图12 Import Project(Quick
ntext_tls.html#matchsslcontext_tls。 安装和配置IntelliJ IDEA 用于开发Spark应用程序的工具,建议使用2019.1或其他兼容版本。 说明: 若使用IBM JDK,请确保IntelliJ IDEA中的JDK配置为IBM JDK。 若使用Oracle
Python3开发环境(使用Python样例工程需配置)适用于MRS 3.3.0及以后版本 准备项 说明 Python3 用于开发HetuEngine Python应用程序的工具,版本要求不低于3.6,最高不超过3.9。 安装setuptools Python3开发环境的基本配置,版本如47.3.1。 jaydebeapi
class); job.setOutputValueClass(Text.class); // HBase提供工具类添加HBase的运行依赖 TableMapReduceUtil.addDependencyJars(job);
Manager中下载principal用户的认证凭证,样例代码中使用的用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME”
cipher.list”配置项的值 ,否则以HTTPS访问不了HDFS。单击“保存 > 确定”,保存完成后重启HDFS服务。 TLSv1协议存在安全漏洞,请谨慎使用。 登录FusionInsight Manager页面,单击“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 >全部配置”,在“搜索”框里搜索“dfs
clickhouse-examples > Lifecycle > install”,双击“install”运行maven的insatll命令。 图2 maven工具的clean和install 将target目录下的clickhouse-examples-*.jar文件和“clickhouse-exa
> 样例工程名称 > Lifecycle > compile”,双击“compile”运行maven的compile命令。 图2 maven工具 clean和compile 方法二 在IDEA的下方Terminal窗口进入“pom.xml”所在目录,手动输入mvn clean compile命令进行编译。
Manager,根据界面提示修改初始密码。 获取样例工程 通过开源镜像站获取样例工程。 下载样例工程的Maven工程源码和配置文件,并在本地配置好相关开发工具,可参考通过开源镜像站获取样例工程。 根据集群版本选择对应的分支,下载并获取MRS相关样例工程。 例如本章节场景对应示例为“clickho
选择“保存 > 确定”后等待操作成功。 滚动重启Yarn服务,输入密码并单击“确定”后等待操作成功。 进入主管理节点重启AOS服务。 使用PuTTY工具以omm用户登录主OMS服务器。 执行以下命令,防止“PuTTY”超时退出。 TMOUT=0 执行完本章节操作后,请及时恢复超时退出时间,
否则以HTTPS访问不了HDFS。单击“保存配置”,并勾选“重新启动受影响的服务或实例。”,单击“是”,重启HDFS服务。 TLSv1协议存在安全漏洞,请谨慎使用。 登录MRS Manager页面,单击“服务管理 > HDFS > 服务配置”,在“参数类别”选择“全部配置”,在“搜索”框里搜索“dfs
Python3开发环境(使用Python样例工程需配置)适用于MRS 3.3.0及以后版本 准备项 说明 Python3 用于开发HetuEngine Python应用程序的工具,版本要求不低于3.6,最高不超过3.9。 安装setuptools Python3开发环境的基本配置,版本如47.3.1。 jaydebeapi
Manager中下载principal用户的认证凭证,样例代码中使用的用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器
在集群内任一节点启动netcat命令,等待应用程序连接。 netcat -l -p 9000 若回显提示“command not found”,请用户自行安装netcat工具后再次执行。 启动程序接受Socket数据,并执行联合查询。 bin/flink run --class com.huawei.bigdata
生额外的费用。详细操作步骤请参见删除MRS集群。 相关信息 更多HBase权限管理、使用索引及全局二级索引查询表数据、使用BulkLoad工具迁移HBase数据等操作请参见使用HBase。
远端节点上部署路径若已存在,该路径下不能包含任何文件。若不存在,该路径会被创建。登录远端节点用户需要对该路径具有执行和写权限。 使用WinSCP工具,以客户端安装用户将压缩文件保存到客户端安装的目录,例如“/opt/hadoopclient”。 解压软件包。 例如下载的客户端文件为“F
ckHouse集群整体迁移到另外一个机房的新集群当中。 为了解决上述场景下对搬迁能力的要求,MRS提供了ClickHouse集群数据一键式工具搬迁能力,将源集群中的ClickHouse数据库、表对象DDL、业务数据迁移到新建集群中。 迁移方案原理介绍 Replicated*MergeTree引擎的复制表迁移:
class); job.setOutputValueClass(Text.class); // HBase提供工具类添加HBase运行依赖到Job TableMapReduceUtil.addDependencyJars(job);
class); job.setOutputValueClass(Text.class); // HBase提供工具类添加HBase运行依赖到Job TableMapReduceUtil.addDependencyJars(job);