检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
否则以HTTPS访问不了HDFS。单击“保存配置”,并勾选“重新启动受影响的服务或实例。”,单击“是”,重启HDFS服务。 TLSv1协议存在安全漏洞,请谨慎使用。 登录MRS Manager页面,单击“服务管理 > HDFS > 服务配置”,在“参数类别”选择“全部配置”,在“搜索”框里搜索“dfs
Manager中下载principal用户的认证凭证,样例代码中使用的用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器
Python3开发环境(使用Python样例工程需配置)适用于MRS 3.3.0及以后版本 准备项 说明 Python3 用于开发HetuEngine Python应用程序的工具,版本要求不低于3.6,最高不超过3.9。 安装setuptools Python3开发环境的基本配置,版本如47.3.1。 jaydebeapi
选择“保存 > 确定”后等待操作成功。 滚动重启Yarn服务,输入密码并单击“确定”后等待操作成功。 进入主管理节点重启AOS服务。 使用PuTTY工具以omm用户登录主OMS服务器。 执行以下命令,防止“PuTTY”超时退出。 TMOUT=0 执行完本章节操作后,请及时恢复超时退出时间,
在集群内任一节点启动netcat命令,等待应用程序连接。 netcat -l -p 9000 若回显提示“command not found”,请用户自行安装netcat工具后再次执行。 启动程序接受Socket数据,并执行联合查询。 bin/flink run --class com.huawei.bigdata
生额外的费用。详细操作步骤请参见删除MRS集群。 相关信息 更多HBase权限管理、使用索引及全局二级索引查询表数据、使用BulkLoad工具迁移HBase数据等操作请参见使用HBase。
远端节点上部署路径若已存在,该路径下不能包含任何文件。若不存在,该路径会被创建。登录远端节点用户需要对该路径具有执行和写权限。 使用WinSCP工具,以客户端安装用户将压缩文件保存到客户端安装的目录,例如“/opt/hadoopclient”。 解压软件包。 例如下载的客户端文件为“F
ckHouse集群整体迁移到另外一个机房的新集群当中。 为了解决上述场景下对搬迁能力的要求,MRS提供了ClickHouse集群数据一键式工具搬迁能力,将源集群中的ClickHouse数据库、表对象DDL、业务数据迁移到新建集群中。 迁移方案原理介绍 Replicated*MergeTree引擎的复制表迁移:
class); job.setOutputValueClass(Text.class); // HBase提供工具类添加HBase运行依赖到Job TableMapReduceUtil.addDependencyJars(job);
值对应的字段,设置为时间类型,才能精确到秒并完成导入。数据中包含比秒更精确的部分不会被导入。 导入到Hive分区表内表时,Hive默认不会扫描新导入的数据,需要执行如下HQL修复表才可以查询到新导入数据: MSCK REPAIR TABLE table_name; 转换步骤配置不
值对应的字段,设置为时间类型,才能精确到秒并完成导入。数据中包含比秒更精确的部分不会被导入。 导入到Hive分区表内表时,Hive默认不会扫描新导入的数据,需要执行如下HQL修复表才可以查询到新导入数据: MSCK REPAIR TABLE table_name; 转换步骤配置不
class); job.setOutputValueClass(Text.class); // HBase提供工具类添加HBase运行依赖到Job TableMapReduceUtil.addDependencyJars(job);
Manager界面上看不到该客户端的相关信息。 “-c”(可选):指定业务配置文件,该文件需要用户根据自己业务生成,具体操作可在Flume服务端中“配置工具”页面参考Flume业务配置指南章节生成,并上传到待安装客户端节点上的任一目录下。如果安装时未指定(即不配置该参数),可在安装后上传已经生成的业务配置文件properties
clickhouse-examples > Lifecycle > install”,双击“install”运行maven的insatll命令。 图2 maven工具的clean和install 将target目录下的clickhouse-examples-*.jar文件和“clickhouse-exa
ce /opt/hiveclient/bigdata_env 执行以下命令认证用户。 kinit Hive业务用户 执行以下命令登录客户端工具。 beeline 执行以下命令更新用户的管理员权限。 set role admin; 创建库表操作 在“Policy Name”填写策略名称。
退服操作仅针对ClickHouseServer进行,不支持对ClickHouseBalancer进行退服操作。 本操作仅适用于MRS 3.1.2及之后版本。 使用PuTTY工具,以root用户登录ClickHouseServer所在节点,执行如下命令: echo 'select * from system.clusters'
class); job.setOutputValueClass(Text.class); // HBase提供工具类添加HBase运行依赖到Job TableMapReduceUtil.addDependencyJars(job);
Httpd:/var/log/Bigdata/httpd(httpd安装、运行日志) logman:/var/log/Bigdata/logman(日志打包工具日志) NodeAgent:/var/log/Bigdata/nodeagent(NodeAgent安装、运行日志) okerberos:
如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 新特性 支持在Hue WebUI中使用HetuEngine SQL编辑器。 运维巡检工具查询优化。 Flink流读Hudi新增了对消息滞留时间和消息堆积时间的监控。 解决的问题 MRS 3.2.0-LTS.1.5修复问题列表:
> 样例工程名称 > Lifecycle > install”,双击“install”运行maven的install命令。 图2 maven工具clean和install 方法二:在IDEA的下方Terminal窗口进入“pom.xml”所在目录,手动输入mvn clean install命令进行编译。