检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在应用开发过程中,如需在本地Windows系统中调测应用程序,需要确保本地节点能与“hosts”文件中所列出的各主机在网络上互通。 如果当前节点与MRS集群所在网络平面不互通,可以通过绑定EIP的方式访问MRS集群,具体操作请参考配置Windows通过EIP访问安全模式集群HBase。 Windows本地hosts文
获取对接OBS的AK、SK和Endpoint信息。 获取AK/SK 登录华为云管理控制台,在“控制台”页面,鼠标移动至右上方的用户名,在下拉列表中选择“我的凭证”。 单击“访问密钥”页签,您可以在访问密钥列表中查看访问密钥ID(AK),在下载的.csv文件中查看秘密访问密钥(SK)
可参考验证加密是否配置成功验证加密是否配置成功。 如果用户已按照1到4配置了SMS4或AES加密,但是在执行5创建表时,未设置对应的加密参数,使得插入的数据未经加密。 此时,您可以执行如下步骤对之前插入的数据进行加密。 针对表执行flush操作,将内存中的数据导入到HFile中。 flush'<table_name>'
本地和MRS集群网络互通时,可以直接在本地进行调测运行。 在开发环境IntelliJ IDEA工程“clickhouse-examples”中单击“Run 'Demo'”运行应用程序工程。 图2 运行ClickHouse Demo程序 控制台显示部分运行结果如下,可以看到ClickHouse表创建成功并插入数据。
JDBCServer是一个JDBC接口,用户可以通过JDBC连接JDBCServer来访问SparkSQL的数据。JDBCServer在启动的时候,会启动一个sparkSQL的应用程序,而通过JDBC连接进来的客户端共同分享这个sparkSQL应用程序的资源,也就是说不同的用户之间可以共享数据。JDBCS
连接驱动包 --help 帮助信息 --password 连接数据库密码 --username 连接数据库的用户名 --verbose 在控制台打印详细信息 import参数 --fields-terminated-by 设定字段分隔符,和Hive表或hdfs文件保持一致 --lines-terminated-by
JDBCServer是一个JDBC接口,用户可以通过JDBC连接JDBCServer来访问SparkSQL的数据。JDBCServer在启动的时候,会启动一个sparkSQL的应用程序,而通过JDBC连接进来的客户端共同分享这个sparkSQL应用程序的资源,也就是说不同的用户之间可以共享数据。JDBCS
输入的证书密码为用户自定义密码。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 登录MRS管理控制台。 选择“现有集群”,单击集群名称进入集群详情页面。 选择“组件管理 > Ranger > 服务配置”,修改RangerAdmin配置。 搜
ClickHouse数据批量导入 本章节适用于MRS 3.3.0及之后版本。 操作场景 当同时存在较多待导入的数据文件,用户可以使用多线程导入工具批量导入ClickHouse。 前提条件 已安装ClickHouse客户端,例如客户端安装目录为“/opt/client”。 如果集群
在应用开发过程中,如需在本地Windows系统中调测应用程序,需要确保本地节点能与“hosts”文件中所列出的各主机在网络上互通。 如果当前节点与MRS集群所在网络平面不互通,可以通过绑定EIP的方式访问MRS集群。 Windows本地hosts文件存放路径举例:“C:\WINDOWS\system32\drivers\etc\hosts”。
3.0及之后版本。 在MOTService中需要根据表中数据版本字段对表进行更新操作,MOTService外部表不支持Upsert语句,您可以使用Loader将文件从HDFS导出到MOTService从而批量更新数据。 前提条件 获取关系型数据库使用的用户和密码。 输入的数据需为CSV格式文件。
例如安装目录为“/opt/Flumeclient”。以下操作的客户端目录只是举例,请根据实际安装目录修改。 将Master1节点上的认证服务器配置文件,复制到安装Flume客户端的节点,保存到Flume客户端中“Flume客户端安装目录/fusioninsight-flume-Flume组件版本号/conf”目录下。
字符中的4种。支持的特殊字符为~`!?,.;-_'(){}[]/<>@#$%^&*+|\=。 不可和用户名相同或用户名的倒序字符相同。 不可以为常见的易破解密码。 不可与最近N次使用过的密码相同,N为密码策略配置中“重复使用规则”的值。 单击“确定”完成密码修改,使用新密码重新登录Manager页面。
务的用户名。 kinit exampleUser 普通模式,执行5。 配置Hue。 spark2x环境配置(如果不涉及spark2x任务,可以跳过此步骤): hdfs dfs -put /opt/client/Spark2x/spark/jars/*.jar /user/oozi
java”文件中修改“TOPIC”变量,例如:public final static String TOPIC = "kafka-topic"。 可以通过修改“KafkaConsumerMultThread.java”文件中的“CONCURRENCY_THREAD_NUM”参数值调整消费者线程数量。
DistCp、SQL类(SparkSQL、HiveSQL等)作业类型无法克隆。 该功能暂时仅在北京四region开放,如需体验,请联系运维人员。 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 选择“作业管理”。 在需要克隆作业的对应的“操作”列中,单击“克隆”,弹出“克隆作业”对话框。
操作场景 在MRS 3.2.0-LTS.1及后续版本中,MRS集群内组件默认支持数据防误删策略,在基于OBS的Hadoop大数据系统中,客户可以兼容使用Hadoop FS原生的垃圾回收功能。 组件用户删除的文件数据并不会直接被删除,而是会保存到OBS文件系统内的用户回收站目录中,本
在集群创建完成后,此时Ranger不会对用户访问Hive和HBase组件的权限进行控制。 使用Ranger管理各组件权限时,如管理hive表权限,在管理控制台或者客户端提交hive作业(操作hive数据表),可能会提示当前用户没有权限,需要在Ranger中给提交作业的用户配置具体数据库或者表权限,
务的用户名。 kinit exampleUser 普通模式,执行5。 配置Hue。 Spark2x环境配置(如果不涉及spark2x任务,可以跳过此步骤): hdfs dfs -put /opt/client/Spark2x/spark/jars/*.jar /user/oozi
过滤器 过滤器提供了非常强大的特性来帮助用户提高HBase处理表中数据的效率。用户不仅可以使用HBase中预定义好的过滤器,而且可以实现自定义的过滤器。 协处理器 允许用户执行region级的操作,并且可以使用与RDBMS中触发器类似的功能。 Client 客户端直接面向用户,可通过Java