检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
全模式集群中进行身份认证并访问资源。 集群互信概念介绍 域 每个系统用户安全使用的范围定义为“域”,不同的Manager系统需要定义唯一的域名。跨Manager访问实际上就是用户跨域使用。 用户加密 配置跨Manager互信,当前Kerberos服务端仅支持并使用“aes256-
<urilist_uri> 将<urilist_uri>文件的内容作为需要拷贝的文件列表。 -filters 指定一个本地文件,其文件内容是多条正则表达式。当被拷贝的文件与某条正则表达式匹配时,则该文件不会被拷贝。 -async 异步运行distcp命令。 -atomic {-tmp <tmp_dir>}
Hive分区修剪的谓词下推增强 配置场景 在旧版本中,对Hive表的分区修剪的谓词下推,只支持列名与整数或者字符串的比较表达式的下推,在2.3版本中,增加了对null、in、and、or表达式的下推支持。 配置参数 登录FusionInsight Manager系统,选择“集群 >
SHOW COLUMNS 语法 SHOW COLUMNS [FROM | IN] table 描述 这个表达式用于列出指定表的列信息。 示例 列出fruit表的列信息: SHOW COLUMNS FROM fruit; SHOW COLUMNS IN fruit; 父主题: HetuEngine
指南。 在构造API请求前,需要获取以下信息,包括组成请求URL的Endpoint和URI,用于签名和认证的AK/SK,用于区分租户的项目ID。 表1 信息收集项 Endpoint 地区与终端节点,即云服务在不同Region有不同的访问域名。 获取方式请参考终端节点及区域。 Project_Id
情页面。 选择“概览”页签,在基本信息区域获取“集群ID”。 图1 集群ID 获取作业ID 在调用作业相关接口的时候,部分URL中需要填入作业ID(job_execution_id),所以需要先在管理控制台上获取到作业ID。作业ID获取步骤如下: 登录MRS管理控制台。 选择“现
根据需要选择所需查阅日志时长,也可以单击自定义“开始时间”和“结束时间”。 表1 日志检索参数 参数名 说明 检索内容 检索的关键字或正则表达式。 服务 选择所需查询日志的服务或模块。 文件 当且仅当选择服务中一个角色时,支持选择指定日志文件进行搜索。 最低日志级别 选择所需查询
anager_administrator”。 操作步骤 准备操作 使用root用户登录RTDServer所在节点,获取关系型数据库对应的驱动Jar包,本场景需要获取“opengaussjdbc-V500R002C00.jar”。 cd ${BIGDATA_HOME}/Fusion
MATCH表示每次匹配的每一个事件输出一行。 -AFTER MATCH [可选]:指定从何处开始对下一个模式匹配进行匹配成功后的处理。 -PATTERN: 将匹配模式定义为正则表达式格式。PATTERN子句中可使用以下运算符: 连接运算符,量词运算符(*,+,?,{n},{n,}, {n,m}, {,m}),分支运算
导入(导出)文件时,支持对文件进行合并,如输入文件为海量个文件,可以合并为n个文件(n值可配) 导入(导出)文件时,可以对文件进行过滤,过滤规则同时支持通配符和正则表达式 支持批量导入/导出ETL任务 支持ETL任务分页查询、关键字查询和分组管理 对外部组件提供浮动IP 父主题: Loader
权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤 是否第一次从MRS导入数据到关系型数据库? 是,执行2。 否,执行3。 修改关系型数据库对应的驱动jar包文件权限。 登录Loader服务的主备管理节点,获取关系型数据库对应的驱动jar
权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤 是否第一次从MRS导入数据到关系型数据库: 是,执行2。 否,执行3。 修改关系型数据库对应的驱动jar包文件权限。 登录Loader服务的主备管理节点,获取关系型数据库对应的驱动jar
final KTable<String, Long> counts = source // 处理接收的记录,根据正则表达式REGEX_STRING进行分割 .flatMapValues(value -> Arrays.asList(value
-site.xml”、“core-site.xml”、“hbase-site.xml”名称,获取配置文件。 方法二:通过准备运行环境配置文件中解压客户端文件的方法获取配置文件,需要在获取的“hbase-site.xml”中手动添加以下配置,其中“hbase.thrift.security
应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 场景一:准备本地Windows开发环境调测程序所需配置文件。 登录FusionInsight
应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 场景一:准备本地Windows开发环境调测程序所需配置文件。 登录FusionInsight
final KTable<String, Long> counts = source // 处理接收的记录,根据正则表达式REGEX_STRING进行分割 .flatMapValues(value -> Arrays.asList(value
在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 获取AK/SK和Endpoint信息 使用AK/SK方式对接OBS前,需参考以下操作获取对接OBS的AK、SK和Endpoint信息。 获取AK/SK 登录华为云管理控制台,在“控制台”页面,鼠标移动至右上方的用户名,在下拉列表中选择“我的凭证”。
时候将Token加到请求消息头,从而通过身份认证,获得操作API的权限。 Token可通过调用获取用户Token接口获取,调用本服务API需要project级别的Token,即调用获取用户Token接口时,请求body中auth.scope的取值需要选择project,如下所示。
说明章节获得。 “jaas-zk.conf”文件如下定义,“principal”为MRS组件应用安全认证说明中添加的认证用户名称+@+域名(域名为“krb5.conf”文件中的“default_realm”字段值,例如“HADOOP.COM”),“keyTab”为“user.keytab”文件的路径。