检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
krb5文件。 krb5.conf Kerberos server配置信息。 不同集群的“user.keytab”、“krb5.conf”不能共用。 “conf”目录下的“log4j.properties”文件可根据自己的需要进行配置。 代码样例 如下是代码片段,详细代码请参考com
Policy”,添加HDFS权限控制策略。 根据业务需求配置相关参数。 表1 HDFS权限参数 参数名称 描述 Policy Name 策略名称,可自定义,不能与本服务内其他策略名称重复。 Policy Conditions IP过滤策略,可自定义,配置当前策略适用的主机节点,可填写一个或多个IP
输入正则表达式时,可以使用和增加或删除一条表达式。 如果已选择的表或目录不正确,可以单击“清除选中节点”清除勾选。 单击“校验”查看备份任务的配置是否正确。 校验失败可能存在以下原因: 目的端NameNode IP地址不正确。 待备份的目录或表不存在。 NameService名称不正确。 单击“确定”保存。
Sqlline接口介绍 可以直接使用sqlline.py在服务端对HBase进行SQL操作。Phoenix的sqlline接口与开源社区保持一致,请参见http://phoenix.apache.org/。 Sqlline常用语法见表1,常用函数见表2,命令行使用可以参考Phoenix命令行操作介绍章节。
参数只能在关系数据表里不存在要导入的记录时才能使用,例如要导入的HDFS中有一条id=1的记录,如果在表里已经有一条记录id=2,则更新会失败。 -input-null-string <null-string> 可选参数,如果没有指定,则字符串null将被使用。 -input-null-non-string
此处上传的驱动文件名有校验规则:Oracle数据源的驱动文件校验前缀“ojdbc”以及结尾的“jar”,中间的版本号不做校验,可以是任意字符,但是整体长度不能超过80个字符,且文件大小不超过100MB。 上传Oracle驱动文件至HetuEngine所在集群。 可通过如下两种方式: 通过Manager界面上传至HDFS:
ALM-12033 慢盘故障 告警解释 MRS 3.3.0及之后版本、MRS 3.1.0.0.10/3.1.5.0.3及之后补丁版本: 对于HDD盘,满足以下任意条件时触发告警: 系统默认每3秒采集一次数据,在30秒内至少7个采集周期的svctm时延达到1000ms。 系统默认每
Sqlline接口介绍 可以直接使用sqlline.py在服务端对HBase进行SQL操作。Phoenix的sqlline接口与开源社区保持一致,请参见http://phoenix.apache.org/。 Sqlline常用语法见表1,常用函数见表2,命令行使用可以参考Phoenix命令行操作介绍章节。
同时用户也可以在MRS页面发起日志共享,选择日志范围共享给运维人员,以便运维人员在不接触集群的情况下帮助定位问题。 MRS支持将创建集群失败的日志转储到OBS,便于运维人员获取日志进行分析。 MRS具有开放的生态,支持无缝对接周边服务,快速构建统一大数据平台。 以全栈大数据MR
router联邦场景下,如果表的根路径与根路径“/user”的目标NameService不同,在二次合并时需要手动清理放入回收站的原表文件,否则会导致合并失败。 此工具应用客户端配置,需要做性能调优可修改客户端配置文件的相关配置。 shuffle设置 对于合并功能,可粗略估计合并前后分区数的变化:
不支持对Hive Ranger策略中的“Deny Conditions”进行级联授权,即“Deny Conditions”的权限仅限制表权限,不能生成HDFS/OBS存储源端的权限。 级联授权生成的HDFS/OBS存储源端的权限弱于HDFS Ranger策略的权限,即如果已经对表的HDFS存储源设置了HDFS
Catalog时,“jdbc_url”需要添加“serverTimezone=GMT%2B8”参数,避免因源集群和当前Doris集群时区不一致导致Catalog创建失败。 如果MySQL驱动版本为6.x及之后版本,则“driver_class”值为“com.mysql.cj.jdbc.Driver”。如果MySQL驱动版本为5
Policy”,添加HDFS权限控制策略。 根据业务需求配置相关参数。 表1 HDFS权限参数 参数名称 描述 Policy Name 策略名称,可自定义,不能与本服务内其他策略名称重复。 Policy Conditions IP过滤策略,可自定义,配置当前策略适用的主机节点,可填写一个或多个IP
29903; 搜索“server.port”,获取HSBroker的端口号,安全模式默认为29860,普通模式默认29861; 如果连接不成功,请关闭代理重试。 单击“添加文件”,上传步骤二:获取JDBC jar包并配置主机映射中获取的JDBC驱动包。 单击“找到类”,自动获取驱
在创建MRS集群之前,请先注册华为账号并开通华为云,进行实名认证。 如果您已开通华为云并进行实名认证,请忽略此步骤。 请您保证账户有足够的资金,以免创建MRS集群失败,具体操作请参见账户充值。 已准备具有创建MRS集群权限的IAM用户,详细操作请参见创建IAM用户并授权使用MRS。 操作视频 使用Kaf
mapreduce-examples-1.0.jar适用于MRS 1.x版本。 在MapReduce任务运行过程中禁止重启HDFS服务,否则可能会导致任务失败。 运行样例工程前需要根据实际环境修改认证信息。 针对开启Kerberos认证的安全集群,代码中的“principal”请根据实际环境修改
router联邦场景下,如果表的根路径与根路径“/user”的目标NameService不同,在二次合并时需要手动清理放入回收站的原表文件,否则会导致合并失败。 此工具应用客户端配置,需要做性能调优可修改客户端配置文件的相关配置。 shuffle设置 对于合并功能,可粗略估计合并前后分区数的变化:
自定义表值函数,支持一个或多个输入参数,可返回多行多列。详情请参考UDTF java代码及SQL样例。 上传UDF至FlinkServer 准备UDF jar文件,大小不能超过200MB。 访问Flink WebUI,请参考访问FlinkServer WebUI界面。 单击“UDF管理”进入UDF管理页面。
Hudi源表类型为Merge On Read时,可以映射为Hive的两张外部表(ro表和rt表),ro表提供读优化视图查询,rt表提供实时视图查询以及增量视图查询。 不能对Hudi表映射的Hive外部表做增删改操作(即insert、update、delete、load、merge、alter、msck),只支持查询操作(select)。
端主机的安全组配置,确保用户名密码正确,及远端主机的安全组已增加SSH(22)端口的入方向规则。然后从3执行重新下载客户端。 连接到服务器失败,请检查网络连接或参数设置。 图1 下载客户端 选择“Flume”服务,单击“实例”,查看任意一个Flume实例和两个MonitorServer实例的“业务IP”。