检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开发Hive UDF项目 本样例实现一个Hive UDF,说明见下表。 表1 Hive UDF说明 名称 说明 AutoAddOne 对输入的数字加1后返回 一个普通Hive UDF必须继承自“org.apache.hadoop.hive.ql.exec.UDF”。 一个普通Hive
不支持对存储源为OBS的表级联授权后直接进行alter操作,需要给对应用户组额外授予OBS表路径的父目录的“Read”和“Write”权限才能使用alter功能,且用户组仅由数字0~9、字母a~Z、下划线或#组成,且最大长度为52个字符,否则将导致策略添加失败,可参考管理MRS集群用户组修改用户组信息。 开启级联授权功能
pic、Broker和Consumer Group数量。 单击“Brokers”、“Topics”、“Consumer Group”下方的数字,可自动跳转至对应页面,查看并操作对应信息。 在“Cluster Action”栏,可创建Topic与分区迁移,具体操作请分别参考使用KafkaUI创建Kafka
文件。 密码复杂度要求如下,如果密码复杂度不满足如下要求,可能存在安全风险: 密码字符长度至少为8个字符 至少需要包含大写字母、小写字母、数字、特殊字符~`!?,.:;-_'(){}[]/<>@#$%^&*+|\=中的4种类型字符。 向证书中心申请证书时,请提供访问密钥文件的密码
单击,打开添加租户的配置页面,参见表1为租户配置属性。 表1 租户参数一览 参数名 描述 集群 选择要创建租户的集群。 名称 指定当前租户的名称,长度为3~50个字符,可包含数字、字母或下划线(_)。 根据业务需求规划租户的名称,不得与当前集群中已有的角色、HDFS目录或者Yarn队列重名。 租户资源类型 选择“叶子租户资源”
HetuEngine物化视图SQL示例 物化视图SQL示例请参考表1。 表1 物化视图的操作 操作 功能 物化视图SQL样例 备注 创建物化视图 (创建物化视图时,只创建了物化视图的定义,数据填充需要使用refresh materialized view name刷新物化视图数据)
搜索并修改“hbase.replication.cluster.id”参数,表示标识主集群HBase的ID,用于备集群连接主集群。参数值支持大小写字母、数字和下划线(_),长度不超过30。 重启HBase服务并安装客户端。 单击“保存”,保存配置。在弹出的窗口中单击“确定”。重启HBase服务。
successfully 客户端安装目录可以不存在,会自动创建。但如果存在,则必须为空,目录路径不能包含空格。且客户端安装目录路径只能包含大写字母、小写字母、数字以及_字符。 卸载客户端请手动删除客户端安装目录。 如果要求安装后的客户端仅能被该安装用户使用,请在安装时加“-o”参数,例如执行./install
只能由英文字母和数字组成,且长度为[1-64]个字符。 默认取值: 不涉及 cluster_id 是 String 参数解释: 集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。获取方法,请参见获取集群ID。 约束限制: 不涉及 取值范围: 只能由英文字母、数字以及“_
repo,查看yum源和系统版本信息不匹配是否匹配,如果不匹配则修改,如下所示: 修改前: 修改后: 执行如下命令,查看yum源上python2开头的软件。 yum list python2* 执行如下命令,安装Python2。 yum install python2 因为当前系统上已
查看表的Location。 show create table test_demo01; 查看表的Location是否为“obs://OBS桶名/”开头。 图8 查看表test_demo01的Location 写入数据。 insert into test_demo01 values('mm')
successfully 客户端安装目录可以不存在,系统会自动创建,如果存在则必须为空。安装目录路径不能包含空格,且只能包含大写字母、小写字母、数字以及_字符。 卸载客户端请手动删除客户端安装目录。 如果要求安装后的客户端仅能被当前安装用户使用,可在安装时添加“-o”参数,例如执行./install
HetuEngine日志介绍 日志描述 日志存储路径: HetuEngine的日志保存路径为“/var/log/Bigdata/hetuengine/”和“/var/log/Bigdata/audit/hetuengine/”。 日志归档规则: 日志归档规则采用FixedWind
jks”分别为Flume服务端、客户端SSL证书信任列表。 本章节涉及到所有的用户自定义密码,需满足以下复杂度要求: 至少包含大写字母、小写字母、数字、特殊符号4种类型字符。 至少8位,最多64位。 出于安全考虑,建议用户定期更换自定义密码(例如三个月更换一次),并重新生成各项证书和信任列表。
Storm基本原理 Apache Storm是一个分布式、可靠、容错的实时流式数据处理的系统。在Storm中,先要设计一个用于实时计算的图状结构,称之为拓扑(topology)。这个拓扑将会被提交给集群,由集群中的主控节点(master node)分发代码,将任务分配给工作节点(worker
客户端安装目录可以不存在,会自动创建。但如果存在,则必须为空,目录路径不能包含空格。且客户端安装目录路径只能包含大写字母、小写字母、数字以及_字符。 步骤三:使用ClickHouse客户端创建表 以root用户登录MRS客户端所在节点(Master1节点)。 执行以下命令切换到客户端安装目录并配置环境变量。
pic、Broker和Consumer Group数量。 单击“Brokers”、“Topics”、“Consumer Group”下方的数字,可自动跳转至对应页面,查看并操作对应信息。 在“Cluster Action”栏,可创建Topic与分区迁移,具体操作请参考增加Kafka
project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。 约束限制: 不涉及 取值范围: 只能由英文字母和数字组成,且长度为[1-64]个字符。 默认取值: 不涉及 version_name 是 String 参数解释: 集群版本。例如“MRS 3
OPTIONS('DELIMITER'=',' , 'QUOTECHAR'='"') COMMENTCHAR:可以在加载命令中提供注释字符。在加载操作期间,如果在行的开头遇到注释字符,那么该行将被视为注释,并且不会被加载。默认值为#。 OPTIONS('COMMENTCHAR'='#') FILEHEADER:如果源文件中没有表头,可在LOAD
客户端安装目录可以不存在,会自动创建。但如果存在,则必须为空,目录路径不能包含空格。且客户端安装目录路径只能包含大写字母、小写字母、数字以及_字符。 步骤三:使用HBase客户端创建表 以root用户登录MRS客户端所在节点(Master1节点)。 执行以下命令切换到客户端安装目录并配置环境变量。