检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FlinkServer支持上传、管理UDF。 Guardian 新增组件,支持存算分离场景下集群外客户端委托功能。 Hadoop 普通集群访问HDFS Web UI需要进行CAS认证。 Hudi 升级到0.9.0版本。 Impala 支持在MRS Manager页面上进行Impala
'properties.zookeeper.znode.parent' = '/hbase' 多服务场景中,会存在hbase1,hbase2,需明确要访问的集群。 'properties.hbase.security.authorization' = 'true' 开启鉴权。 'properties
hdfs://hacluster,ns1/tmp/logs 给用户指定日志归集的NameService,参考格式如下(默认聚合路径必须在最前面): hdfs://hacluster/tmp/logs;[username]hdfs://logcluster/tmp/logs 给用户和Queue User指定日志归
Configurations”,在弹出的会话框中设置运行用户。 -DHADOOP_USER_NAME=test 图1 参数配置 用户可向管理员咨询运行用户。test在这里只是举例,若需运行Colocation相关操作的样例代码,则此用户需属于supergroup用户组。 若已按照1设置环境变量,则直接
when语句),这种情况下,通过codegen生成的Java代码中函数的大小就可能会超过64KB,从而导致编译失败。 规避措施: 当出现上述问题时,用户可以通过关闭钨丝计划,关闭使用codegen的方式来生成Java代码的功能,从而确保语句的正常执行。即在客户端的“spark-defaults
d命令行中加入如下参数。 表1 增强BulkLoad效率的配置项 参数 描述 配置的值 -Dimporttsv.mapper.class 用户自定义mapper通过把键值对的构造从mapper移动到reducer以帮助提高性能。mapper只需要把每一行的原始文本发送给reduc
因此当队列存放的速度大于获取的速度时,就会导致队列溢出,从而丢失了溢出的事件,影响了UI、EventLog、动态资源调度等功能。所以为了更灵活的使用,在这边添加一个配置项,用户可以根据Driver的内存大小设置合适的值。 配置描述 参数入口: 在执行应用之前,在Spark服务配置中修改。在Manager系统中,选择“集群
IDEA开发环境中,确认配置HetuEngine应用安全认证中得到的“user.keytab”和“krb5.conf”文件放到“resources”目录下,并根据实际路径和用户名修改“jaas-zk.conf”文件中的配置参数。 图1 将认证文件放置在resources目录下 单击IDEA右侧Maven导入依赖。
因此当队列存放的速度大于获取的速度时,就会导致队列溢出,从而丢失了溢出的事件,影响了UI、EventLog、动态资源调度等功能。所以为了更灵活的使用,在这边添加一个配置项,用户可以根据Driver的内存大小设置合适的值。 配置描述 参数入口: 在执行应用之前,在Spark服务配置中修改。在Manager系统中,选择“集群
时,HMaster在启动期间等待所有region server的WAL分割,以避免数据不一致问题。一旦WAL分割完成,HMaster将进行用户region的分配。所以当在集群异常的场景下,WAL分割可能需要很长时间,这取决于多个因素,例如太多的WALs,较慢的I/O,region
数是static函数,当用例中的KafkaPartitioner对象是非static时,ClosureCleaner::clean函数无法访问KafkaDelegatePartitioner类内的非static成员变量kafkaPartitioner,导致报错。 解决方法如下,两者任选其一:
sg.d1.s2)” 和“ example(root.sg.d1.s2, root.sg.d1.s2)”的结果。 带自定义输入参数的查询 用户可以在进行UDF查询的时候,向UDF传入任意数量的键值对参数。键值对中的键和值都需要被单引号或者双引号引起来。 键值对参数只能在时间序列后传入。
DROPPING:索引正在被删除,跳过生成该索引的索引数据,查询数据时无法使用该索引。 基于工具的索引状态修改,支持图1所示的状态转换。 图1 索引状态转换图 场景介绍 用户可以使用全局二级索引工具禁用/启用某个索引。 修改HBase全局二级索引状态 在HBase客户端执行以下命令可禁用/启用某个索引: hbase
对于不同类型的应用,希望以不同方式处理AM重启的事件。MapReduce类应用的目标是不丢失任务,但允许丢失当前运行的Container。但是对于长周期的YARN服务而言,用户可能并不希望由于AM的故障而导致整个服务停止运行。 YARN支持在新的ApplicationAttempt启动时,保留之前Containe
依次按照访问频度从高到低、维度基数从小到大来排。排序字段不宜太多,建议不超过4个,否则merge的压力会较大。排序字段不允许为null,如果存在null值,需要做数据转换。 primary key:主键字段 创建主键索引,值为排序字段的前导列,否则不允许创建表,为访问频率最高的
参考获取MRS应用开发样例工程,获取样例代码解压目录中“src”目录下的样例工程“hdfs-example-security”。 将准备MRS应用开发用户时得到的keytab文件“user.keytab”和“krb5.conf”文件放到样例工程的“conf”目录下。 安装IntelliJ I
命周期。 华为提供开源镜像站,各服务样例工程依赖的Jar包通过华为开源镜像站下载,剩余所依赖的开源Jar包请直接从Maven中央库或者其他用户自定义的仓库地址下载,详情请参考配置华为开源镜像仓。 7-zip 用于解压“*.zip”和“*.rar”文件,支持7-Zip 16.04版本。
ces”。 进入目录“/opt/client”,首先确保“src/main/resources”目录下和依赖库文件目录下的所有文件,对当前用户均具有可读权限。同时保证已安装jdk并已设置Java相关环境变量,然后执行命令,运行样例工程,例如: java -cp /opt/clie
directory</name> <value>[1]查询中间结果的临时目录</value> </property> JAVA样例:使用JDBC接口访问HBase public String getURL(Configuration conf) {
directory</name> <value>[1]查询中间结果的临时目录</value> </property> JAVA样例:使用JDBC接口访问HBase public String getURL(Configuration conf) {