检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
IDEA中导出的jar包复制到“lib”目录下,并解压。 若业务需要访问外部组件,其所依赖的配置文件请参考相关开发指引,获取到配置文件后将配置文件放在1中指定的目录下。 若业务需要访问外部组件,其所依赖的jar包请参考相关开发指引,获取到jar包后将jar包放在1中指定的目录下。 在IntelliJ IDEA样例工程
$2}'命令,获取当前omm用户CGroup任务使用数;执行echo $(systemctl status user-$(id -u).slice | grep limit | awk -F ' ' '{print $4}') | sed -e 's/)//g'获取omm用户最大CGroup任务数。
HSConsole 对外提供数据源信息管理,计算实例管理,自动化任务的查看等功能的可视化操作界面和RESTful接口。 HSFabric 提供跨域(DC)高性能安全数据传输。 引擎层 Coordinator HetuEngine计算实例的管理节点,提供SQL接收、SQL解析、生
使用omm用户执行gsql -p 20051 -U omm -W password -d hivemeta登录Hive元数据库。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 执行select * from pg_locks;没有发现锁等待。
用户需要在HBase中对指定的数据库或表设置权限,才能够创建表、查询数据、删除数据、插入数据、更新数据以及授权他人访问HBase表。 仅开启了Kerberos认证的集群(安全模式)支持创建HBase角色。 如果当前组件使用了Ranger进行权限控制,须基于Ranger配置相关策略进行权限管理,具体操作可参
为弹性云服务器申请和绑定弹性公网IP”。 为MRS集群开放安全组规则。 在集群Master节点和Core节点的安全组添加安全组规则使弹性云服务器可以访问集群。请参见“虚拟私有云 > 用户指南 > 安全性 > 安全组 > 添加安全组规则”。 将集群中master节点的“/opt/Bigdata/jdk1
快速使用CDL创建数据同步作业 操作场景 CDL支持多种场景的数据同步或比较任务,本章节指导用户通过开启Kerberos认证的集群的CDLService WebUI界面从PgSQL导入数据到Kafka,更多CDL作业示例请参见创建CDL作业。 前提条件 集群已安装CDL、Kafka服务且运行正常。
在本示例中,使用MRS集群内置的Flink WordCount作业程序,来分析OBS文件系统中保存的源数据,以统计源数据中的单词出现次数。 当然您也可以获取MRS服务样例代码工程,参考Flink开发指南开发其他Flink流作业程序。 操作流程 本实践操作流程如下所示: 步骤1:创建MRS集群:
/opt/female/SparkHivetoHbase-1.0.jar 运行Python样例程序 由于pyspark不提供Hbase相关api,本样例使用Python调用Java的方式实现。将所提供 Java代码使用maven打包成jar,并放在相同目录下,运行python程序时
屏幕解锁 下载认证凭据 用户越权操作 用户账号解锁 用户账号锁定 屏幕锁定 导出用户 导出用户组 导出角色 集群 启动集群 停止集群 重启集群 滚动重启集群 重启所有过期实例 保存配置 同步集群配置 定制集群监控指标 配置监控转储 保存监控阈值 下载客户端配置 北向Syslog接口配置 北向SNMP接口配置
cd /opt/客户端安装目录 source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit MRS集群用户 该用户必须具有Clickhouse管理员权限。 执行命令clickhouse
that are allowed to be modified at runtime( state=42000,code=1) 原因分析 在安全模式下配置白名单启停参数hive.security.whitelist.switch时,需要运行的参数必须在hive.security.authorization
修改OMS服务配置 根据用户环境的安全要求,管理员可以在FusionInsight Manager修改OMS中Kerberos与LDAP配置。 本章节仅适用于MRS 3.x及以后版本。 修改OMS服务配置对系统的影响 修改OMS的服务配置参数后,需要重启对应的OMS模块,此时FusionInsight
使用Python提交Flink SQL作业 获取样例工程“flink-examples/pyflink-example/pyflink-sql”中的“pyflink-sql.py”和“datagen2kafka.sql”。 参考准备本地应用开发环境将准备好的Python虚拟环境打包,获取“venv.zip”文件。
小于5分钟。MRS集群的时间可通过MRS Manager页面右上角查看,如图1所示。 图1 MRS集群的时间 操作步骤 参考获取MRS应用开发样例工程获取OpenTSDB示例工程。 在OpenTSDB示例工程根目录,执行mvn install编译。 在Opentsdb示例工程根目录,执行mvn
行该操作。 使用HDFS文件系统接口或者HBase接口删除或修改Hive表对应的文件 该操作会导致Hive业务数据丢失或被篡改。 除非确定丢弃这些数据,或者确保该修改操作符合业务需求,否则不要执行该操作。 使用HDFS文件系统接口或者HBase接口修改Hive表对应的文件或目录访问权限
执行以下命令,配置环境变量。 source /opt/client/bigdata_env 启用Kerberos认证的集群,执行以下命令认证用户身份。未启用Kerberos认证的集群无需执行本步骤。 kinit Kafka用户 根据业务需要,管理Kafka主题中的消息。 在主题中产生消息
使用CarbonData前需先创建表,才可从表中加载数据和查询数据。 使用自定义列创建表 可通过指定各列及其数据类型来创建表。启用Kerberos认证的分析集群创建CarbonData表时,如果用户需要在默认数据库“default”以外的数据库创建新表,则需要在Hive角色管理中为用户绑
HostName 产生告警的主机名。 对系统的影响 告警发生时,不能对集群中的组件KrbServer进行任何操作。其它组件的KrbServer认证将受影响。集群中依赖KrbServer的组件健康状态将为故障。 可能原因 组件KrbServer服务所在节点故障。 OLdap服务不可用。
压缩编解码器:Snappy,GZIP,Deflate,BZIP。 常见的数据访问接口包括: JDBC驱动程序。 ODBC驱动程序。 Hue beeswax和Impala查询UI。 Impala-shell命令行接口。 支持Kerberos身份认证。 Impala主要应用于实时查询数据的离线分析(如日志分