检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
kafka_topic_list 是 Kafka的topic列表。 kafka_group_name 是 Kafka的Consumer Group名称,可以自己指定。 kafka_format 是 Kafka消息体格式。例如JSONEachRow、CSV、XML等。 kafka_row_delimiter
、表和列的权限。 Hive使用场景及对应权限 用户使用Hive并创建数据库需要加入hive组,不需要角色授权。用户在Hive和HDFS中对自己创建的数据库或表拥有完整权限,可直接创建表、查询数据、删除数据、插入数据、更新数据以及授权他人访问表与对应HDFS目录与文件。 如果用户访
kafka_topic_list 是 Kafka的topic列表。 kafka_group_name 是 Kafka的Consumer Group名称,可以自己指定。 kafka_format 是 Kafka消息体格式。例如JSONEachRow、CSV、XML等。 kafka_row_delimiter
不同集群的“user.keytab”、“krb5.conf”不能共用。 “conf”目录下的“log4j.properties”文件,客户可根据自己的需要进行配置。 检查客户端节点网络连接。 在安装客户端过程中,系统会自动配置客户端节点“hosts”文件,建议检查“/etc/hosts
配置Flink通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,即可在Flink客户端访问OBS并行文件系统并运行作业。 Flink对接OBS 使用安装客户端的用户登录Flink客户端安装节点。 执行如下命令初始化环境变量。 source
“multiplexing”表示根据分发规则,有选择地发给某些channel。 interceptors - 拦截器配置。详细配置可参考Flume官方文档:https://flume.apache.org/FlumeUserGuide.html#flume-interceptors。 仅可在“properties
IoTDB性能调优 配置场景 IoTDB主要利用堆内存完成读写操作。提高IoTDB内存可以有效提高IoTDB读写性能。 配置描述 登录集群FusionInsight Manager页面,选择“集群 > 服务 > IoTDB > 配置 > 全部配置”,进入IoTDB配置界面搜索并修改参数。
27 16/02/24 15:45:42 INFO mapreduce.Job: The url to track the job: https://linux1:8090/proxy/application_1455853029114_0027/ 16/02/24 15:45:42
企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理,您可以选择系统定义的企业项目default或者创建自己的企业项目。 default 通信安全授权 MRS管理控制台需要直接访问部署在用户VPC内的大数据组件时需要开通相应的安全组规则,详情说明请参考配置MRS集群安全通信授权。
job命令,运行工作流文件。 oozie job -oozie https://oozie角色的主机名:21003/oozie -config job.properties文件所在路径 -run 例如: oozie job -oozie https://10-1-130-10:21003/oozie
表支持级联授权功能。 Hive使用场景及对应权限 使用Hive并创建数据库需要加入hive组,不需要角色授权。用户在Hive和HDFS中对自己创建的数据库或表拥有完整权限,可直接创建表、查询数据、删除数据、插入数据、更新数据以及授权他人访问表与对应HDFS目录与文件。 如果用户访
理等操作。集群中组件的使用指导可以详细参考组件操作指南。 如果您是一个开发者,可以参考MRS提供的开发指南操作指导及样例工程开发并运行调测自己的应用程序。您也可以通过API调用完成MRS集群管理、作业执行等相关操作,您可以参考《API参考》获取详情。
业是RUNNING的问题 解决FlinkServer使用println打印日志将磁盘打满导致Yarn不可用的问题 解决Flink客户端ssl证书过期导致Flink任务提交失败问题 解决Flink写Hbase,获取的Hbase Connect7天超期,报Token has expired问题
如何获取Topic的分布信息 用户问题 如何获取Topic在Broker实例的分布信息? 前置操作 前提条件 已安装Kafka、ZooKeeper客户端。 操作步骤 以客户端安装用户,登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录,例如“/opt/client”。
配置Flink通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后,即可在Flink客户端访问OBS并行文件系统并运行作业。 Flink对接OBS 使用安装客户端的用户登录Flink客户端安装节点。 执行如下命令初始化环境变量。 source
ad/xx”并访问修改后的URL,其中xx为3中获取的ID,如下所示: https://10.94.9.243:9022/component/Impala/StateStore/108/ 修改为: https://10.94.9.243:9022/component/Impala/Impalad/107/
配置Spark数据传输加密 操作场景 本章节指导用户设置Spark安全通道加密,以增强安全性。 该章节仅适用于MRS 3.x及之后版本。 配置Spark数据传输加密 参数修改入口:登录Manager页面,选择“集群 > 服务 > Spark > 配置”,展开“全部配置”页签,在搜索框中输入相关参数名称。
添加GAUSSDB数据源 本章节指导用户在HSConsole界面添加GaussDB类型的JDBC数据源。 添加GAUSSDB数据源前提条件 数据源所在集群与HetuEngine集群节点网络互通。 在HetuEngine所在集群的所有节点的“/etc/hosts”文件中,添加待对接
setProperty("java.security.krb5.conf", krb5); String url = "https://"+hostName+":28943/flink/v1/tenants"; String jsonstr = "{"
Kafka应用开发常见问题 Kafka常用API介绍 使用Kafka客户端SSL加密 配置Windows通过EIP访问集群Kafka 运行样例时提示Topic鉴权失败“TOPIC_AUTHORIZATION_FAILED” 运行Producer.java样例报错获取元数据失败“ERROR