检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
channel = c1 参数“server.sources.r1.spooldir”的值为3新建的txt文件所在目录。 参数“server.sinks.obs_sink.hdfs.path”中的值为1中新建的OBS文件系统。 将“客户端安装目录/Hive/Beeline/lib”目录
需在本地环境变量中设置环境变量认证用户名和认证用户密码,建议密文存放,使用时解密,确保安全。其中: 认证用户名为访问IoTDB的用户名。 认证用户密码为访问IoTDB的用户密码。 public class FlinkIoTDBSink { public static void main(String[]
登录MRS集群详情页面,选择“组件管理”。 单击“Flume > 实例”。 单击进入故障节点的Flume实例页面,查看指标“Sink速度指标”,检查其速度是否为0。 是,执行2.a。 否,处理完毕。 检查Flume Sink配置的IP所在节点与故障节点的网络状态。 确认Flume Sink是否是avro类型。
全部配置”,搜索参数“yarn.resourcemanager.placement-constraints.handler”,并将其“值”设置为“scheduler”,单击“保存”并确定,保存配置。 单击“实例”,勾选ResourceManager实例(主、备实例都需要重启),选择“更多
replication.enable,对于新建集群该值配置为false,因为HDFS单副本并不属于MRS服务SLA保障范围; 但是对于存量集群,为了考虑兼容性,补丁安装完成后dfs.single.replication.enable配置项值为true,保证客户业务不受影响,建议补丁完成后对
使用客户端安装用户登录客户端所在节点,切换到客户端目录: cd 客户端安装目录 执行以下命令加载环境变量: source bigdata_env 启用多实例功能后,为其他HBase服务实例进行应用程序开发时还需执行以下命令,切换指定服务实例的客户端。 例如HBase2:source /opt/client
使用具有创建CDL任务的用户或者具有管理员权限的用户登录FusionInsight Manager。 选择“运维 > 告警 > 告警”,单击“告警ID”为“45617”所在行的,在“定位信息”中查看发生该告警的作业名称。 在告警列表中,查看是否存在该任务对应的“ALM-45616 CDL任务执行异常”告警。
在初始化建立Kafka消费者实例时,设置此配置项“max.partition.fetch.bytes”的值。 例如,参考本例,可以将此配置项设置为“5252880”: ...... // 安全协议类型 props.put(securityProtocol, kafkaProc.getV
“$BIGDATA_HOME/FusionInsight_BASE_x.x.x/install/FusionInsight-dbservice-2.7.0”为DBService工作区安装目录,请按照实际环境进行修改。 进入“$BIGDATA_HOME/FusionInsight_BASE_x.x.
用户就可以基于已有权限对云服务进行操作。 权限根据授权的精细程度,分为角色和策略。角色以服务为粒度,是IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。策略以API接口为粒度进行权限拆分,授权更加精细,可以精确到某个操作、资源和条件,能够满足企业对权限最小化的安全管控要求。
it-symbol.tar.gz cd symbols/bin/ 找到与告警中进程名称相同的符号表文件,如“cm_agent”对应的符号表为“cm_agent.symbol”。 将找到的符号表复制至“${GAUSSHOME}/bin”目录下。 使用gdb --batch -n -ex
本章节内容仅适用于MRS 3.1.2及之后版本。 前提条件 已登录Manager。 登录角色拥有Manager管理员权限。 将RSGroup最小节点数设置为下述三种情况的最大值。 为了保证服务的可靠性,RSGroup内的RegionServer节点数量需要配置一定的冗余量,确保冗余节点数 >(R
gionServer实例的规则。 前提条件 已登录Manager。 登录角色拥有Manager管理员权限。 将RSGroup最小节点数设置为下述三种情况的最大值。 为了保证服务的可靠性,RSGroup内的RegionServer节点数量需要配置一定的冗余量,确保冗余节点数 > (
expr=toLowerCase(%{default_realm}%{KerberosServer})规则配置正确的域名信息。例如:修改域名为HUAWEI.COM,则配置为hadoop.huawei.com。 keytab文件获取方式 访问开启Kerberos的MRS Manager。 进入“系统设置 > 用户管理”,在指定的用户所在行单击“更多
多种客户端连接方式,支持JDBC接口。 Hive主要应用于海量数据的离线分析(如日志分析,集群状态分析)、大规模的数据挖掘(用户行为分析,兴趣分区,区域展示)等场景下。 为保证Hive服务的高可用性、用户数据的安全及访问服务的可控制,在开源社区的Hive-3.1.0版本基础上,Hive新增如下特性:
在Hue WebUI使用HBase 操作场景 用户需要使用图形化界面在集群中创建或查询HBase表时,可以通过Hue完成任务。 如需在Hue WebUI中操作HBase,当前MRS集群中必须部署HBase的Thrift1Server实例。 Thrift1Server实例默认不会安
childopts、topology.worker.childopts和worker.gc.childopts(服务端参数)有优先级,优先级大小为:topology.worker.gc.childopts > worker.gc.childopts > topology.worker.childopts。
eper侦听客户端连接的端口/kafka --partitions 2 --replication-factor 1 --topic参数值为要创建的Topic名称,本示例创建的名称为topic1 。 --zookeeper:ZooKeeper角色实例所在节点IP地址,填写三个角色
Storm与其他组件的关系 Storm,提供实时的分布式计算框架,它可以从数据源(如Kafka、TCP连接等)中获得实时消息数据,在实时平台上完成高吞吐、低延迟的实时计算,并将结果输出到消息队列或者进行持久化。Storm与其他组件的关系如图1所示: 图1 组件关系图 Storm和Streaming的关系
认证用的密码写入代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; # 本示例以密码保存在环境变量中来实现身份验证为例,运行本示例前,请先在本地环境中设置环境变量HETUENGINE_PASSWORD password = os.getenv('HETUENGINE_PASSWORD')