检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
bigdata_env 集群已启用Kerberos认证(安全模式): kinit 组件业务用户 clickhouse client --host 上报告警的ClickHouseServer实例IP --port 9440 --secure 集群未启用Kerberos认证(普通模式):
bigdata_env 集群已启用Kerberos认证(安全模式): kinit 组件业务用户 clickhouse client --host 上报告警的ClickHouseServer实例IP --port 9440 --secure 集群未启用Kerberos认证(普通模式):
数为“true”后重启ZooKeeper服务。 修改MRS集群系统域名 登录FusionInsight Manager。 选择“系统 > 权限 > 域和互信”。 图1 域和互信 修改相关参数。 表2 相关参数 参数 示例 参数说明 本端域 MRSTEST.COM 填写本系统规划好的域名。
bigdata_env 集群已启用Kerberos认证(安全模式): kinit 组件业务用户 clickhouse client --host 上报告警的ClickHouseServer实例IP --port 9440 --secure 集群未启用Kerberos认证(普通模式):
如图2所示: 图2 数据传输生命周期 接收数据(蓝色箭头) Receiver将数据流分成一系列小块,存储到Executor内存中。另外,在启用预写日志(Write-ahead Log,简称WAL)以后,数据同时还写入到容错文件系统的预写日志中。 通知Driver(绿色箭头) 接收
p的进程不受cpu使用率限制。 “-l”(可选):日志路径,默认值为“/var/log/Bigdata”(“user”用户需要对此目录有写权限)。首次安装客户端会生成名为flume-client的子目录,之后安装会依次生成名为“flume-client-n”的子目录,n代表一个序
Records存储为NULL来自动校正数据。 REDIRECT:无法加载Bad Records,并将其写入BAD_RECORD_PATH下的CSV文件中,默认不开启该类型,如需使用该类型,需要设置参数carbon.enable.badrecord.action.redirect为true。 IGNORE:既不加载Bad
行。 示例 在mv catalog和数据存储的catalog(示例中使用的数据存储的catalog为Hive)中创建相同的schema,并启用物化视图“查询重写”。 hetuengine:tpcds_2gb> set session materialized_view_rewrite_enabled=true;
alterGlobalIndicesUnusable() 禁用用户指定的索引,使其不再可用于scan/filter操作。 alterGlobalIndicesActive() 启用用户指定的索引,使其可用于scan/filter操作。 alterGlobalIndicesInactive() 禁用用户指定的索引,且放
登录FusionInsight Manager。 选择“审计 > 配置”。 单击“审计日志转储”右侧的开关。 “审计日志转储”默认为不启用,开关显示为表示启用。 根据表1填写转储参数。 图1 转储参数 表1 审计日志转储参数 参数 示例 参数说明 SFTP IP 模式 IPv4 目标I
单击“保存”。 查看作业 访问Loader页面,默认显示Loader作业管理页面。 如果集群启用了Kerberos认证,则默认显示所有当前用户创建的作业,不支持显示其他用户的作业。 如果集群未启用Kerberos认证,则显示集群中全部的作业。 在“Sqoop作业”中输入指定作业的名称或连接类型,可以筛选该作业。
广告请求事件、广告展示事件、广告点击事件到达流处理引擎的时间不能保证有序和时间对齐 数据规划 在kafka中生成模拟数据(需要有Kafka权限用户)。 java -cp $SPARK_HOME/conf:$SPARK_HOME/jars/*:$SPARK_HOME/jars/st
小于partitions数量时)。 consumer实际上是靠存储在zk中的临时节点来表明针对哪个topic的哪个partition拥有读权限的。所在路径为:/consumers/consumer-group-xxx/owners/topic-xxx/x。 当触发负载均衡后,原来
广告请求事件、广告展示事件、广告点击事件到达流处理引擎的时间不能保证有序和时间对齐 数据规划 在kafka中生成模拟数据(需要有Kafka权限用户)。 java -cp $SPARK_HOME/conf:$SPARK_HOME/jars/*:$SPARK_HOME/jars/st
org/。 存储在HBase中的表的典型特征: 大表(BigTable):一个表可以有上亿行,上百万列。 面向列:面向列(族)的存储、检索与权限控制。 稀疏:表中为空(null)的列不占用存储空间。 MRS服务支持HBase组件的二级索引,支持为列值添加索引,提供使用原生的HBase接口的高性能基于列过滤查询的能力。
delete.topic.enable = true”) 支持为已有主题增加分区 支持更新现有主题的配置 可以为分区级别和主题级别度量标准启用JMX查询 父主题: 使用Kafka
-example”目录下。 执行Jar包。 加载环境变量。 source /opt/client/bigdata_env 认证集群用户(未启用kerberos的集群可跳过此步骤)。 人机用户:kinit kerberos用户 机机用户: kinit -kt 认证文件路径 kerberos用户
5及其以前的版本,新版本集群应为MRS1.7及其以后的版本。 迁移数据前用户应该有旧的索引数据。 安全集群需配置跨集群互信和启用集群间拷贝功能,普通集群仅需启用集群间拷贝功能。详情请参见配置跨集群互信。 操作步骤 把旧集群中的用户数据迁移至新集群中。迁移数据需单表手动同步新旧集群的
bigdata_env 集群已启用Kerberos认证(安全模式): kinit 组件业务用户 clickhouse client --host 上报告警的ClickHouseServer实例IP --port 9440 --secure 集群未启用Kerberos认证(普通模式):
enabled</name> <value>false</value> </property> 如果是安全集群,使用以下命令用户进行用户认证,如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit 用户名 启动spark-shell,执行下面的命令创建COW表存储到OBS中: import