检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
use集群和Kafka集群在同一VPC下,网络可以互通,并安装ClickHouse客户端。 约束限制 当前ClickHouse不支持和开启安全模式的Kafka集群进行对接。 Kafka引擎表使用语法说明 语法 CREATE TABLE [IF NOT EXISTS] [db.]table_name
面向列:面向列(族)的存储、检索与权限控制。 稀疏:表中为空(null)的列不占用存储空间。 MRS服务支持HBase组件的二级索引,支持为列值添加索引,提供使用原生的HBase接口的高性能基于列过滤查询的能力。 HBase结构 HBase集群由主备Master进程和多个RegionServer进程组成。如图1所示。
未定:正在执行的作业。 成功:执行成功的作业。 终止:执行中被手动终止的作业。 失败:执行失败的作业。 说明: 作业执行成功或失败后都不能再次执行,只能重新添加作业。 队列名称 提交作业用户绑定的资源队列的名称。 作业提交时间 记录作业提交的开始时间。 作业结束时间 记录作业执行完成或手工停止的时间。
customized.configs”。 针对MRS 3.1.2版本,在“yarn.site.customized.configs”参数后添加自定义参数,名称为“yarn.timeline-service.enabled”,值为“true”。 “yarn.timeline-service
Jar作业,然后填写作业信息,单击“确定”,创建作业成功并进入作业开发界面。 (可选)如果需要立即进行作业开发,可以在作业开发界面进行作业配置。 进行作业开发时,系统支持对作业添加锁的功能,锁定作业的用户具备该作业的所有权限,其他用户不具备被锁定的作业的开发、启动和删除等权限,但可通过强制获取锁来具备作业的所有权限。
对接OBS场景中,spark-beeline登录后指定loaction到OBS建表失败 问题 对接OBS ECS/BMS集群,spark-beeline登录后,指定location到OBS建表报错失败。 图1 错误信息 回答 HDFS上ssl.jceks文件权限不足,导致建表失败。
应使用如下方式,以防止被转义,“sh generate_keystore.sh 'password'”。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 密码不允许包含“#”。 使用该generate_keystore
自定义”,搜索“yarn.site.customized.configs”。 在“yarn.site.customized.configs”参数后添加自定义参数,名称为“yarn.timeline-service.enabled”,值为“true”。 “yarn.timeline-service
gid=9998(ficommon) groups=9998(ficommon) 重新执行ImportData。 方法二:修改当前用户的属组。 将该用户添加到ficommon组中。 [root@xxx-xxx-xxx-xxx ~]# usermod -a -G ficommon test [root@xxx-xxx-xxx-xxx
cat /proc/sys/net/ipv4/neigh/default/gc_thresh* 512 2048 4096 还可以将以下参数添加到“/etc/sysctl.conf”中,即使主机重启,配置依然能生效。 net.ipv4.neigh.default.gc_thresh1
“CPU”表示节点中服务可使用的最大CPU。 “Memory”表示节点中服务可使用的最大内存。 在图表区域,查看集群服务资源使用状态指标数据图表。 可通过“为图表添加服务”,将特定服务的静态服务资源数据添至图表,最多可选择12个服务。 管理单个图表的操作,可参见查看MRS集群资源监控指标。 查看静态资源(2
已登录FusionInsight Manager,具体请参见访问集群Manager。 操作步骤 选择“系统 > 权限 > 角色”。 单击“添加角色”,然后“角色名称”和“描述”输入角色名字与描述。 设置角色“权限”请参见表1。 设置角色的权限时,不能同时选择跨资源权限,如果需要设置多个资源的相关权限,请依次逐一设置。
ClickHouse > 配置 > 全部配置 > ClickHouseServer > 自定义 > clickhouse-config-customize”,添加表1中参数,保存配置,重启服务。 MRS 3.2.0及之后版本:登录FusionInsight Manager界面,选择“集群 > ClickHouse
e=512M GC_OPTS参数中-XX:MaxDirectMemorySize默认没有配置,如需配置,用户可在GC_OPTS参数中自定义添加。 具体的配置方法如下: 用户可登录FusionInsight Manager,单击“集群 > 待操作集群的名称 > 服务 > Yarn >
s)”; none:无。 单击左上角“提交”提交作业。 新建Flink Jar作业 单击“选择”,上传本地Jar文件,并参考表2配置参数或添加自定义参数。 表2 参数配置 参数名称 参数描述 本地jar文件 上传jar文件。直接上传本地文件,大小不能超过10M。 Main Class
Manager,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。 操作步骤 选择“系统 > 权限 > 角色”。 单击“添加角色”,然后“角色名称”和“描述”输入角色名字与描述。 设置角色“权限”请参见表1。 设置角色的权限时,不能同时选择跨资源权限,如果需要设置多个资源的相关权限,请依次逐一设置。
cat /proc/sys/net/ipv4/neigh/default/gc_thresh* 512 2048 4096 还可以将以下参数添加到“/etc/sysctl.conf”中,即使主机重启,配置依然能生效。 net.ipv4.neigh.default.gc_thresh1
xml”从HBase客户端获取,“hiveclient.properties”和“hive-site.xml”从Hive客户端获取。 在Linux环境中添加样例工程运行所需的classpath,例如 export YARN_USER_CLASSPATH=/opt/client/conf:/op
新、查询、删除、启动和停止等操作,其成功与否需要在Loader WebUI确认或通过查询server端日志确认。 参数选项方式: 通过直接添加具体配置项的参数调用脚本。 作业模板方式: 修改作业模板中所有配置项的参数值,调用脚本时引用修改后的作业模板文件。 Loader客户端安装
新、查询、删除、启动和停止等操作,其成功与否需要在Loader WebUI确认或通过查询server端日志确认。 参数选项方式: 通过直接添加具体配置项的参数调用脚本。 作业模板方式: 修改作业模板中所有配置项的参数值,调用脚本时引用修改后的作业模板文件。 Loader客户端安装