检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
自定义分隔符不能首尾相同。 新增参数说明 基于开源CsvBulkloadTool,新增以下两个参数: --multiple-delimiter(-md) 用于指定自定义分隔符,当此命令参数存在时,会优先生效,覆盖掉原命令中的-d参数。 --multiple-delimiter-skip-check(-mdsc)
r审计信息。 Security Zone 配置安全区域,Ranger管理员可将各组件的资源切分为多个区域,由不同Ranger管理员为服务的指定资源设置安全策略,以便更好的管理,具体操作可参考配置Ranger安全区信息。 Settings 查看Ranger相关权限设置信息,例如查看
库为“default”。 系统将自动显示数据库中的所有表。可以输入表名关键字,系统会自动搜索包含此关键字的全部表。 图1 选择数据库 单击指定的表名,可以显示表中所有的列。 光标移动到表所在的行,单击 可以查看列的详细信息。 在SparkSql语句编辑区输入查询语句。 单击后的三
组件业务用户 例如,kinit clickhouseuser。 执行ClickHouse组件的客户端命令,将要备份ClickHouse表数据导出到指定目录下。 clickhouse client --host 主机名/实例IP --secure --port 9440 --query="表查询语句"
使用集群安装用户登录集群客户端节点。 cd /opt/client source bigdata_env 创建输入Topic和输出Topic,与样例代码中指定的Topic名称保持一致,输出Topic的清理策略设置为compact。 kafka-topics.sh --create --zookeeper
使用root用户登录安装了集群客户端的节点。 cd /opt/client source bigdata_env 创建输入Topic和输出Topic,与样例代码中指定的Topic名称保持一致,输出Topic的清理策略设置为compact。 kafka-topics.sh --create --zookeeper
crt文件路径,<keystore_path>为truststore.jks文件生成路径,<password>为truststore密码,可根据需要指定。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 表1 presto.properties参数说明
组件业务用户 例如,kinit clickhouseuser。 执行ClickHouse组件的客户端命令,将要备份ClickHouse表数据导出到指定目录下。 clickhouse client --host 主机名/实例IP --secure --port 9440 --query="表查询语句"
${BIGDATA_DATA_HOME}/data2 -R和chown omm:wheel ${BIGDATA_DATA_HOME}/data2 -R。 在MRS控制台,单击指定的NodeManager实例并切换到“实例配置”。 将配置项“yarn.nodemanager.local-dirs”或“yarn.nodemanager
| | 2 | | 3 | +----------+ 将导出的jar包上传至集群客户端所在的Linux节点指定路径,例如“/opt/hive_demo”。 为方便后续操作,将样例程序目录、客户端组件目录等配置为公共变量。 退出Beeline命令行,执行以下命令:
ClickHouse、HetuEngine、Oozie、CDL和IoTDB服务 表2 重启策略以及影响 组件名称 重启策略 影响范围 影响时间 meta 直接重启 Yarn超大频率获取临时AKSK时可能触发流控,正常场景不涉及。 耗时约5分钟。 滚动重启 滚动重启不影响业务。 滚动重启10个节点耗时约20分钟。
“include”策略适用于当前输入的对象,“exclude”表示策略适用于除去当前输入内容之外的其他对象。 Policy Label 为当前策略指定一个标签,您可以根据这些标签搜索报告和筛选策略。 Storm Topology 配置当前策略适用的拓扑名称。可以填写多个值。 Description
使用集群安装用户登录集群客户端节点。 cd /opt/client source bigdata_env 创建输入Topic和输出Topic,与样例代码中指定的Topic名称保持一致,输出Topic的清理策略设置为compact。 kafka-topics.sh --create --zookeeper
source bigdata_env kinit 组件操作用户(例如developuser) 创建输入Topic和输出Topic,与样例代码中指定的Topic名称保持一致,输出Topic的清理策略设置为compact。 kafka-topics.sh --create --zookeeper
使用Hive加载OBS数据并分析企业雇员信息 通过Flink作业处理OBS数据 通过Spark Streaming作业消费Kafka数据 通过Flume采集指定目录日志系统文件至HDFS 基于Kafka的Word Count数据流统计案例 数据迁移类 使用CDM服务迁移Hadoop数据至MRS集群
例如,挂载目录名为“/srv/BigData/data1”,则其使用的磁盘为“/dev/vdb”,磁盘分区为“/dev/vdb1”。 执行以下命令,指定数据盘待扩容的分区,通过growpart进行扩容。 growpart 数据盘 分区编号 例如执行以下命令: growpart /dev/vdb
ouse实例节点对应一个副本replica,两个副本组成一个shard逻辑分片。如创建ReplicatedMergeTree引擎表时,可以指定分片,相同分片内的两个副本数据就可以自动进行同步。 图3 高可用HA部署架构图 父主题: ClickHouse
库为“default”。 系统将自动显示数据库中的所有表。可以输入表名关键字,系统会自动搜索包含此关键字的全部表。 图1 选择数据库 单击指定的表名,可以显示表中所有的列。 光标移动到表所在的行,单击 可以查看列的详细信息。 在SparkSql语句编辑区输入查询语句。 单击后的三
r审计信息。 Security Zone 配置安全区域,Ranger管理员可将各组件的资源切分为多个区域,由不同Ranger管理员为服务的指定资源设置安全策略,以便更好的管理,具体操作可参考配置Ranger安全区信息。 Settings 查看Ranger相关权限设置信息,例如查看
TABLE “创建”, RWX+ownership(for create external table - the location) 说明: 按照指定文件路径创建datasource表时,需要path后面文件的RWX+ownership权限。 DROP TABLE “Ownership”(of