检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
count 是 Integer 参数解释: 扩容节点数量。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 skip_bootstrap_scripts 否 Boolean 参数解释: 扩容时是否在新增节点上跳过执行创建集群时指定的引导操作。 约束限制: 不涉及 取值范围:
fka/bin目录下启动consumer观察数据是否生成。执行命令: ./kafka-console-consumer.sh --bootstrap-server {ip:port} --topic output --new-consumer --consumer.config
thirdparty-kafka数据连接配置参数 参数名称 示例 Name oraclelink Link Type thirdparty-kafka Bootstrap Servers 10.10.10.10:9093 Security Protocol SASL_SSL Username testuser
with( 'connector' = 'kafka', 'topic' = 'input', 'properties.bootstrap.servers' = 'Kafka的Broker实例业务IP:Kafka端口号', 'properties.group.id'
Sink将写入对应的Partition。 true false 仅可在“properties.properties”文件中配置。 kafka.bootstrap.servers - brokers地址列表,多个地址用英文逗号分隔。 kafka.consumer.group.id - Kafka消费者组ID。
IAM项目(Project)/企业项目(Enterprise Project):自定义策略的授权范围,包括IAM项目与企业项目。授权范围如果同时支持IAM项目和企业项目,表示此授权项对应的自定义策略,可以在IAM和企业管理两个服务中给用户组授权并生效。如果仅支持IAM项目,不支持企业项目,表示仅能
source的类型,必须设置为org.apache.flume.source.kafka.KafkaSource。 kafka.bootstrap.servers - Kafka的bootstrap地址端口列表。如果集群已安装Kafka并且配置已经同步,服务端可以不配置此项,默认值为Kafka集群中所有
thirdparty-kafka数据连接配置参数 参数名称 示例 Name opengausslink Link Type thirdparty-kafka Bootstrap Servers 10.10.10.10:9093 Security Protocol SASL_SSL Username testuser
置参数 参数名称 示例 Name drs_avro_oracle_link Link Type thirdparty-kafka Bootstrap Servers 10.10.10.10:9093 Security Protocol SASL_SSL Username testuser
闭此功能,需要在创建MRS服务集群的时候选择开启或者关闭Kerberos服务,建议重新创建集群。 企业项目 集群所属的企业项目,仅现有集群列表支持单击企业项目名称进入对应项目的企业项目管理页面。 安全组 集群的安全组名称。 流式Core节点LVM管理 流式Core节点的LVM管理功能是否开启。
source的类型,必须设置为org.apache.flume.source.kafka.KafkaSource。 kafka.bootstrap.servers - Kafka的bootstrap地址端口列表。如果集群已安装Kafka并且配置已经同步,服务端可以不配置此项,默认值为Kafka集群中所有
Sink将写入对应的Partition。 true false 仅可在“properties.properties”文件中配置。 kafka.bootstrap.servers - brokers地址列表,多个地址用英文逗号分隔。 kafka.consumer.group.id - Kafka消费者组ID。
mple Oozie提交MapReduce任务示例程序。 本示例演示了如何通过Java API提交MapReduce作业和查询作业状态,对网站的日志文件进行离线分析。 oozie-examples/oozienormal-examples/OozieSparkHBaseExample
数据的处理。企业自行部署Hadoop系统有成本高,周期长,难运维和不灵活等问题。 针对上述问题,华为云提供了大数据MapReduce服务(MRS),MRS是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群。MRS提供租户完全可控的一站式企业级大数据集群
所属的企业项目。 如果在全局页面设置为“ALL”,此处请从下拉列表中选择企业项目。 如果在全局页面已选择企业项目,则此处灰化不可选。 实例类型 Prometheus实例的类型,此处选择“Prometheus 通用实例”。 在实例列表单击上述创建的Prometheus实例名称,单击“设置”,查看并保存如下参数值。
mple Oozie提交MapReduce任务示例程序。 本示例演示了如何通过Java API提交MapReduce作业和查询作业状态,对网站的日志文件进行离线分析。 oozie-examples/ooziesecurity-examples/OozieSparkHBaseExample
打开浏览器访问:华为提供开源镜像站(https://mirrors.huaweicloud.com/repository/maven/huaweicloudsdk/),查看网站是否能正常访问。如果访问异常,请先开通本地网络。 确认当前开发工具是否开启代理。下载jar包前需要确保开发工具代理关闭。 比如以2020.2版本的IntelliJ
登录集群管理页面及ECS节点的用户名。 密码 - 设置登录集群管理页面及ECS节点用户的密码。 确认密码 - 再次输入设置用户密码。 企业项目 default 选择集群所属的企业项目。 通信安全授权 勾选 勾选确认授权。 图1 购买ClickHouse集群 单击“立即购买”,进入任务提交成功页面。
安全组:默认即可。 弹性公网IP:默认即可。 节点配置: CPU架构:默认即可。MRS 3.1.0及MRS 3.1.5版本无该参数。 常用模板:当“集群类型”选择“自定义”时该参数有效,保持默认即可。 集群节点:请根据自身需求选择节点规格和数量。 登录凭证: Kerberos认证
PRECOMBINE_FIELD.key(), "ts"); options.put(FlinkOptions.INDEX_BOOTSTRAP_ENABLED.key(), "true"); HoodiePipeline.Builder builder = HoodiePipeline