检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看MRS集群日志 MRS集群日志概述 查看MRS云服务操作日志 查看历史MRS集群信息 查看MRS集群审计日志 查看MRS组件角色实例日志 在线检索MRS集群日志 下载MRS集群日志 采集MRS集群服务堆栈信息 配置MRS组件默认日志级别与归档文件大小 配置MRS集群审计日志本地备份数
'Kafka的Broker实例业务IP:Kafka端口号', 'properties.group.id' = 'test_group', 'format' = 'json' ); create TABLE datagen_source_table ( age int, name varchar(10)
体对接指导请参见MRS服务如何对接云日志服务。 同时FusionInsight Manager支持在线检索并显示组件的日志内容,用于问题定位等其他日志查看场景,详细操作指导请参见在线检索日志。FusionInsight Manager支持批量导出各个服务角色所有实例生成的日志,无
cn-north-4.myhuaweicloud.com/v3.0/OS-USER/users Content-Type: application/json X-Auth-Token: ABCDEFG.... 您还可以通过这个视频教程了解如何使用Token认证:https://bbs.huaweicloud
createDirectStream代替旧的API createStream进行应用程序开发。旧的API仍然可以使用,但新的API性能和稳定性更好。 /** * 参数解析: * <groupId>为客户的组编号。 * <brokers>为获取元数据的Kafka地址。 * <topic>为Kafka中订阅的主题。
createDirectStream代替旧的API createStream进行应用程序开发。旧的API仍然可以使用,但新的API性能和稳定性更好。 /** * 参数解析: * <groupId>为客户的组编号。 * <brokers>为获取元数据的Kafka地址。 * <topic>为Kafka中订阅的主题。
createDirectStream代替旧的API createStream进行应用程序开发。旧的API仍然可以使用,但新的API性能和稳定性更好。 /** * 参数解析: * <groupId>为客户的组编号。 * <brokers>为获取元数据的Kafka地址。 * <topic>为Kafka中订阅的主题。
createDirectStream代替旧的API createStream进行应用程序开发。旧的API仍然可以使用,但新的API性能和稳定性更好。 /** * 参数解析: * <groupId>为客户的组编号。 * <brokers>为获取元数据的Kafka地址。 * <topic>为Kafka中订阅的主题。
WordCounter bolt = new WordCounter(); //HbaseMapper,用于解析tuple内容 SimpleHBaseMapper mapper = new SimpleHBaseMapper()
JDBC攒批入库禁用函数 内容要求:使用jdbc攒批方式写数据到ClickHouse,对ClickHouse函数(例如:时间函数now())会解析成String类型,而数据库里是DateTime类型,导致类型不匹配,数据入库异常。 解决:在代码中生成时间,并生成字段传入或者在Clic
添加到每个REST通信中的前缀字符串,例如: '/v1' 。 format 可选 String Elasticsearch连接器支持的指定格式,默认值为“json”。 父主题: FlinkSQL Connector开发规范
以下参数在安装集群时已进行了适配,不建议用户进行修改。 表2 不建议修改的参数说明 配置项 说明 默认值或配置示例 spark.password.factory 用于选择密钥解析方式。 org.apache.spark.om.util.FIPasswordFactory spark.ssl.ui.protocol 配置ui的ssl协议。
以下参数在安装集群时已进行了适配,不建议用户进行修改。 表2 不建议修改的参数说明 配置项 说明 默认值或配置示例 spark.password.factory 用于选择密钥解析方式。 org.apache.spark.om.util.FIPasswordFactory spark.ssl.ui.protocol 配置ui的ssl协议。
male,50 CaiXuyu,female,50 FangBo,female,60 开发思路为: 读取文本数据,生成相应DataStream,解析数据生成UserRecord信息。 筛选女性网民上网时间数据信息。 按照姓名、性别进行keyby操作,并汇总在一个时间窗口内每个女性上网时间。
以使用,但新的API性能和稳定性更好。 该样例代码只存在于mrs-sample-project-1.6.0.zip中。 /** * 参数解析: * <checkPointDir>为checkPoint目录。 * <topics>为Kafka中订阅的主题,多以逗号分隔。 *
nger Web页面导出已有组件的鉴权策略,切换Ranger元数据完成后可重新导入已有的鉴权策略。此处以Hive为例,导出后会生成本地的JSON格式的策略文件。 登录FusionInsight Manager页面。 选择“集群 > 服务 > Ranger”,进入Ranger服务概览页面。
管理连接器和元数据、提交MapReduce作业和监控MapReduce作业状态等。 REST API 实现RESTful(HTTP + JSON)接口,处理来自客户端的操作请求。 Job Scheduler 简单的作业调度模块,支持周期性的执行Loader作业。 Transform
BINARY, VARBINARY, TINYBLOB, BLOB, MEDIUMBLOB, LONGBLOB VARBINARY JSON JSON DATE DATE TIME(n) TIME(n) DATETIME(n) TIMESTAMP(n) TIMESTAMP(n) TIMESTAMP(n)
getExecutionEnvironment(); // 设置并发度 env.setParallelism(1); // 解析运行参数 ParameterTool paraTool = ParameterTool.fromArgs(args);
getExecutionEnvironment(); // 设置并发度 env.setParallelism(1); // 解析运行参数 ParameterTool paraTool = ParameterTool.fromArgs(args);