检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
输入字段列数不等于原始数据实际包含字段列数，该行数据会保存为脏数据。 样例 源文件如下图： 配置“CSV文件输入”算子，分隔符为“,”，生成两个字段A、B。 将A、B输出，结果如下： 父主题： 输入算子
应用终止到重启完成这段时间内（B段时间）进入Kafka数据生成的任务，最后再处理应用重启完成后（C段时间）进入Kafka数据生成的任务。并且对于B段时间进入Kafka的数据，Spark将按照终止时间（batch时间）生成相应个数的任务，其中第一个任务读取全部数据，其余任务可能不读取数据，造成任务处理压力不均匀。
应用终止到重启完成这段时间内（B段时间）进入Kafka数据生成的任务，最后再处理应用重启完成后（C段时间）进入Kafka数据生成的任务。并且对于B段时间进入Kafka的数据，Spark将按照终止时间（batch时间）生成相应个数的任务，其中第一个任务读取全部数据，其余任务可能不读取数据，造成任务处理压力不均匀。
s，详细操作请参见快速使用Doris： mysql -u数据库登录用户 -p数据库登录用户密码 -PELB前端端口 -hELB公网IP地址 ELB前端端口即为8.a配置的前端端口号。 ELB公网IP地址为5中查看到的地址。 执行以下命令可查看FE节点连接状态： show frontends;
在“登录方式”选择“密码”或“SSH私钥”。 密码：输入创建集群时设置的root用户密码。 SSH私钥：选择并上传创建集群时使用的密钥文件。 单击“确定”开始生成客户端文件。 若界面显示以下提示信息表示客户端包已经成功保存。单击“关闭”。客户端文件请到下载客户端时设置的远端主机的“存放路径”中获取。
表4 Kafka作业参数 参数名称 示例 Link kafkalink 单击“确定”，完成Kafka作业参数配置。 作业参数配置完成后，拖拽图标将作业进行关联，然后单击“保存”，作业配置完成。 在“作业管理”的作业列表中，找到创建的作业名称，单击操作列的“启动”，等待作业启动。
Windows下打包Storm业务 操作场景 打包业务的目的，是将IntelliJ IDEA代码生成的jar包与工程依赖的jar包，合并导出可提交的source.jar。 打包需使用storm-jartool工具，可在Windows或Linux上进行。 前提条件 已执行打包Storm样例工程应用。
写入OpenTSDB数据 功能简介 使用OpenTSDB的接口(/api/put)写入数据。 函数genWeatherData()模拟生成的气象数据，函数putData()发送气象数据到OpenTSDB服务端。 样例代码 以下代码片段在com.huawei.bigdata.opentsdb
查询OpenTSDB数据 功能简介 使用OpenTSDB的查询接口(/api/query)读取数据。 函数genQueryReq()生成查询请求，函数queryData()把查询请求发送到OpenTSDB服务端。 样例代码 以下代码片段在com.huawei.bigdata.opentsdb
e作为一个任务分别配置不同的资源执行来节省资源使用。 执行资源 Compaction调度的间隔应小于Compaction计划生成的间隔，例如1小时左右生成一个Compaction计划的话，执行Compaction计划的调度任务应该至少半小时调度一次。 Compaction作业配置
密码是系统随机生成的，如果用于身份认证，请参见下载MRS集群用户认证凭据文件，重新下载keytab文件。 修改域名后，“admin”用户、组件运行用户和系统管理员在修改域名以前添加的“人机”用户，密码会重置为相同密码，请重新修改。重置后的密码由两部分组成：系统生成部分和用户设置部
将数据导入到一个Avro数据文件中。 -as-sequencefile 将数据导入到一个sequence文件中。 -as-textfile 将数据导入到一个普通文本文件中，生成该文本文件后，可以在hive中通过sql语句查询出结果。 -boundary-query <statement> 边界查询，在导入前先通过
实时任务接入 实时作业一般由Flink Sql或Sparkstreaming来完成，流式实时任务通常配置同步生成compaction计划，异步执行计划。 Flink SQL作业中sink端Hudi表相关配置如下： create table denza_hudi_sink ( $H
证书文件即将过期”告警，且告警详情中触发告警的证书为OBS证书。 图1 OBS证书即将过期告警 图2 OBS证书失效告警 原因分析 OBS系统生成的证书有有效期限制，到达有效期后，证书文件失效，因此产生告警。 处理步骤 查询MRS集群上的OBS证书信息。 使用root用户登录MRS集
写Kudu数据 功能简介 通过KuduClient.newSession()方法生成一个KuduSession对象，然后再把插入记录动作执行到Kudu表里。 代码样例 如下是写数据的代码片段： // Create a KuduSession. KuduSession session
写Kudu数据 功能简介 通过KuduClient.newSession()方法生成一个KuduSession对象，然后再把插入记录动作执行到Kudu表里。 代码样例 如下是写数据的代码片段： // Create a KuduSession. KuduSession session
删除OpenTSDB数据 功能简介 在OpenTSDB的查询接口中增加delete参数，并且设置delete参数为true。 函数genQueryReq()生成删除请求，函数deleteData()把删除请求发送到OpenTSDB服务端。 样例代码 以下代码片段在com.huawei.bigdata
Windows下打包Storm业务 操作场景 Storm支持在Windows环境下打包。 打包业务的目的，是将IntelliJ IDEA代码生成的jar包与工程依赖的jar包，合并导出可提交的source.jar。 打包需使用storm-jartool工具，可在Windows或Linux上进行。
初次启动JobGateway后提交作业失败，无法提交作业到Yarn上 问题 初次启动JobGateway提交作业失败，无法提交到Yarn上，无launcher-job ID生成。 查看Yarn界面，无launcher-job队列： 查看Manager界面接口返回，显示有launcher-job信息： 查看所有的J
配置”，打开Kafka服务配置页面。 开启Token认证机制。 查找配置项“delegation.token.master.key”，该配置指定用于生成和验证Token的主密钥。先查看是否已经配置，如果已配置且不为null，则表示Token认证机制是开启的，不用重新配置（重新配置会导致之前生产的Token无法使用）。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
