检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下图: 配置“长整型时间转换”算子,生成四个新字段C、D、E和F,类型分别为DATE、TIME、TIMESTAMP、BIGINT。 转换后,依次输出,结果如下: 父主题: 转换算子
更新MRS集群加密密钥 在安装集群时,系统将自动生成加密密钥key值以对集群的部分安全信息(例如所有数据库用户密码、密钥文件访问密码等)进行加密存储。在集群安装成功后,如果原始密钥不慎意外泄露或者需要使用新的密钥,系统管理员可以通过以下操作手动更改密钥值。
样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下图: 配置“长整型时间转换”算子,生成四个新字段C、D、E和F,类型分别为DATE、TIME、TIMESTAMP、BIGINT。 转换后,依次输出,结果如下: 父主题: Loader转换类算子
Flink对接云搜索服务(CSS)样例程序(Java) 功能介绍 当前基于随机数生成器实现了一个持续产生长度为4字符串的数据源用于写入数据。 样例代码 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.flink.examples。
双击打包工具,输入要打包的jar包所在目录(“D:\source”)并回车,再输入打出包存放的目录(“D:\target”),在“D:\target”中,会生成“source.jar”文件。 父主题: 打包Storm业务
函数genWeatherData()模拟生成的气象数据,函数putData()发送气象数据到OpenTSDB服务端。 样例代码 以下代码片段在com.huawei.bigdata.opentsdb.examples包的"OpentsdbExample"类的putData方法中。
函数genQueryReq()生成查询请求,函数queryData()把查询请求发送到OpenTSDB服务端。 样例代码 以下代码片段在com.huawei.bigdata.opentsdb.examples包的"OpentsdbExample"类的queryData方法中。
执行资源 Compaction调度的间隔应小于Compaction计划生成的间隔,例如1小时左右生成一个Compaction计划的话,执行Compaction计划的调度任务应该至少半小时调度一次。
写Kudu数据 功能简介 通过KuduClient.newSession()方法生成一个KuduSession对象,然后再把插入记录动作执行到Kudu表里。 代码样例 如下是写数据的代码片段: // Create a KuduSession.
写Kudu数据 功能简介 通过KuduClient.newSession()方法生成一个KuduSession对象,然后再把插入记录动作执行到Kudu表里。 代码样例 如下是写数据的代码片段: // Create a KuduSession.
函数genQueryReq()生成删除请求,函数deleteData()把删除请求发送到OpenTSDB服务端。
实时任务接入 实时作业一般由Flink Sql或Sparkstreaming来完成,流式实时任务通常配置同步生成compaction计划,异步执行计划。
待重启完成后,登录Yarn原生界面,观察是否有launcher-job队列生成,观察是否能提交作业成功。 父主题: 常见问题
双击打包工具,输入要打包的jar包所在目录(“D:\source”)并回车,再输入打出包存放的目录(“D:\target”),在“D:\target”中,会生成“source.jar”文件。 父主题: 打包Strom应用业务
签发Flink证书样例 将该样例代码生成generate_keystore.sh脚本,放置在Flink客户端的bin目录下。 #!
参考Kafka Token认证机制工具使用说明为用户生成Token。 二次开发样例工程配置。 在二次开发样例的Producer()和Consumer()中对其进行配置。配置的样例代码可参考使用Kafka Token认证。 运行样例代码。
参考Kafka Token认证机制工具使用说明为用户生成Token。 二次开发样例工程配置。 在二次开发样例的Producer()和Consumer()中对其进行配置。配置的样例代码可参考使用Kafka Token认证。 运行样例代码。
原因分析 在创建租户时会生成对应的角色,执行删除租户操作时会首先删除对应的角色。此时如果支持权限配置的组件状态异常,则会导致删除这个角色对应的资源权限失败。 处理步骤 登录FusionInsight Manager,选择“系统 > 权限 > 角色”。
打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt” )下。
编译成功后将会在样例工程的target下生成含有“flink-dws-sink-example-1.0.0-SNAPSHOT”字段的Jar包。