检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FlinkServer权限类型： FlinkServer管理员权限：是最高权限，具有FlinkServer所有应用的业务操作权限。 FlinkServer应用权限：可设置对应用的“应用查看”、“应用编辑”权限。 表1 设置角色 任务场景 角色授权操作 设置FlinkServer管理员权限 在“
conf.addResource(CONF_DIR + "hbase-site.xml"); } 父主题： 开发HBase应用
bigdata.hbase.examples包的“HBaseExample”类的dropTable方法中。 样例代码获取方式请参考获取MRS应用开发样例工程。 public void dropTable() { LOG.info("Entering dropTable.");
FileSystem.get(URI.create("obs://[BuketName]"),conf); } 父主题： 开发HDFS应用
如下是代码片段，详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 在Linux客户端运行应用和在Windows环境下运行应用的初始化代码相同，代码样例如下所示。 //初始化 confLoad(); // 创建一个用例 HdfsExample
read(); // 删除文件 delete(); // 删除目录 rmdir(); } 父主题： 开发HDFS应用
开发Oozie配置文件 Oozie样例程序开发思路 Oozie应用开发步骤 父主题： 开发Oozie应用
Action Kill Action FS Action MapReduce Action coordinator.xml 父主题： 开发Oozie应用
Manager应用开发常见问题 Manager Java API接口介绍 运行Manager应用报错“authorize failed” 运行Manager应用报错“WARN No appenders could be found for logger” 运行Manager应用报错“illegal
准备Manager应用开发环境 准备Manager应用开发和运行环境 配置并导入Manager样例工程 父主题： Manager管理开发指南
String operationUrl = ""; String jsonFilePath = ""; 父主题： 开发Manager应用
假设需要跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp； 同时输出本批次被更新状态的session。 数据规划 在kafka中生成模拟数据（需要有Kafka权限用户）。 确保集群安装完成，包括安装HDFS、Yarn、Spark2x和Kafka服务。 将Kafka的Broker配置参数“allow
Streaming对接Kafka0-10样例程序（Scala） 功能介绍 在Spark应用中，通过使用Streaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数，或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例 下面代码片段仅为演示，具体代码参见：com
0及之后版本。 场景说明 假定用户开发一个应用程序，其中一个功能需要记录用户信息及地址，记录数据如下表： 表1 用户信息表 id name age address 1 Zhang 20 CityA 2 Li 30 CityB 3 Wang 35 CityC 数据规划 合理地设计表结构、行键、
port”的值。 重新打开一个客户端连接窗口，执行以下命令，使用“kafka-console-consumer.sh”从输出Topic消费数据，查看统计结果。 cd /opt/client source bigdata_env kafka-console-consumer.sh --topic
离线数据加载：通过StreamLoad将本地CSV文件导入Doris 应用场景 本地CSV文件数据通过StreamLoad导入到Doris，需要写入Doris的数据不重复，通过引入 Unique 数据模型保证 Key 的唯一性。 方案架构 离线数据可以从数据湖加载，也可以直接加载
实时数据加载：通过FlinkSQL将订单表Kafka数据实时同步到Doris 应用场景 创建MRS FlinkServer作业，将订单表Kafka数据通过FlinkSQL实时同步到Doris，数据新增。 方案架构 对实时性要求较高的场景，可直接将实时流式数据通过FlinkSQL传
Streaming对接Kafka0-10样例程序（Scala） 功能介绍 在Spark应用中，通过使用Streaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数，或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例 下面代码片段仅为演示，具体代码参见：com
zip获取Spark样例数据到本地。 将下载的“detail-records.zip”解压，获取图3所示的样例数据。 图3 样例数据 进入“input”文件夹，单击“上传文件”，选择本地存放的Spark样例数据。 单击“上传”，上传样例数据到OBS并行文件系统。 上传步骤 7中解压后的数据至“input”文件夹下。
file " + DEST_PATH + File.separator + FILE_NAME); } 父主题： 开发HDFS应用
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
