检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink向Kafka生产并消费数据Java样例代码 功能简介 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 用户在开发前需要使用对接安全模式的Kafka，则需要引入MRS的kafka-client-xx.x.x.jar，该jar包可在MRS client目录下获取。 样例代码
Hive输入 概述 “Hive输入”算子，将Hive表的指定列转换成同等数量的输入字段。 输入与输出 输入：Hive表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Hive数据库 Hive的数据库名称。 String 否 default Hive表名
“Spark输入”算子，将SparkSQL表的指定列转换成同等数量的输入字段。 输入与输出 输入：SparkSQL表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark数据库 SparkSQL的数据库名称。 String 否 default
本章节只适用于MRS产品Storm与Kafka组件间的访问。本章中描述的jar包的具体版本信息请以实际情况为准。 应用开发操作步骤 确认华为MRS产品Storm和Kafka组件已经安装，并正常运行。 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src\storm-examples”目录下的样例工程文件夹s
登录FusionInsight Manager界面，选择“运维 > 备份恢复 > 恢复管理”，在任务列表中对应任务的“操作”列，单击“查询历史”，在弹出的窗口中，在指定一次执行记录前单击，即可查看相关的快照名称信息： Snapshot [ snapshot name ] is created successfully
登录FusionInsight Manager界面，选择“运维 > 备份恢复 > 恢复管理”，在任务列表中对应任务的“操作”列，单击“查询历史”，在弹出的窗口中，在指定一次执行记录前单击，即可查看相关的快照名称信息： Snapshot [ snapshot name ] is created successfully
数据处理规则 当配置HBase表名不存在时，作业提交失败。 当配置的列名与HBase表列名不匹配时，读取不到数据，导入数据条数会为0。 配置输入字段列数，大于原始数据实际包含字段列数，全部数据成为脏数据。 当字段的值与实际的类型不匹配时，该行数据会成为脏数据。 样例 以HBase导出到sqlserver2014数据库为例。
指定导出数据的分隔符，与需要导出的HDFS中的数据表中的分隔符保持一致。 -m或-num-mappers <n> 启动n个map来并行导入数据，默认是4个，该值请勿高于集群的最大Map数。 -direct 快速模式，利用了数据库的导入工具，如MySQL的mysqlimport，可以比jdbc连接的方式更为高效的将数据导入到关系数据库中。
若集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 查看ZooKeeper角色实例的IP地址。 记录ZooKeeper角色实例其中任意一个的IP地址即可。 登录安装客户端的节点。 执行以下命令，切换到客户端目录，例
找到类似JAVA_OPTS=“-Xms1024m -Xmx4096m”的配置，将其值根据需要进行修改，保存修改。 重启manager-executor进程，该进程在Master1和Master2节点上为主备部署，同一时刻只有一个节点上运行该进程，首先确认节点上是否有该进程，如果有该进程则进行重启操作。
oTDBServer的映射关系，IoTDBServer保存region数据，直接使用操作系统自身的文件系统来管理元数据和数据文件。 容量规格 ConfigNode容量规格 当创建新的存储组时，IoTDB默认为该存储组分配10000个槽位，数据写入时根据写入的设备名和时间值，分配或创建一个data
当主机（节点）故障异常时，用户可能需要在MRS停止主机上的所有角色，对主机进行维护检查。故障清除后，启动主机上的所有角色恢复主机业务。 操作MRS集群前提条件 如果通过MRS管理控制台操作，需要已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。
select 1,'a','aaa'; create database productdb2; 使用hdfs命令将productdb数据库下的productSalesTable和productNameIndexTable 拷贝到productdb2。 refresh table productdb2
参数描述 表1 INSERT INTO参数 参数 描述 CARBON TABLE 需要执行INSERT命令的CarbonData表的名称。 select query Source表上的SELECT查询（支持CarbonData、Hive和Parquet表）。 注意事项 表必须已经存在。
当“Kerberos认证”为“关闭”，且运行中的集群，可执行将OBS数据导入至HDFS的操作。 登录MRS管理控制台。 单击集群名称进入集群详情页面。 单击“文件管理”，选择“HDFS文件列表”。 进入数据存储目录，如“bd_app1”。 “bd_app1”目录仅为示例，可以是界面上的任何目录，也可以通过“新建”创建新的目录。
修改“SimpleJDBCTopology.java”的main()方法中proPath值为1.a复制的“jdbc.properties”文件路径。 图2 proPath路径修改 在IntelliJ IDEA中，在生成Jar包之前配置工程的Artifacts信息。 进入IntelliJ IDEA，选择“File
修改“SimpleJDBCTopology.java”的main()方法中proPath值为1.a复制的“jdbc.properties”文件路径。 图2 SimpleJDBCTopology.java路径替换 在IntelliJ IDEA中，在生成Jar包之前配置工程的Artifacts信息。 进入IntelliJ
tableName 表名。 col_old_name 待修改的列名。 column_type 目标列类型。 col_comment 列comment。 column_name 位置修改参照列，例如：AFTER column_name的语义是要将待修改列放到参照列column_name之后。
WebUI界面的Hive模块，禁止执行添加、删除权限非默认策略的操作，统一在LakeFormation实例的数据权限界面进行授权操作。 RangerAdmin WebUI界面的OBS模块，禁止执行添加、删除权限非默认策略的操作，统一在LakeFormation实例的数据权限界面进行OBS路径授权操作。
参数描述 表1 INSERT INTO参数 参数 描述 CARBON TABLE 需要执行INSERT命令的CarbonData表的名称。 select query Source表上的SELECT查询（支持CarbonData、Hive和Parquet表）。 注意事项 表必须已经存在。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
