-
导入并配置Flink样例工程 - MapReduce服务 MRS
flink-dist_*.jar flink-dist_*.jar可在Flink的客户端或者服务端安装路径的lib目录下获取。 向Kafka生产并消费数据程序样例工程(Java/Scala) kafka-clients-*.jar flink-connector-kafka_*.jar fl
-
添加HDFS的Ranger访问权限策略 - MapReduce服务 MRS
User”下选择框选择用户。 单击“Add Permissions”,勾选“Read”和“Execute”。 设置用户在其他用户的文件写入数据的权限 在“Resource Path”配置文件夹或文件。 在“Allow Conditions”区域,单击“Select User”下选择框选择用户。
-
添加Kafka的Ranger访问权限策略 - MapReduce服务 MRS
对于Cluster的Create操作鉴权主要涉及以下两个场景: 集群开启了“auto.create.topics.enable”参数后,客户端向服务的还未创建的Topic发送数据的场景,此时会判断用户是否有集群的Create权限 对于用户创建大量Topic的场景,如果授予用户Cluster Create权限,那么该用户可以在集群内部创建任意Topic
-
SHOW VIEWS - MapReduce服务 MRS
SHOW VIEWS 语法 SHOW VIEWS [IN/FROM database_name] [ LIKE pattern [ESCAPE escapeChar] ] 描述 列举指定Schema中所有满足条件的视图。 默认使用当前Schema,也可以通过in/from子句来指定Schema。
-
创建Storm Bolt - MapReduce服务 MRS
= input.getString(0); String[] words = sentence.split(" "); for (String word : words) { word = word.trim();
-
创建Storm Bolt - MapReduce服务 MRS
= input.getString(0); String[] words = sentence.split(" "); for (String word : words) { word = word.trim();
-
在本地Windows环境中调测HBase应用 - MapReduce服务 MRS
通过HBase shell命令查看应用程序运行情况。可参见“更多信息 > 对外接口 > Shell ”。 各样例程序运结果如下: HBase数据读写样例运行成功会有如下信息: ... 2020-09-09 22:11:48,496 INFO [main] example.TestMain:
-
添加HDFS的Ranger访问权限策略 - MapReduce服务 MRS
User”下选择框选择用户。 单击“Add Permissions”,勾选“Read”和“Execute”。 设置用户在其他用户的文件写入数据的权限 在“Resource Path”配置文件夹或文件。 在“Allow Conditions”区域,单击“Select User”下选择框选择用户。
-
单表并发控制配置 - MapReduce服务 MRS
ZookeeperBasedLockProvider hoodie.write.lock.hivemetastore.database Hive的database 无 hoodie.write.lock.hivemetastore.table Hive的table name 无 hoodie
-
IoTDB应用开发建议 - MapReduce服务 MRS
insertTablet(单设备多行同列) > insertRecordsOfOneDevice (单设备多行不同列) > insertRecords(Object value) (多设备多行不同列) > insertRecords(String value) (多设备多行不同列) > insertRecord(单设备一行)
-
DML - MapReduce服务 MRS
DML LOAD DATA UPDATE CARBON TABLE DELETE RECORDS from CARBON TABLE INSERT INTO CARBON TABLE DELETE SEGMENT by ID DELETE SEGMENT by DATE SHOW
-
HetuEngine辅助命令语法 - MapReduce服务 MRS
SESSION RESET SESSION DESCRIBE DESCRIBE FORMATTED COLUMNS DESCRIBE DATABASE| SCHEMA DESCRIBE INPUT DESCRIBE OUTPUT EXPLAIN EXPLAIN ANALYZE REFRESH
-
Hue故障排除 - MapReduce服务 MRS
Hue故障排除 使用Hive输入use database语句失效 使用Hue WebUI访问HDFS文件失败 在Hue页面上传大文件失败 集群未安装Hive服务时Hue原生页面无法正常显示 访问Hue原生页面时间长,文件浏览器报错Read timed out 父主题: 使用Hue
-
Storm日志介绍 - MapReduce服务 MRS
29304五个端口。 supervisor/metadata/[topologyid]-worker-[端口号].yaml worker日志元数据文件,logviewer在清理日志的时候会以该文件来作为清理依据。该文件会被logviewer日志清理线程根据一定条件自动删除。 nimbus/cleanup
-
使用Consumer API订阅安全Topic并消费 - MapReduce服务 MRS
ConsumerRecords<Integer, String> records = consumer.poll(waitTime); // 消息处理 for (ConsumerRecord<Integer, String> record : records) {
-
DELETE SEGMENT by DATE - MapReduce服务 MRS
表1 DELETE SEGMENT by DATE参数描述 参数 描述 db_name Database名称,如果未指定,则使用当前database。 table_name 给定database中的表名。 date_value 有效Segment加载启动时间。在这个指定日期前的Segment将被删除。
-
DELETE SEGMENT by DATE - MapReduce服务 MRS
表1 DELETE SEGMENT by DATE参数描述 参数 描述 db_name Database名称,若未指定,则使用当前database。 table_name 给定database中的表名。 date_value 有效Segment加载启动时间。在这个指定日期前的Segment将被删除。
-
DELETE SEGMENT by ID - MapReduce服务 MRS
参数 描述 segment_id 将要删除的Segment的ID。 db_name Database名称,如果未指定,则使用当前database。 table_name 在给定的database中的表名。 注意事项 流式表不支持删除segment。 示例 DELETE FROM TABLE
-
DELETE SEGMENT by ID - MapReduce服务 MRS
LOAD参数描述 参数 描述 segment_id 将要删除的Segment的ID。 db_name Database名称,若未指定,则使用当前database。 table_name 在给定的database中的表名。 注意事项 流式表不支持删除segment。 示例 DELETE FROM TABLE
-
自定义排序器 - MapReduce服务 MRS
@Override public JavaRDD<HoodieRecord<T>> repartitionRecords(JavaRDD<HoodieRecord<T>> records, int outputSparkPartitions) { JavaPairRDD<String