检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
engine:选择执行作业的引擎,可设置为“mr”或者“tez”。 - 命令参考 用于展示提交作业时提交到后台执行的命令。 beeline-e"SELECT * for TABLE test;" 表2 HiveSql作业运行程序参数 参数 参数说明 取值样例 --hiveconf 设置Hive服务相关配置。
send(record2); // 结束事务 producer.commitTransaction(); } catch (KafkaException e) { // 事务 abort producer.abortTransaction(); } 就近消费特性 特性说明:Kafka 2.4
切换MRS租户资源调度器 操作场景 新安装的MRS集群默认即使用了Superior调度器,集群管理员可以根据实际情况参考以下指导切换集群调度器。 前提条件 确保集群网络通畅,网络环境安全,Yarn服务状态正常。 在切换调度器期间,不允许做添加、删除、修改租户,以及启停服务等操作。
port = params.getInt("port"); } catch (Exception e) { System.err.println("No port specified. Please run 'Fli
port = params.getInt("port"); } catch (Exception e) { System.err.println("No port specified. Please run 'Fli
-> be, 3 -> cf} MAP(ARRAY[1, 2, 3], ARRAY['d', 'e', 'f']), (k, v1, v2) -> concat(v1, v2));
bigint NOT NULL COMMENT "订单id", `LO_LINENUMBER` int NOT NULL COMMENT "订单码", `LO_CUSTKEY` bigint NOT NULL COMMENT "客户id", `LO_PARTKEY` bigint NOT
a上的topic名称,<batchTime>指Streaming分批的处理间隔。 Spark Streaming读取Kafka 0-10代码样例: 安全集群任务提交命令: bin/spark-submit --master yarn --deploy-mode client --files
典型场景:从关系型数据库导入数据到HDFS/OBS 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取关系型数据库使用的用户和密码。
典型场景:从SFTP服务器导入数据到HDFS/OBS 操作场景 该任务指导用户使用Loader将数据从SFTP服务器导入到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取S
该命令输出分层队列信息。 用法输出: >superior queue Usage: queue [-help] [-list] [-e] [[-name <queue_name>] [-r|-c]] [-status <queue_name>] -c
customer_t2 VALUES(4,24,'city d'); INSERT INTO customer_t2 VALUES(5,32,'city e'); INSERT INTO customer_t2 VALUES(6,27,'city f'); INSERT INTO customer_t2
getConfiguration() .get("log.s e x.filter", "female") + delim; } } 样例2:类CollectionReducer定
该命令输出分层队列信息。 用法输出: >superior queue Usage: queue [-help] [-list] [-e] [[-name <queue_name>] [-r|-c]] [-status <queue_name>] -c
该命令输出分层队列信息。 用法输出: >superior queue Usage: queue [-help] [-list] [-e] [[-name <queue_name>] [-r|-c]] [-status <queue_name>] -c
bigint NOT NULL COMMENT "订单id", `LO_LINENUMBER` int NOT NULL COMMENT "订单码", `LO_CUSTKEY` bigint NOT NULL COMMENT "客户id", `LO_PARTKEY` bigint NOT
该命令输出分层队列信息。 用法输出: >superior queue Usage: queue [-help] [-list] [-e] [[-name <queue_name>] [-r|-c]] [-status <queue_name>] -c
使用Loader从SFTP服务器导入数据到HDFS/OBS 操作场景 该任务指导用户使用Loader将数据从SFTP服务器导入到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。
使用Loader从关系型数据库导入数据到HDFS/OBS 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取关系型数据库使用的用户和密码。
添加Kafka的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为Kafka用户配置Kafka主题的读、写、管理权限以及集群的管理权限,本章节以为用户“test”添加 “test” 主题的“生产”权限。 前提条件 已安装Ranger服务且服务运行正常。 已