检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数优化部分适配于MRS 3.2.0及以后版本。 该规范中与开源社区不一致的点，以本文档为准。 参考资料 Flink开源社区开发文档：https://nightlies.apache.org/flink/flink-docs-stable/。 父主题： Flink应用开发规范
配置Windows通过EIP访问安全模式集群Kafka 操作场景 该章节通过指导用户配置集群绑定EIP，并配置Kafka文件的方法，方便用户可以在本地对样例文件进行编译。 操作步骤 为集群的每个节点申请弹性公网IP，并将本地Windows的hosts文件添加所有节点的公网IP对应
CapacityScheduler yarn.http.rmwebapp.external.classes 空 hadoop.http.rmwebapp.scheduler.page.classes 空 yarn.resourcemanager.webapp.pagination.enable false
创建工作流，请参考使用Hue创建工作流。 在工作流编辑页面，选择“数据流”按钮，将其拖到操作区中。 在弹出的“Streaming”窗口中配置“Mapper”的值，例如“/bin/cat”。配置“Reducer”的值，例如“/usr/bin/wc”。然后单击“添加”。 单击“文件+”，添加运行所需的文件。
OGGER:-INFO,RFAS} -Dhdfs.audit.logger=${HDFS_AUDIT_LOGGER:-INFO,NullAppender} $HADOOP_NAMENODE_OPTS" 父主题： HBase性能调优
sys.argv[3] # 初始化sparkSession spark = SparkSession.builder.appName("KafkaWordCount").getOrCreate() # 创建表示来自kafka的input lines stream的DataFrame
根据实际情况设置Jar包的名称、类型以及输出路径。 图4 设置基本信息 选中“storm-examples”，右键选择“Put into Output Root”。然后单击“Apply”。 图5 Put into Output Root 最后单击“OK”完成配置。 生成Jar包。 在IDEA主页面，选择“Build >
根据实际情况设置Jar包的名称、类型以及输出路径。 图4 设置基本信息 选中“storm-examples”，右键选择“Put into Output Root”。然后单击“Apply”。 图5 Put into Output Root 最后单击“OK”完成配置。 生成Jar包。 在IntelliJ IDEA中，选择“Build
创建工作流，请参考使用Hue创建工作流。 在工作流编辑页面，选择“数据流”按钮，将其拖到操作区中。 在弹出的“Streaming”窗口中配置“Mapper”的值，例如“/bin/cat”。配置“Reducer”的值，例如“/usr/bin/wc”。然后单击“添加”。 单击“文件+”，添加运行所需的文件。
examples包的“PhoenixSample”类的testSelect方法中。 /** * Select Data */ public void testSelect() { LOG.info("Entering testSelect."); String
examples包的“HIndexExample”类的scanDataByHIndex方法中。 样例代码获取方式请参考获取MRS应用开发样例工程。 代码样例： public void scanDataByHIndex() { LOG.info("Entering HIndex-based Query
examples包的“PhoenixSample”类的testSelect方法中。 /** * Select Data */ public void testSelect() { LOG.info("Entering testSelect."); String
ZkNodeChangeNotificationListener$$anonfun$purgeObsoleteNotifications$1.apply(ZkNodeChangeNotificationListener.scala:118) at kafka.common.ZkNode
FSNamesystem=DEBUG log4j.logger.org.apache.hadoop.hbase=INFO # Make these two classes DEBUG-level. Make them DEBUG to see more zk debug. log4j.logger.org
/var/log/Bigdata/clickhouse/balance/access_http.log ClickHouseBalancer服务运行http日志文件路径。 /var/log/Bigdata/clickhouse/balance/access_tcp.log ClickHouseBalancer服务运行tcp日志文件路径。
配置Windows通过EIP访问集群Kafka 操作场景 该章节通过指导用户配置集群绑定EIP，并配置Kafka文件的方法，方便用户可以在本地对样例文件进行编译。 操作步骤 为集群的每个节点申请弹性公网IP，并将本地Windows的hosts文件添加所有节点的公网IP对应主机域名
下面代码片段仅为演示，具体代码参见SparkOnHbaseJavaExample中的JavaHBaseBulkPutExample文件： public static void main(String[] args) throws Exception{ if (args.length
Studio创建测试表warehouse_t1，并插入测试数据。 CREATE TABLE warehouse_t1 ( W_WAREHOUSE_SK INTEGER NOT NULL, W_WAREHOUSE_ID CHAR ( 16 ) NOT NULL, W_WAREHOUSE_NAME
orc_compress GZIP varchar Compression codec used. Possible values: [NONE, SNAPPY, LZ4, ZSTD, GZIP, ZLIB] hive orc_compress_size 262144 bigint orc compression
环境，并需要安装python环境，安装包下载详情请参见：https://www.python.org/。当前以在集群的master节点上运行样例为例。 搭建样例运行环境。 获取运行样例程序时python依赖，请从https://pypi.org/地址中搜索下载decorator、
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
