检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
File”页面,选择对应版本的Scala插件包,单击“OK”。 图10 choose plugin File 在“Plugins”页面,单击“Apply”安装Scala插件。 在弹出的“Platform and Plugin Updates”页面,单击“Restart”,使配置生效。 图11
1/install/FusionInsight-Sqoop-1.99.3/FusionInsight-Sqoop-1.99.3/server/webapps/loader/WEB-INF/ext-lib”。 使用root用户在主备节点分别执行以下命令修改权限: cd ${BIGDATA_HO
all/FusionInsight-Sqoop-1.99.3/FusionInsight-Sqoop-1.99.3/server/webapps/loader/WEB-INF/ext-lib”。 使用root用户在主备节点分别执行以下命令修改权限: cd ${BIGDATA_HO
Studio创建测试表warehouse_t1,并插入测试数据。 CREATE TABLE warehouse_t1 ( W_WAREHOUSE_SK INTEGER NOT NULL, W_WAREHOUSE_ID CHAR ( 16 ) NOT NULL, W_WAREHOUSE_NAME
应用会多一个Streaming标签页。 页面入口:在YARN的Web UI界面,查找到对应的Spark应用程序。单击应用信息的最后一列“ApplicationMaster”,即可进入SparkUI页面。 History Server页面,用于展示已经完成的和未完成的Spark应用的运行情况。
参数入口 请参考修改集群服务配置参数进入MemArtsCC服务配置页面。 参数说明 表1 MemArtsCC参数说明 参数 参数说明 默认值 access_token_enable Aceess token认证的开关。 开启后,SDK通过worker读取缓存需要经过token校验。SDK
在左边导航上选择“General > Workspace”,在“Text file encoding”区域,选中“Other”,并设置参数值为“UTF-8”,单击“Apply”后,单击“OK”,如图1所示。 图1 设置Eclipse的编码格式 修改样例(未开启Kerberos认证集群可跳过此步骤)。 在4获取新建开发用户的krb5
config=#{conf_dir}/jaas.conf -Djava.security.krb5.conf=${KRB5_CONFIG} -Dbeetle.application.home.path=${BIGDATA_HOME}/common/runtime/security/config -Djna
csv' INTO TABLE table_name OPTIONS ('...'); 相对路径举例: LOAD DATA INPATH '/apps/input_data1.txt' INTO TABLE table_name; 父主题: CarbonData常见问题
配置Windows通过EIP访问安全模式集群Kafka 操作场景 该章节通过指导用户配置集群绑定EIP,并配置Kafka文件的方法,方便用户可以在本地对样例文件进行编译。 操作步骤 为集群的每个节点申请弹性公网IP,并将本地Windows的hosts文件添加所有节点的公网IP对应
配置Windows通过EIP访问普通模式集群Kafka 操作场景 该章节通过指导用户配置集群绑定EIP,并配置Kafka文件的方法,方便用户可以在本地对样例文件进行编译。 操作步骤 为集群的每个节点申请弹性公网IP,并将本地Windows的hosts文件添加所有节点的公网IP对应
(审计日志) Container:“/srv/BigData/hadoop/data1/nm/containerlogs/application_${appid}/container_{$contid}” 运行中的任务日志存储在以上路径中,运行结束后会基于YARN的配置是否汇聚到
DefaultTopicSelector(OUTPUT_TOPIC)) .withTupleToKafkaMapper( new FieldNameBasedTupleToKafkaMapper("word", "count")); // 定义拓扑 TopologyBuilder builder
(审计日志) Container:“/srv/BigData/hadoop/data1/nm/containerlogs/application_${appid}/container_{$contid}” 运行中的任务日志存储在以上路径中,运行结束后会基于YARN的配置是否汇聚到
stderr/stdin/syslog Yarn服务上运行的应用所对应的container日志。 yarn-application-check.log Yarn服务上运行的应用检查日志。 yarn-appsummary.log Yarn服务上运行的应用的运行结果日志。 yarn-switch-resourcemanager
directory为本地安装的Maven版本。 然后根据实际情况设置好“User settings file”和“Local repository”参数,依次单击“Apply > OK”。 图12 选择本地Maven安装目录 设置IntelliJ IDEA的文本文件编码格式,解决乱码显示问题。 在IntelliJ
户端进行配置。 在这种情况下,磁盘的IO是主要瓶颈。所以可以选择一种压缩率非常高的压缩算法。 编解码器可配置为Snappy,Benchmark测试结果显示Snappy是非常平衡以及高效的编码器。 mapreduce.map.output.compress.codec 参数解释:指定用于压缩的编解码器。
配置远程调试信息,“右键->Debug As->Debug Configurations...”。 在弹出的页面,双击“Remote Java Application”,设置Connection Properties,其中Host为运行的NodeManager节点IP,Port端口号为8000,然后单击“Debug”。
login failed with hbaseuser and /usr/local/linoseyc/hbase-tomcat/webapps/bigdata_hbase/WEB-INF/classes/user.keytab. 2019-05-13 10:53:09,975 ERROR
# of consumers) 勾选 - Display Broker and Topic Size (only works after applying this patch) 勾选 - Security Protocol PLAINTEXT 开启Kerberos的Kafka集群选择SASL_PLAINTEXT