检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
(审计日志) Container:“/srv/BigData/hadoop/data1/nm/containerlogs/application_${appid}/container_{$contid}” 运行中的任务日志存储在以上路径中,运行结束后会基于YARN的配置是否汇聚到
stderr/stdin/syslog Yarn服务上运行的应用所对应的container日志。 yarn-application-check.log Yarn服务上运行的应用检查日志。 yarn-appsummary.log Yarn服务上运行的应用的运行结果日志。 yarn-switch-resourcemanager
下面代码片段仅为演示,具体代码参见SparkOnHbaseJavaExample中的JavaHBaseBulkPutExample文件: public static void main(String[] args) throws Exception{ if (args.length
py Java样例代码 下面代码片段仅为演示,具体代码参见SparkOnHbaseJavaExample中的AvroSource文件: public static void main(JavaSparkContext jsc) throws IOException {
py Java样例代码 下面代码片段仅为演示,具体代码参见SparkOnHbaseJavaExample中的AvroSource文件: public static void main(JavaSparkContext jsc) throws IOException {
log 接口参数校验日志。 hdfs://hacluster/hetuserverhistory/租户/coordinator或worker/application_ID/container_ID/yyyyMMdd/server.log HetuEngine计算实例的运行日志。 状态检查日志
Studio创建测试表warehouse_t1,并插入测试数据。 CREATE TABLE warehouse_t1 ( W_WAREHOUSE_SK INTEGER NOT NULL, W_WAREHOUSE_ID CHAR ( 16 ) NOT NULL, W_WAREHOUSE_NAME
配置MRS集群远程运维 当用户使用集群过程中出现问题需要华为云支持人员协助解决时,用户可先联系华为云支持人员,再通过运维授权功能授权华为云支持人员访问用户机器的权限用于定位问题,或通过“日志共享”功能提供特定时间段内的日志给华为云支持人员以便定位问题。 开启MRS集群远程运维授权
orc_compress GZIP varchar Compression codec used. Possible values: [NONE, SNAPPY, LZ4, ZSTD, GZIP, ZLIB] hive orc_compress_size 262144 bigint orc compression
on in_polygon_join_range_list(t1.mygeosot,t2.polygon); 空间索引工具类UDF GeoID转栅格行列号。 GeoIdToGridXy(geoId) UDF输入参数: 参数 类型 说明 geoId Long 根据GeoId计算栅格行列号。
csv' INTO TABLE table_name OPTIONS ('...'); 相对路径举例: LOAD DATA INPATH '/apps/input_data1.txt' INTO TABLE table_name; 父主题: CarbonData常见问题
在左边导航上选择“General > Workspace”,在“Text file encoding”区域,选中“Other”,并设置参数值为“UTF-8”,单击“Apply”后,单击“OK”,如图1所示。 图1 设置Eclipse的编码格式 Windows环境下直接提交任务到集群场景,需要将集群ip映射配
Master.java:848) at org.apache.hadoop.hbase.master.HMaster.access$600(HMaster.java:199) at org.apache.hadoop.hbase.master.HMaster$2
obs://mrs-demo/data/flink/output2 ... Cluster started: Yarn cluster with application id application_1654672374562_0011 Job has been submitted with JobID
应用会多一个Streaming标签页。 页面入口:在YARN的Web UI界面,查找到对应的Spark应用程序。单击应用信息的最后一列“ApplicationMaster”,即可进入SparkUI页面。 History Server页面,用于展示已经完成的和未完成的Spark应用的运行情况。
realm”异常 JDK版本不匹配导致启动spark-sql和spark-shell失败 Yarn-client模式提交Spark任务时ApplicationMaster尝试启动两次失败 提交Spark任务时连接ResourceManager异常 DataArts Studio调度Spark作业失败
ager Web UI”对应的“ResourceManager”进入Web界面,查找到对应的Spark应用程序。单击应用信息的最后一列“ApplicationMaster”,即可进入Spark UI页面。 History Server页面,用于展示已经完成的和未完成的Spark应用的运行情况。
使用root用户登录Impala所在节点,执行如下命令,确认当前系统上安装的Python版本: python --version 执行命令yum install make,查看yum是否可用。 如果yum install报如下错误,说明yum设置有问题,执行3。 如果没有报错,执行4。 执行命令cat /etc/yum
以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testGet方法中 public void testGet() { LOG.info("Entering testGet."); // Specify
private static final String USER_PRINCIPAL = "用户自己申请的机机账号名称"; public static void securityPrepare() throws IOException { String