检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
-alias myservercert -file ca.crt -keystore truststore.jks 执行该命令后需输入一个自定义密码。 将生成的“truststore.jks”文件复制到“客户端安装目录/IoTDB/iotdb/conf”目录下: cp truststore
ip>:20026/Spark2x/JobHistory2x/xx/),单击某个应用,再单击“AggregatedLogs”,然后单击需要查看的其中一个Executor的“logs”,此时会报如图1所示的错误。 图1 聚合日志失败页面 回答 原因:弹出的URL地址(如https://<ho
ip>:20026/Spark2x/JobHistory2x/xx/),单击某个应用,再单击“AggregatedLogs”,然后单击需要查看的其中一个Executor的“logs”,此时会报如图1所示的错误。 图1 聚合日志失败页面 回答 原因:弹出的URL地址(如https://<ho
hdfs://hacluster/”,勾选“Read”、“Write”和“Execute”,单击“确定”保存。 单击“系统设置 > 用户管理 > 添加用户”,为样例工程创建一个用户。 填写用户名,例如hdfsuser,用户类型为“机机”用户,加入用户组supergroup,设置其“主组”为supergroup,并
> 服务 > MemArtsCC > 图表 > 容量”。 查看图表“集群shard数量” 并记录shard数。 使用HetuEngine创建一个的OBS表并进行查询,具体请参考配置HetuEngine通过Guardian访问OBS。 重新执行1~2,查看“集群shard数量”,shard数量较2上升,则表示对接成功。
第二种方法:打开Eclipse,依次选择“File > Import… > Existing maven Projects into Workspace > Next”,在下一个页面单击“Browse”,显示“浏览文件夹”对话框。 选择样例工程文件夹“hdfs-examples”,单击“确定”。 在“Import”窗口单击“Finish”。
Keeper集群创建Ephemeral node(临时节点)实现的。 当HMaster两个节点启动时都会尝试在ZooKeeper集群上创建一个znode节点Master,先创建的成为Active HMaster,后创建的成为Standby HMaster。 Standby HMa
ent”为例,examples具体目录为“/opt/client/Oozie/oozie-client-*/examples”。 如下通过一个Mapreduce工作流的示例演示如何配置,并通过Shell命令调用。 场景说明 假设存在这样的业务需求: 每天需要对网站的日志文件进行离
由于ClickHouseServer业务数据主要存储在本地磁盘上,数据量可能会随着集群使用时间增长而增长,通常建议ClickHouse数据盘单独挂载,元数据盘共享第一个数据盘目录。 磁盘实际容量 由于磁盘存在1MB = 1024KB或者1000KB的不同算法,一般来说,磁盘实际可用容量 = 磁盘标注容量 *
CDC场景下Hudi读写表需要开启Changelog CDC场景下为保障Flink计算的准确,需要在Hudi表中保留+I、+U、-U、-D。所以同一个Hudi表在写入、流读时都需要开启Changelog。 父主题: Flink on Hudi开发规范
ent”为例,examples具体目录为“/opt/client/Oozie/oozie-client-*/examples”。 如下通过一个Mapreduce工作流的示例演示如何配置文件,并通过Shell命令调用。 场景说明 假设存在这样的业务需求: 每天需要对网站的日志文件进
ent”为例,examples具体目录为“/opt/client/Oozie/oozie-client-*/examples”。 如下通过一个MapReduce工作流的示例演示如何配置,并通过Shell命令调用。 场景说明 假设存在这样的业务需求: 每天需要对网站的日志文件进行离
ent”为例,examples具体目录为“/opt/client/Oozie/oozie-client-*/examples”。 如下通过一个MapReduce工作流的示例演示如何配置文件,并通过Shell命令调用。 场景说明 假设存在这样的业务需求: 每天需要对网站的日志文件进
c中配置的路径下获取到Jar包。 21:25:43 Compilation completed successfully in 36 sec 将2中生成的Jar包(如FlinkStreamJavaExample.jar)拷贝到Linux环境的Flink运行环境下(即Flink客户端)
将使用HBase服务要用到的jar包文件放入HBase节点的“${BIGDATA_HOME}/third_lib/HBase”内。 将使用Hive服务要用到的jar包文件放入每一个HiveServer实例节点的“${BIGDATA_HOME}/third_lib/Hive”内。 当前自定义jar包支持的组件包括:HD
对于分区表,在Spark SQL中执行插入数据的操作后,如果分区信息未改变,会出现Spark SQL无法查询到最新插入的数据的问题。 回答 由于Spark存在一个机制,为了提高性能会缓存Parquet的元数据信息。当通过Hive或其他方式更新了Parquet表时,缓存的元数据信息未更新,导致Spark
对于分区表,在Spark SQL中执行插入数据的操作后,如果分区信息未改变,会出现Spark SQL无法查询到最新插入的数据的问题。 回答 由于Spark存在一个机制,为了提高性能会缓存Parquet的元数据信息。当通过Hive或其他方式更新了Parquet表时,缓存的元数据信息未更新,导致Spark
predicate => "dt = '2021-08-28'", order => 'id'); 注意事项 table与path参数必须存在一个,否则无法判断需要执行clustering的表 如果需要对指定分区进行clustering,参考格式:predicate => "dt =
配置Shell命令为Linux指令时,请指定为原始指令,不要使用快捷键指令。例如:ls -l ,不要配置成ll。可配置成Shell命令ls ,参数添加一个 “-l”。 Windows上传Shell脚本到HDFS时,请保证Shell脚本的格式为Unix,格式不正确会导致Shell作业提交失败。
配置Shell命令为Linux指令时,请指定为原始指令,不要使用快捷键指令。例如:ls -l ,不要配置成ll。可配置成Shell命令ls ,参数添加一个 “-l”。 Windows上传Shell脚本到HDFS时,请保证Shell脚本的格式为Unix,格式不正确会导致Shell作业提交失败。