检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
注册时跳过读取_ro后缀的读优化视图 N false --use-file-listing-from-metadata 从Hudi的元数据中获取文件列表 N false --verify-metadata-file-listing 根据文件系统验证Hudi元数据中的文件列表 N false
0.6.15版本。 ARM客户端: OpenJDK:支持1.8.0_272版本(集群自带JDK,可通过集群客户端安装目录中“JDK”文件夹下获取)。 毕昇JDK:支持1.8.0_272版本。 说明: 基于安全考虑,服务端只支持TLS V1.2及以上的加密协议。 IBM JDK默认只支持TLS
txt文件,并在文件内写入如下内容。 1,100 在HDFS中新建一个目录/tmp/input,并将log1.txt文件上传至此目录。 在HDFS客户端,执行如下命令获取安全认证。 cd /opt/client kinit -kt '/opt/client/Spark/spark/conf/user.keytab'
0.6.15版本。 ARM客户端: OpenJDK:支持1.8.0_272版本(集群自带JDK,可通过集群客户端安装目录中“JDK”文件夹下获取)。 毕昇JDK:支持1.8.0_272版本。 说明: 基于安全考虑,服务端只支持TLS V1.2及以上的加密协议。 IBM JDK默认只支持TLS
为locator名,locatorID可通过命令行输入,多个locatorID之间用逗号分隔;也可将locatorID写入文件,通过读文件获取。 删除组 hdfs colocationadmin -deleteGroup <groupID> 删除指定组。 查询组 hdfs colocationadmin
配置HBase上层应用所在主机的时间与备集群的时间保持一致,时间差要小于5分钟。 检查主集群的认证模式。 如果为安全模式,执行8。 如果为普通模式,任务结束。 获取HBase上层应用用户的keytab文件和krb5.conf配置文件。 在备集群FusionInsight Manager界面,选择“系统
告警”,在实时告警列表中,单击此告警前的,在“定位信息”中查看角色名并确定实例的IP地址。 选择“集群 > 服务 > IoTDB > 实例”,需单击1获取到的IP地址对应的ConfigNode,在“概览”界面查看“ConfigNode垃圾回收(GC)总时间”图表中的ConfigNode进程的GC时间是否大于阈值。
DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别,请执行如下操作: 请参考修改集群服务配置参数,进入Storm的“全部配置”页面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 保存配置,在弹出窗口中单击“确定”使配置生效。 日志格式 Storm的日志格式如下所示:
如果遇到其他三方包冲突,可以通过查找依赖关系确认是否存在相同包不同版本的情况,尽量修改成集群自带的jar包版本。 可以参考MRS样例工程自带的pom.xml文件:通过开源镜像站获取样例工程。 打印依赖树方式: 在pom.xml文件同目录下执行命令:mvn dependency:tree 父主题: Spark应用开发常见问题
如果遇到其他三方包冲突,可以通过查找依赖关系确认是否存在相同包不同版本的情况,尽量修改成集群自带的jar包版本。 可以参考MRS样例工程自带的pom.xml文件:获取MRS应用开发样例工程。 打印依赖树方式: 在pom.xml文件同目录下执行命令:mvn dependency:tree 父主题: Spark应用开发常见问题
如果您的应用需要较高的容灾能力,建议您将资源部署在同一区域的不同可用区内。 如果您的应用要求实例之间的网络延时较低,则建议您将资源创建在同一可用区内。 如何获取区域终端节点? 当您通过API使用资源时,您必须指定其区域终端节点。有关华为云的区域和终端节点的更多信息,请参阅地区和终端节点。 父主题:
FusionInsight_Cluster_1_Services_ClientConfig_ConfigFiles.tar: OK 解压获取配置文件。 tar -xvf FusionInsight_Cluster_1_Services_ClientConfig_ConfigFiles
mrs.330.r13.jar file_path “insertData2kafka.sql”文件路径,建议写全路径。需在二次样例代码中获取并上传至客户端指定目录。 说明: 当作业需要以yarn-application模式提交时,需替换如下路径: file_path = os.getcwd()
项目编号。获取方法,请参见获取项目ID。 约束限制: 不涉及 取值范围: 只能由英文字母和数字组成,且长度为[1-64]个字符。 默认取值: 不涉及 cluster_id 是 String 参数解释: 集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。获取方法,请参见获取集群ID。
mrs.330.r13.jar file_path “insertData2kafka.sql”文件路径,建议写全路径。需在二次样例代码中获取并上传至客户端指定目录。 说明: 当作业需要以yarn-application模式提交时,需替换如下路径: file_path = os.getcwd()
配置HBase上层应用所在主机的时间与备集群的时间保持一致,时间差要小于5分钟。 检查主集群的认证模式。 若为安全模式,执行8。 若为普通模式,任务结束。 获取HBase上层应用用户的keytab文件和krb5.conf配置文件。 在备集群FusionInsight Manager界面,选择“系统
为locator名,locatorID可通过命令行输入,多个locatorID之间用逗号分隔;也可将locatorID写入文件,通过读文件获取。 删除组 hdfs colocationadmin -deleteGroup <groupID> 删除指定组。 查询组 hdfs colocationadmin
为locator名,locatorID可通过命令行输入,多个locatorID之间用逗号分隔;也可将locatorID写入文件,通过读文件获取。 删除组 hdfs colocationadmin -deleteGroup <groupID> 删除指定组。 查询组 hdfs colocationadmin
如果遇到其他三方包冲突,可以通过查找依赖关系确认是否存在相同包不同版本的情况,尽量修改成集群自带的jar包版本。 可以参考MRS样例工程自带的pom.xml文件:获取MRS应用开发样例工程。 打印依赖树方式: 在pom.xml文件同目录下执行命令:mvn dependency:tree 父主题: Spark应用开发常见问题
如果遇到其他三方包冲突,可以通过查找依赖关系确认是否存在相同包不同版本的情况,尽量修改成集群自带的jar包版本。 可以参考MRS样例工程自带的pom.xml文件:获取MRS应用开发样例工程。 打印依赖树方式: 在pom.xml文件同目录下执行命令:mvn dependency:tree 父主题: Spark应用开发常见问题