正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数解释: 标签的键。 约束限制: 不涉及 取值范围: 标签的key值可以包含任意语种字母、数字、空格和_.:=+-@,但首尾不能含有空格,不能以_sys_开头。 默认取值: 不涉及 values 否 Array of strings 参数解释: 标签的值。 约束限制: 标签的value值可以包含任意语种字母、数字、空格和_
快速开发Flink应用 Flink是一个批处理和流处理结合的统一计算框架,其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理,是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理(Data Processing)场景:高并发pi
0.11补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2
使用Spark 运行Spark应用时修改split值报错 提交Spark任务时提示参数格式错误 磁盘容量不足导致Spark、Hive和Yarn服务不可用 引入jar包不正确导致Spark任务无法运行 Spark任务由于内存不够或提交作业时未添加Jar包,作业卡住 提交Spark任
设置的日志等级越高,打印出来的日志就越少。 表2 日志级别 级别 描述 ERROR ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。 INFO INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。
组件业务用户 增大客户端的JVM大小,防止OOM,方法如下。(1亿文件建议32G) 若执行HDFS客户端命令时,客户端程序异常退出,并且报“java.lang.OutOfMomeryError”错误。 这个问题是由于HDFS客户端运行时的所需的内存超过了HDFS客户端设置的内存上限(默认1
组件业务用户 增大客户端的JVM大小,防止OOM,方法如下。(1亿文件建议32G) 若执行HDFS客户端命令时,客户端程序异常退出,并且报“java.lang.OutOfMomeryError”错误。 这个问题是由于HDFS客户端运行时的所需的内存超过了HDFS客户端设置的内存上限(默认1
设置的日志等级越高,打印出来的日志就越少。 表2 日志级别 级别 描述 ERROR ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。 INFO INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。
调测Kudu应用 使用Maven编译。 解决“Error:(123,49) java: -source 1.5 中不支持 diamond 运算符”错误: 得到输出包: 上传jar包到Linux服务器执行。 父主题: Kudu开发指南(安全模式)
调测Kudu应用 使用Maven编译。 解决“Error:(123,49) java: -source 1.5 中不支持 diamond 运算符”错误: 得到输出包: 上传jar包到Linux服务器执行。 父主题: Kudu开发指南(普通模式)
HetuEngine > 实例”,获取HSFabric所有实例的业务IP;在“配置”页签,搜索“gateway.port”,获取HSFabric的端口号。 user 访问HetuServer的用户名,即在集群中创建的“机机”用户的用户名。 SSL 是否使用HTTPS连接,默认为“false”。
cookie认证。根据日志提示,发现配置文件中“security.kerberos.login.keytab :”配置项错误,未进行安全配置。 解决方法如下: 从MRS上下载用户的keytab认证文件,并放置到Flink客户端所在节点的某个目录下。 在“flink-conf.yaml”文件中配置: keytab路径。
JDBC驱动的加载 客户端程序以JDBC的形式连接HiveServer时,需要首先加载Hive的JDBC驱动类org.apache.hive.jdbc.HiveDriver。 故在客户端程序的开始,必须先使用当前类加载器加载该驱动类。 如果classpath下没有相应的jar包,则客户端程序抛出Class
把“/home/data”的数据加载进child表中。 查询child表中的数据。 删除child表。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“
使用Flume Flume向Spark Streaming提交作业后报类找不到错误 Flume客户端安装失败 Flume客户端无法连接服务端 Flume数据写入组件失败 Flume服务端进程故障 Flume数据采集慢 Flume启动失败
提供集群状态的监控功能,您能快速掌握服务及主机的健康状态。 提供图形化的指标监控及定制,您能及时的获取系统的关键信息。 提供服务属性的配置功能,满足您实际业务的性能需求。 提供集群、服务、角色实例的操作功能,满足您一键启停等操作需求。 MRS Manager简介 EIP方式访问集群 通过EIP访问快速便捷的访问Manager,及开源组件Web站点。
HetuEngine > 实例”,获取HSBroker所有实例的业务IP;在“配置”页签,搜索“server.port”,获取HSBroker端口号。 user 访问HetuEngine的用户名,即在集群中创建的“机机”用户的用户名。 SSL 是否使用HTTPS连接,默认为“false”
查询历史”,打开备份任务执行历史记录。 在弹出的窗口中,在指定一次执行成功记录的“备份路径”列,单击“查看”,打开此次任务执行的备份路径信息,查找以下信息: “备份对象”表示备份的数据源。 “备份路径”表示备份文件保存的完整路径。 选择正确的项目,在“备份路径”手工选中备份文件的完整路径并复制。 选择“运维
互通时,您可以直接在本地进行调测。 操作步骤 在Windows环境下的Intellij IDEA开发环境中,单击IDEA右侧Maven导入依赖。 图1 导入依赖 (可选)如果对接的集群开启了ZooKeeper的SSL认证通信功能,则需要添加JVM配置参数,如下所示: -Dzookeeper
(可选)单击“+”按钮展开更多选项,选择已创建的ENV,默认为“defaultEnv”。 单击“确定”,完成Hudi作业参数配置。 作业参数配置完成后,拖拽图标将作业进行关联,然后单击“保存”,作业配置完成。 在“作业管理”的作业列表中,找到创建的作业名称,单击操作列的“启动”,等待作业启动。 观