正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
working.memory.in.mb”和“spark.yarn.executor.memoryOverhead”的值。 详细信息请参考如何在CarbonData中配置非安全内存? 该内存被数据查询和加载共享。所以如果加载和查询需要同时进行,建议将“carbon.unsafe.working
working.memory.in.mb”和“spark.yarn.executor.memoryOverhead”的值。 详细信息请参考如何在CarbonData中配置非安全内存? 该内存被数据查询和加载共享。所以如果加载和查询需要同时进行,建议将“carbon.unsafe.working
否,执行19 等待5分钟,检查该告警是否恢复。 是,处理完毕。 否,19 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。 参考信息 无。 父主题: MRS集群告警处理参考
创建SQL/JAR作业(流式/批作业) 定义Flink作业的API,包括Flink SQL和Flink Jar作业。 如何创建FlinkServer作业 作业管理 管理创建的作业,包括作业启动、开发、停止、删除和编辑等。 如何创建FlinkServer作业 父主题: 使用Flink
大数据量场景,Hive分批加载元数据,提升Hiveserver容错能力 Hive支持Redis缓存连接失败重试 支持OBSA客户端数据监控上报 支持OBS流控重试机制 pms性能优化 mrs-obs-provider的缓存过期优化 优化删除分区的逻辑 Yarn的refresh node速度优化 删除无效告警
<priority>可以设置为: VERY_HIGH HIGH NORMAL LOW VERY_LOW API接口。 用户也可以使用API配置对象的优先级。 设置优先级,可通过Configuration.set("mapreduce.job.priority", <priority>)或Job
将生成的Jar包(如CollectFemaleInfo.jar)拷贝到Spark运行环境下(即Spark客户端),如“/opt/female”。开启Kerberos认证的安全集群下把从准备Spark应用开发用户中获取的user.keytab和krb5.conf文件拷贝到Spark客户端conf目录下,如:/o
增量查询问题:数据消费以及Checkpoint可能会乱序,多个并发写操作在不同的时间点完成。 并发写需要在启用并发写特性后支持并发,未开启时不支持并发写入。 如何使用并发机制 启用并发写入机制: hoodie.write.concurrency.mode=optimistic_concurrency_control
获取样例工程并将其导入IDEA,导入样例工程依赖jar包。通过IDEA配置并生成jar包。 准备样例工程所需数据。 将场景说明中的原日志文件放置在HDFS系统中。 本地新建两个文本文件,分别将log1.txt及log2.txt中的内容复制保存到input_data1.txt和input_data2.txt。
集时建议使用BULK_INSERT。 批量写入Hudi表 引入Hudi包生成测试数据,参考使用Spark Shell创建Hudi表章节的2到4。 写入Hudi表,写入命令中加入参数:option("hoodie.datasource.write.operation", "bulk
keytab”所属用户。 hetu_test keytab文件 开启安全模式时填写此参数。 访问远端DataCenter的用户Keytab文件。在本地选择1k获取的“user.keytab”文件。 user.keytab 开启双向传输 跨域数据传输是否开启双向传输,默认为“是”。 是:双
获取样例工程并将其导入IDEA,导入样例工程依赖jar包。通过IDEA配置并生成jar包。 准备样例工程所需数据。 将场景说明中的原日志文件放置在HDFS系统中。 本地新建两个文本文件,分别将log1.txt及log2.txt中的内容复制保存到input_data1.txt和input_data2.txt。
或者环境变量中密文存放,使用时解密,确保安全; // 本示例以密码保存在环境变量中来实现身份验证为例,运行本示例前,请先在本地环境中设置环境变量HETUENGINE_PASSWORD properties.setProperty("user", "YourUserName");
集时建议使用BULK_INSERT。 批量写入Hudi表 引入Hudi包生成测试数据,参考使用Spark Shell创建Hudi表章节的2到4。 写入Hudi表,写入命令中加入参数:option("hoodie.datasource.write.operation", "bulk
“私有IP地址”选择“现在创建”,填写1中查询对应节点的IP。 切换成功后,单击节点名称,需要在节点的“弹性网卡”中重启“源/目的检查”。 将虚拟IP重新绑定到集群的Master节点上,操作如下: 登录MRS管理控制台,进入MRS集群,在“概览”页面单击“前往Manager”后的 , “访问方式”选
在“标签”填写“标签键”和“标签值”,用于标识云资源,可对云资源进行分类和搜索。 向主题添加订阅 要接收发布至主题的消息,您必须添加一个订阅终端节点到该主题。消息通知服务会发送一条订阅确认的消息到订阅终端,订阅确认的消息将在48小时内有效。如果订阅者在48小时之内确认订阅,将会收到推送至主题的消息。如果订阅者在
--negotiate -u : "http://10.120.85.2:19888/ws/v1/history/mapreduce/jobs" 其中10.120.85.2为MapReduce的“JHS_FLOAT_IP”参数的参数值,19888为JobHistoryServer的端口号。
/hadoop-hdfs/WebHDFS.html#Make_a_Directory 单击链接,如图1所示。 图1 创建目录样例命令 进入到客户端的安装目录下,此处为“/opt/client”,创建名为“huawei”的目录。 执行下列命令,查看当前是否存在名为“huawei”的目录。
/hadoop-hdfs/WebHDFS.html#Make_a_Directory 单击链接,如图1所示。 图1 创建目录样例命令 进入到客户端的安装目录下,此处为“/opt/client”,创建名为“huawei”的目录。 执行下列命令,查看当前是否存在名为“huawei”的目录。
false:单独提交作业 默认取值: 不涉及 file_action 否 String 参数解释: 数据导入导出。 约束限制: 不涉及 取值范围: import:数据的导入操作。 export:数据的导出操作。 默认取值: 不涉及 表5 TaskNodeGroup 参数 是否必选 参数类型 描述