检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
启动调试。 在IDEA菜单栏中选择“Run > Debug 'Unnamed'”开启调试窗口,接着开始SparkPi的调试,比如单步调试、查看调用栈、跟踪变量值等,如图5所示。 图5 调试 父主题: Spark应用开发常见问题
求进行加密签名。 SK(Secret Access Key):与访问密钥ID结合使用的密钥,对请求进行加密签名,可标识发送方,并防止请求被修改。 使用AK/SK认证时,您可以基于签名算法使用AK/SK对请求进行签名,也可以使用专门的签名SDK对请求进行签名。详细的签名方法和SDK使用方法请参见AK/SK签名指南。
创建HBase表: create 'hbase_test','f1','f2'; 配置“HBase输出”算子,如下图: 作业执行成功后,查看hbase_test表中数据: 父主题: 输出算子
常情况下无需认证。 kinit MRS集群用户 例如: kinit admin 直接执行组件的客户端命令。 例如: 使用HDFS客户端命令查看HDFS根目录文件。 hdfs dfs -ls / Found 15 items drwxrwx--x - hive hive
创建HBase表: create 'hbase_test','f1','f2'; 配置“HBase输出”算子,如下图: 作业执行成功后,查看hbase_test表中数据: 父主题: Loader输出类算子
网络问题上报CES数据失败。 服务内部问题导致上报CES数据失败。 处理步骤 打开FusionInsight Manager 页面,选择“运维 > 告警 > 告警”,查看告警详细信息中的附加信息。 根据以下场景处理。 告警附加信息中显示“Call CES to send metrics fail. Permission
r实例数量。 实例添加完成后,重启JobGateway服务。 重启服务会造成JobGateway的作业功能在重启期间不可用。 等待5分钟,查看本告警是否恢复。 是,操作结束。 否,执行5。 收集故障信息 在FusionInsight Manager首页,选择“运维 > 日志 > 下载”。
扩展磁盘分区和文件系统时,只能将新增容量扩展至磁盘的尾部分区,系统盘为多分区,故暂不支持系统盘扩容。 确认数据盘扩容是否成功。 在云硬盘列,查看数据盘容量是否扩容至目标容量 。 登录Manager,查看扩容节点的磁盘信息,对应磁盘分区是否扩容成功。 数据盘扩容(手动扩容) 当集群版本为MRS 3.1.2-LTS
行,也可以将程序编译为Jar包后,提交到Linux节点上运行。 开发Kafka应用 编译与运行程序 指导用户将开发好的程序编译并提交运行并查看结果。 调测Kafka应用 父主题: Kafka开发指南(安全模式)
doop/lib/* com.huawei.bigdata.hive.example.ExampleMain 在命令行终端查看样例代码中的HiveQL所查询出的结果。 Linux环境运行成功结果会有如下信息。 Create table success! _c0 0 Delete table
行,也可以将程序编译为Jar包后,提交到Linux节点上运行。 开发Kafka应用 编译与运行程序 指导用户将开发好的程序编译并提交运行并查看结果。 调测Kafka应用 父主题: Kafka开发指南(安全模式)
物理内存 * mem_limit(BE内存限制百分比)* 20%。 “并发数”:表示单个FE实例可运行查询任务的并发数上限。 “队列长度”:表示超出并发数,在队列中等待执行的查询任务数上限。 “队列等待时长(毫秒)”:表示在队列中,任务的最长等待时间,单位为毫秒。 “开启内存软隔
processLoop(Handshaker.java:1026) at sun.security.ssl.Handshaker.process_record(Handshaker.java:961) at sun.security.ssl.SSLSocketImpl.rea
BulkDelete接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将要删除的数据的rowKey构造成rdd,然后通过HBaseContext的bulkDelete接口对HBase表上这些rowKey对应的数据进行删除。 数据规划
通过IntelliJ IDEA可直接运行Producer.java,如图1所示: 图1 运行Producer.java 运行后弹出控制台窗口,可以查看到Producer正在向默认Topic(example-metric1)发送消息,每发送10条,打印一条日志。 图2 Producer运行窗口
me”上。 是,针对MRS 1.9.3.10及之后补丁版本集群,执行10。其他版本请手动清除告警,操作结束。 否,执行11。 等待2分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行11。 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。
ace。 不能同时启动两个或两个以上的集群来共享一个namespace。 用户在启动集群或提交作业时如果使用了-z配置项,则在删除、停止及查询作业、触发savepoint时也要使用-z配置项指明namespace。 父主题: Flink应用开发常见问题
选择“false”,表示关闭压缩。 true 单击“保存并运行”,开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题: 数据导出
选择“false”,表示关闭压缩。 true 单击“保存并运行”,开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题: 创建Loader数据导出作业
*”。例如要筛选以“test”开头的对象,请输入“test.*”。例如要输入以“test”结尾的对象,请输入“.*test”。 单击“刷新”,在“目录名称”查看筛选的目录。 单击“同步”保存筛选结果。 输入正则表达式时,可以使用和增加或删除一条表达式。 如果已选择的表或目录不正确,可以单击“清除选中节点”清除勾选。