检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
进入Source然后传递到Channel,最后由Sink发送到下一个Agent或目的地(客户端外部)。各模块说明见表1。 表1 模块说明 名称 说明 Source Source负责接收数据或产生数据,并将数据批量放到一个或多个Channel。Source有两种类型:数据驱动和轮询。
webhdfs!”保存退出。 在普通模式下,只支持使用HTTP服务访问。登录FusionInsight Manager页面,选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”,在“搜索”框里搜索“dfs.http.policy”,然后勾选“HTTP_ONLY”,
env = StreamExecutionEnvironment.getExecutionEnvironment(); // 设置并发度 env.setParallelism(1); // 解析运行参数 ParameterTool
webhdfs!”保存退出。 在普通模式下,只支持使用HTTP服务访问。登录FusionInsight Manager页面,选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”,在“搜索”框里搜索“dfs.http.policy”,然后勾选“HTTP_ONLY”,
取值范围: 不涉及 默认取值: 不涉及 user String 参数解释: 提交作业的用户名称。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 job_name String 参数解释: 作业名称。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 job_result
FileOutputFormat.setOutputPath(job, new Path(baseDir, OUTPUT_DIR_NAME)); // 设置输出键值类型 job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text
FileOutputFormat.setOutputPath(job, new Path(baseDir, OUTPUT_DIR_NAME)); // 设置输出键值类型 job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text
tore", "truststore文件路径"); } session = new Session(HOST, PORT,"认证用户名称", getAuthToken()); session.open(false); // set session fetchSize
议。例如,若Curl仅支持TLSv1协议,修改方法如下: 登录FusionInsight Manager页面,选择“集群 > 待操作集群的名称 > 服务 > Yarn > 配置 > 全部配置”,在“搜索”框里搜索“hadoop.ssl.enabled.protocols”,查看参
上述命令会将container运行日志下载至本地,该日志包含了TaskManager/JobManager的运行日志,GC日志等信息。 还可以使用如下命令获取指定名称日志。 获取container日志列表: yarn logs -applicationId application_* -show_container_log_info
query, tsd, scan, search, uid, version 创建OpenTSDB指标 创建存入到OpenTSDB中的指标名称,可执行tsdb mkmetric sys.cpu.user命令创建sys.cpu.user。 Start run net.opentsdb
上述命令会将container运行日志下载至本地,该日志包含了TaskManager/JobManager的运行日志,GC日志等信息。 还可以使用如下命令获取指定名称日志。 获取container日志列表: yarn logs -applicationId application_* -show_container_log_info
src\main\resources\workflow.xml <jar> </jar> 将“OoizeSparkHBase-1.0.jar”修改成实际打包的jar包名称 <jar>${nameNode}/user/${userName}/${examplesRoot}/apps/spark2x/lib/OoizeSparkHBase-1
Names 当JOIN的两个relation有相同的列名时,列引用必须使用relation别名(如果relation有别名)或relation名称进行限定: SELECT nation.name, region.name FROM nation CROSS JOIN region; SELECT
MRS集群节点内存占满,磁盘出现踢盘,盘分区丢失。 LdapServer数据一致性检查增强。LDAP主备关键数据不一致,未能及时上报告警。 Kafka Topic名称带有短横线分隔符,磁盘隔离后自动恢复失败。 Kafka新增时延监控转告警,包括Topic数量监控、分区数量监控、请求时延监控,以增强定位定界功能。
可以通过调整客户端参数dfs.client.block.write.locateFollowingBlock.retries的值来增加retry的次数,可以将值设置为6,那么中间睡眠等待的时间为400ms、800ms、1600ms、3200ms、6400ms、12800ms,也就是说close函数最多要50
上述命令会将container运行日志下载至本地,该日志包含了TaskManager/JobManager的运行日志,GC日志等信息。 还可以使用如下命令获取指定名称日志。 获取container日志列表: yarn logs -applicationId application_* -show_container_log_info
src\main\resources\workflow.xml <jar> </jar> 将“OoizeSparkHBase-1.0.jar”修改成实际打包的jar包名称 <jar>${nameNode}/user/${userName}/${examplesRoot}/apps/spark2x/lib/OoizeSparkHBase-1
获取ZooKeeper的IP列表和端口、集群的认证模式、HiveServer的SASL配置、HiveServer在ZooKeeper中节点名称、客户端对服务端的发现模式、以及服务端进程认证的principal。这些配置样例代码会自动从“hiveclient.properties中”读取。
\Q和\E在字符类(如[A-Z123])中不受支持,而是作为文本处理。 支持Unicode字符类(\ p {prop}),但有以下差异: 名称中的所有下划线都必须删除。例如,使用OldItalic而不是Old_Italic 必须直接指定脚本,不能带Is,script =或sc =前缀。示例:\