检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
需求进行配置。 参数名称 参数说明 取值范围 dfs.client.hedged.read.threshold.millis 客户端在决定是否启动对冲读取之前等待第一个数据块的第一个字节的毫秒数。 大于等于0 dfs.client.hedged.read.threadpool.size
操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“DistCp”按钮,将其拖到操作区中。 当前DistCp操作是否是跨集群操作。 是,执行4。 否,执行7。 对两个集群进行跨Manager集群互信。 在弹出的“Distcp”窗口中配置“源”的值,例如“
dit-namenode.log)搜索文件名,确认文件的创建时间。 搜索文件创建到出现异常时间范围的NameNode的审计日志,搜索该文件是否被删除或者移动到其他目录。 如果该文件没有被删除或者移动,可能是该文件的父目录,或者更上层目录被删除或者移动,需要继续搜索上层目录。如本样例中,是文件的父目录被删除。
产生该告警。此时说明发送到JDBCServer进程的请求过多,超出JDBCServer进程目前的承受范围。 告警属性 告警ID 告警级别 是否可自动清除 43028 重要(默认连续3次检测超过9次) 紧急(默认连续3次检测超过12次) 否 告警参数 类别 参数名称 参数含义 定位信息
全部配置”,搜索参数“profiles.default.readonly”,修改参数值为0,退出只读模式。 告警属性 告警ID 告警级别 是否可自动清除 45439 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称
操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“DistCp”按钮,将其拖到操作区中。 当前DistCp操作是否是跨集群操作。 是,执行4。 否,执行7。 对两个集群进行跨Manager集群互信。 在弹出的“Distcp”窗口中配置“源”的值,例如“
服务”。在搜索框分别输入“advertised”和 "actual",会出现如下图所示五个配置项,可参考表1配置具体参数。 表1 参数配置说明 配置项 描述 取值要求 enable.advertised.listener 是否开启“advertised.listeners”配置,默认值为“false”。 配置“enable
打开浏览器访问:华为提供开源镜像站(网址为https://mirrors.huaweicloud.com/),查看网站是否能正常访问。如果访问异常,请先开通本地网络。 确认当前开发工具是否开启代理。下载jar包前需要确保开发工具代理关闭。 比如以2020.2版本的IntelliJ IDEA开发工具为例,单击“File
> 99%。 当系统连续90s内不满足以上所有条件时,告警自动清除。 相关参数获取及计算方法请参见参考信息。 告警属性 告警ID 告警级别 是否自动清除 12180 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。
3/DataNode节点数。 表2 DataNode支持规格 项目 规格 单个DataNode实例支持最大Block数 5,000,000 单个DataNode实例上单个磁盘支持最大Block数 500,000 单个DataNode实例支持最大Block数需要的最小磁盘数 10 表3 DataNode节点数规划
parse_presto_data_size('2.3MB'); -- 2411724 其他 typeof(expr) → varchar 返回表达式的数据类型名称。 SELECT typeof(123);-- integer SELECT typeof('cat');-- varchar(3)
2 | 3 | 0 | 0.0 (3 rows) 上述结果列表指出,正如预期的那样,id为1和3的文本非常相似。 Data sketches(数据草图)可以序列化为varbinary,也可以从varbi
java:467) 解决办法 若Flume数据写入的组件未启动,启动对应组件;若组件异常,请联系服务技术支持。 Sink未启动,检查配置文件是否配置正确,若配置错误,则正确修改配置文件后重启Flume进程,如果配置正确,则查看日志错误信息,根据具体错误信息制定解决办法。 父主题: 使用Flume
{ String[] words = s.split("\\s"); if (words.length < 2) { return
g_ConfigFiles.tar”,继续解压该文件。 进入客户端配置文件解压路径的“HBase\config”,获取HBase表1中相关配置文件。 表1 配置文件 配置文件 作用 core-site.xml 配置Hadoop Core详细参数。 hbase-site.xml 配置HBase详细参数。
hive conn = hive.Connection(host=JDBCServerHost, port=JDBCServerPort,database='default') cursor=conn.cursor() cursor.execute("select * from test")
确认客户端和集群时间一致性。客户端机器的时间与Flink集群的时间要保持一致,时间差要小于5分钟。 检查Flink客户端的“flink-conf.yaml”配置文件中的配置项是否配置正确。 父主题: 准备Flink应用开发环境
当执行结果输出到文件或者其他,由Flink应用程序指定,您可以通过指定文件或其他获取到运行结果数据。以下用Checkpoint、Pipeline和配置表与流JOIN为例。 查看Checkpoint结果和文件 结果在flink的“taskmanager.out”文件中。用户可以进入Yarn的WebUI页面,选择“Jobs
当执行结果输出到文件或者其他,由Flink应用程序指定,您可以通过指定文件或其他获取到运行结果数据。以下用Checkpoint、Pipeline和配置表与流JOIN为例: 查看Checkpoint结果和文件 结果在flink的“taskmanager.out”文件中。用户可以进入Yarn的WebUI页面,选择“Jobs
kafka-test 拓扑提交成功后,可以向Kafka中发送数据,观察是否有相关信息生成。 在Linux系统中进入Kafka客户端所在目录,在Kafka/kafka/bin目录下启动consumer观察数据是否生成。执行命令: ./kafka-console-consumer.sh