检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
会增大来自互联网的网络攻击风险可能性。 请确认绑定的弹性公网IP为可信任的公网访问IP。 开放集群22端口安全组规则 该操作会增大用户利用22端口进行漏洞攻击的风险。 针对开放的22端口进行设置安全组规则,只允许可信的IP可以访问该端口,入方向规则不推荐设置允许0.0.0.0可以访问。
配置输入字段列数,大于原始数据实际包含的字段列数,全部数据成为脏数据。 分隔转换 原始数据包含NULL值,当前行成为脏数据。 配置分割后字段列数,大于原始数据实际可分割出来的字段列数,当前行成为脏数据。 取模转换 原始数据包含NULL值,当前行成为脏数据。 配置输入字段列数,大于原始数据实际包含的字段列数,全部数据成为脏数据。
在JobHistory界面中跳转到某个应用的原生页面时,JobHistory需要回放该应用的Event log,若应用包含的事件日志较大,则回放时间较长,浏览器需要较长时间的等待。 当前浏览器访问JobHistory原生页面需经过httpd代理,代理的超时时间是10分钟,因此,如果Job
MRS集群支持提交哪些形式的Spark作业? MRS节点访问OBS报错408如何处理? 如何让不同的业务程序分别用不同的Yarn队列? 提交作业失败,报错与OBS相关如何处理? MRS集群租户资源最小值为0时只能同时运行一个任务吗? 作业提交参数间用空格隔开导致参数信息不被识别如何处理? S
针对HBase配置存算分离的场景,在MRS 3.1.2及后续版本中,需参考本章节配置组件数据回收站清理策略。 需为MRS集群预置用户所涉及的回收站目录和其他新增的有防误删需求的用户的回收站目录配置生命周期策略。若委托权限较小或参考配置MRS集群用户的OBS的细粒度访问权限配置了MR
建HetuEngine的用户并授予相关权限,且需要通过Ranger为该用户配置操作数据源的数据库、表、列的管理权限。 配置HetuEngine SQL防御使用约束 防御规则默认动态生效时间为5分钟。 拦截和熔断规则会中断SQL查询,请根据实际业务配置合理的值。 熔断规则由系统Se
Table。 可以识别Hive Metastore中存储的Hive和Hudi元数据。 如果想访问非当前用户创建的Catalog,需授予用户Catalog所在的OBS路径的操作权限。 Hive表格式仅支持Parquet、ORC、TextFile。 前提条件 已创建包含Doris服务的集群,集群内各服务运行正常。
功能介绍 在Flink应用中,调用flink-connector-kafka模块的接口,生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka,则需要引入FusionInsight的kafka-clients-*.jar,该jar包可在Kafka客户端目录下获取。
签名和认证的AK/SK,用于区分租户的项目ID。 表1 信息收集项 Endpoint 地区与终端节点,即云服务在不同Region有不同的访问域名。 获取方式请参考终端节点及区域。 Project_Id 项目ID,在大多数API接口调用时需要配置在uri中,用以识别不同的项目。 AK/SK
功能介绍 在Flink应用中,调用flink-connector-kafka模块的接口,生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka,则需要引入FusionInsight的kafka-clients-*.jar,该jar包可在kafka客户端目录下获取。
导入任务的标识。每个导入任务,都有一个在单database内部唯一的label。label是用户在导入命令中自定义的名称。通过该label,用户可以查看对应导入任务的执行情况。 column_separator 用于指定导入文件中的列分隔符,默认为\t,可以使用多个字符的组合作为
编辑角色,在“配置资源权限”的表格中选择“待操作集群的名称 > Hive > Hive读写权限”,勾选“default”的“建表”,单击“确定”保存。 编辑角色,在“配置资源权限”的表格中选择“待操作集群的名称 > Yarn > 调度队列 > root”,勾选“default”的“提交”,单击“确定”保存。
Guardian提供了如下表2所示的日志级别。 日志的级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。 表2 日志级别 级别 描述 ERROR ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。
ebalance的能力,创建任务时指定的task数量会在整个集群中的CDLConnector实例之间做均衡,保证每个实例上运行的task数量大致相同,如果某个CDLConnector实例异常或者节点宕机,该任务会在其它节点重新平衡task的数量。 图1 Task的Rebalance示意图
配置 > 全部配置”,进入Doris服务的全部配置页面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别并保存。 单击“概览”,选择“更多 > 重启服务”,输入当前用户密码重启Doris服务。 日志格式 Doris的日志格式如下所示: 表3 日志格式 日志类型
2024-08-19 解决的问题 MRS 3.3.1-LTS.1.2修复问题列表: 解决Doris集群产生RFC请求耗时超过阈值的误告警问题 解决Doris的BE实例crash重启的问题 解决Doris物化视图测试时出现过crash重启的问题 解决Doris审计日志SQL截断的问题 解决Doris
配置输入字段列数,大于原始数据实际包含的字段列数,全部数据成为脏数据。 分隔转换 原始数据包含NULL值,当前行成为脏数据。 配置分割后字段列数,大于原始数据实际可分割出来的字段列数,当前行成为脏数据。 取模转换 原始数据包含NULL值,当前行成为脏数据。 配置输入字段列数,大于原始数据实际包含的字段列数,全部数据成为脏数据。
稀疏:对于为空(null)的列,并不占用存储空间,因此,表可以设计的非常稀疏。 接口类型介绍 由于HBase本身是由java语言开发出来的,且java语言具有简洁通用易懂的特性,推荐用户使用java语言进行HBase应用程序开发。 HBase采用的接口与Apache HBase保持一致。
在Flink应用中,调用flink-connector-kafka模块的接口,生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka,则需要引入FusionInsight的kafka-clients-*.jar,该jar包可在Kafka的客户端目录下获取。 下面列出producer和consumer主要逻辑代码作为演示。
Kafka服务是否开启安全模式标记文件。 producer.properties Kafka的producer端配置信息。 server.properties Kafka的服务端的配置信息。 复制解压目录下的“hosts”文件中的内容到本地hosts文件中。 在应用开发过程中,如需在本地Windows