检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在本地Windows中调测HDFS程序 操作场景 在代码完成开发后，您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。 HDFS应用程序运行完成后，可直接通过运行结果查看应用程序运行情况，也可以通过HDFS日志获取应用运行情况。 在本地Windows中调测HDFS程序
3.0及以后版本。 操作场景 在python3程序代码完成开发后，可以在Windows环境或者上传到Linux环境进行调测，和集群业务平面网络互通时，可以直接在本地进行调测。 操作步骤 参考导入并配置HetuEngine Python3样例工程章节，获取样例代码，获取hetu-jdbc-XXX
财务的管理。 default 虚拟私有云 VPC即虚拟私有云，是通过逻辑方式进行网络隔离，提供安全、隔离的网络环境。 vpc-01 子网 通过子网提供与其他网络隔离的、可以独享的网络资源，以提高网络安全。 subnet-01 Kerberos认证 当集群开启Kerberos认证时
SQL逻辑开发建议 在aggregate和join等操作前将数据过滤来减少计算的数据量 提前过滤可以减少在shuffle阶段前的数据量，减少网络IO，从而提升查询效率。 比如在表join前先过滤数据比在ON和WHERE时过滤可以有效较少join数据量。因为执行顺序从发生shuffl
jobs直接生成符合HBase内部数据格式的文件，然后把生成的StoreFiles文件加载到正在运行的集群。使用批量加载相比直接使用HBase的API会节约更多的CPU和网络资源。 ImportTSV是一个HBase的表数据加载工具。 本章节适用于MRS 3.x及之后版本。 前提条件 在执行批量加载时需要通过“Dimporttsv
在本地Windows中调测HDFS程序 操作场景 在代码完成开发后，您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。 HDFS应用程序运行完成后，可直接通过运行结果查看应用程序运行情况，也可以通过HDFS日志获取应用运行情况。 在本地Windows中调测HDFS程序
3.0及以后版本。 操作场景 在python3程序代码完成开发后，可以在Windows环境或者上传到Linux环境进行调测，和集群业务平面网络互通时，可以直接在本地进行调测。 操作步骤 参考导入并配置HetuEngine Python3样例工程章节，获取样例代码，获取hetu-jdbc-XXX
在本地Windows环境中调测HDFS程序 操作场景 在代码完成开发后，您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。 HDFS应用程序运行完成后，可直接通过运行结果查看应用程序运行情况，也可以通过HDFS日志获取应用运行情况。
x及之前版本集群，用户的MRS集群启动Yarn后产生大量作业，占用集群计算资源。 原因分析 集群安全组入口方向的Any协议源地址配置为0.0.0.0/0，导致集群可能遭受了外部网络攻击。 处理步骤 登录MRS集群页面，在“现有集群”中，单击对应的集群名称，进入集群详情页面。 单击“集群管理页面”后面的“前往 Manager”，弹出“访问MRS
该任务指导用户使用Flume服务端从Kafka的Topic列表(test1)采集日志保存到HDFS上“/flume/test”目录下。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。该配置为只用一个Flume场景，例如：Kafka
该任务指导用户使用Flume客户端从本地采集静态日志保存到HBase表：flume_test。该场景介绍的是多级agent串联操作。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。该配置可以只用一个Flume场景，例如Server：Spooldir
执行ping命令，查看主HMaster节点和依赖组件所在主机的网络连接是否正常。（依赖组件包括ZooKeeper、HDFS和Yarn等，获取依赖组件所在主机的IP地址的方式和获取主HMaster的IP地址的方式相同。） 是，执行31。 否，执行29。 联系网络管理员恢复网络。 在告警列表中，查看“HBase服务不可用”告警是否清除。
则，根据业务调整对应SQL防御规则的参数。 该功能仅MRS 3.5.0及之后版本支持。 前提条件 待连接Doris数据库的节点与MRS集群网络互通。 FE和BE实例状态正常。 已安装MySQL客户端。 使用约束 防御规则默认动态生效时间为5分钟。 拦截和熔断规则会中断SQL查询，请根据实际业务配置合理的值。
配置Kafka数据传输加密 操作场景 Kafka客户端和Broker之间的数据传输默认采用明文传输，客户端可能部署在不受信任的网络中，传输的数据可能遭到泄漏和篡改。 该章节仅适用于MRS 3.x及之后版本。 配置Kafka数据传输加密 默认情况下，组件间的通道是不加密的。用户可以配置如下参数，设置安全通道为加密的。
进行比较，当检测到DNS解析时长连续多次（默认值为2）超过阈值时产生该告警。 用户可通过“系统设置 > 阈值配置 > 设备 > 主机 > 网络状态 > DNS解析时长 > DNS解析时长”修改阈值。 平滑次数为1，DNS解析时长小于等于阈值时，告警恢复；平滑次数不为1，DNS解析时长小于等于阈值的90%时，告警恢复。
备DBService心跳IP地址命令检查备DBService节点是否可达。 是，执行6。 否，执行4。 联系网络管理员查看是否为网络故障。 是，执行5。 否，执行6。 修复网络故障，查看告警列表中，该告警是否已清除。 是，处理完毕。 否，执行6。 检查备DBService状态是否正常
接MRS集群，配置文件通常包括集群组件信息文件，可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点，需要与MRS集群内节点网络互通，同时配置hosts域名信息。 场景一：准备本地Windows开发环境调测程序所需配置文件。 登录FusionInsight Manager页面，选择“集群
该任务指导用户使用Flume服务端从本地采集静态日志保存到HDFS上“/flume/test”目录下。 本章节适用于MRS 3.x及之后版本。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。该配置为只用一个Flume场景，例如：Spooldir
pic列表(test1)采集日志保存到HDFS上“/flume/test”目录下。 本章节适用于MRS 3.x及之后版本。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。该配置为只用一个Flume场景，例如：Kafka
上。HDFS文件同分布的特性，将那些需进行关联操作的文件存放在相同数据节点上，在进行关联操作计算时避免了到别的数据节点上获取数据，大大降低网络带宽的占用。 在使用Colocation功能之前，建议用户对Colocation的内部机制有一定了解，包括： Colocation分配节点原理
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
