检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
P段，并且IP填写支持“*”通配符，例如：192.168.1.10,192.168.1.20或者192.168.1.*。 Policy Label 为当前策略指定一个标签，可以根据这些标签搜索报告和筛选策略。 HBase Table 将适用该策略的表。 可支持通配符“*”，例如“
ftp-connector”，单击“添加”，输入配置连接参数，单击“测试”验证连接是否可用，待提示“测试成功”后单击“确定”。Loader支持配置多个SFTP服务器操作数据，单击“添加”可增加多行SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。
需要使用的是表的总数据大小，而不是压缩以后的文件大小 桶的设置以偶数最佳，非分区表最小桶数请设置4个，分区表最小桶数请设置1个。 确认建表SQL DataArts支持通过Spark JDBC方式和Spark API方式操作Hudi表： Spark JDBC方式使用公用资源，不用单独起Spark作业，但是
Manager查看员，具有主页、集群、主机、告警与事件、租户资源（MRS 3.5.0及之后版本支持）、系统的查看权限和下载客户端权限。（下载客户端的权限仅MRS 3.2.0及之后版本支持） Manager_tenant Manager租户管理员。 可为当前用户所属于的非叶子租户创建子租户并管理。具有“运维
Interceptors Flume的拦截器（Interceptor）支持在数据传输过程中修改或丢弃传输的基本单元Event。用户可以通过在配置中指定Flume内建拦截器的类名列表，也可以开发自定义的拦截器来实现Event的修改或丢弃。Flume内建支持的拦截器如下表所示，本章节会选取一个较为复杂的作
ftp-connector”，单击“添加”，输入配置连接参数，单击“测试”验证连接是否可用，待提示“测试成功”后单击“确定”。Loader支持配置多个SFTP服务器操作数据，单击“添加”可增加多行SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。
ume实例和两个MonitorServer实例的“业务IP”。 使用VNC方式，登录弹性云服务器。参见远程登录（VNC方式）。 所有镜像均支持Cloud-init特性。Cloud-init预配置的用户名“root”，密码为创建集群时设置的密码。首次登录建议修改。 在弹性云服务器，
小时，参数值为0~23。 第3列 日期，参数值为1~31。 第4列 月份，参数值为1~12。 第5列 星期，参数值为0~6，0表示星期日。 使用限制 只支持同类型磁盘之间的数据移动，例如SSD->SSD，DISK->DISK等。 执行该特性会占用涉及节点的磁盘IO资源、网络带宽资源，请尽量在业务不繁忙的时候使用。
ftp-connector”，单击“添加”，输入配置连接参数，单击“测试”验证连接是否可用，待提示“测试成功”后单击“确定”。Loader支持配置多个SFTP服务器操作数据，单击“添加”可增加多行SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。
x及之后版本） 登录FusionInsight Manager。 单击“主机”，查看主机列表信息。 主机列表展示了集群中所有主机及主机基本信息，并支持对主机进行相关运维操作以及设置条件筛选和搜索主机；还可单击“导出全部”，在“保存类型”选择“TXT”或“CSV”，单击“确定”导出所有主机
endpoint-name.secret_access_key OBS sk，获取方法请参考如何获取访问密钥AK/SK 对于OBS直接分享出来的URL，一般是带HTTPS的，如果不能直接访问，请按如下步骤修改配置。 登录FusionInsight Manager，选择“集群 > 服务 > ClickHouse
xx:21088 Hive MetaStore的URL，格式为“thrift://<Hive MetaStore的IP地址>:<端口号>”，支持多个值，以逗号分隔。 hive.metastore.sasl.enabled true MetaStore的管理权限开关。值为“true”。
开发流程中各阶段的说明如图1和表1所示。 图1 Spark应用程序开发流程 表1 Spark应用开发的流程说明 阶段 说明 参考文档 准备开发环境 Spark的应用程序支持使用Scala、Java、Python三种语言进行开发。推荐使用IDEA工具，请根据指导完成不同语言的开发环境配置。Spark的运行环境即
Reduce，使下一代的MapReduce(MRv2/Yarn)框架具有更好的扩展性、可用性、可靠性、向后兼容性和更高的资源利用率，以及能支持除了MapReduce计算框架外的更多的计算框架。 基本概念 ResourceManager（RM） RM是一个全局的资源管理器，负责整个
是否必填 默认值 分隔符 CSV文件的列分隔符，用于分隔每行的数据。 string 是 , 换行符 用户根据数据实际情况，填写字符串作为换行符。支持任何字符串。默认使用操作系统的换行符。 string 否 \n 文件名是否作为字段 自定义一个字段，以当前数据所在的文件名作为该字段值。 string
Reduce，使下一代的MapReduce(MRv2/Yarn)框架具有更好的扩展性、可用性、可靠性、向后兼容性和更高的资源利用率，以及能支持除了MapReduce计算框架外的更多的计算框架。 基本概念 ResourceManager（RM） RM是一个全局的资源管理器，负责整个
Reduce，使下一代的MapReduce(MRv2/Yarn)框架具有更好的扩展性、可用性、可靠性、向后兼容性和更高的资源利用率，以及能支持除了MapReduce计算框架外的更多的计算框架。 基本概念 ResourceManager（RM） RM是一个全局的资源管理器，负责整个
getRestartComps(Application.java:467) 解决办法 若Flume数据写入的组件未启动，启动对应组件；若组件异常，请联系服务技术支持。 Sink未启动，检查配置文件是否配置正确，若配置错误，则正确修改配置文件后重启Flume进程，如果配置正确，则查看日志错误信息，根据具体错误信息制定解决办法。
在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 dfs.mover.auto.enable 是否开启数据副本迁移功能，该功能支持多种。默认值为“false”，表示关闭该特性。 false dfs.mover.auto.cron.expression HDFS执行自动
hive_sync.db 选填 Hive的数据库名，默认为default。 根据实际填写 hive_sync.support_timestamp 选填 是否支持时间戳。 True changelog.enabled 选填 是否写入changelog消息。默认值为false，CDC场景填写为true。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
