检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置MySQL 安装Maxwell 配置Maxwell 启动Maxwell 验证Maxwell 停止Maxwell Maxwell生成的数据格式及常见字段含义 配置MySQL 开启binlog，在MySQL中打开my.cnf文件，在[mysqld] 区块检查是否配置server_id，
集群已安装HDFS、Yarn、Flink和Hudi等服务。 包含Hudi服务的客户端已安装，例如安装路径为：/opt/client。 Flink要求1.12.2及以后版本，Hudi要求0.9.0及以后版本。 参考创建FlinkServer权限角色创建一个具有FlinkServer管理员权限的用户用于访问Flink W
集群实际域名，例如props.put(KERBEROS_DOMAIN_NAME , "hadoop.hadoop1.com")。 部署运行及结果查看 导出本地jar包，请参见打包Strom样例工程应用。 获取下列jar包： 在安装好的Kafka客户端目录中进入Kafka/kafka/libs目录，获取如下jar包：
集群实际域名，例如props.put(KERBEROS_DOMAIN_NAME , "hadoop.hadoop1.com")。 部署运行及结果查看 导出本地jar包，请参见打包Storm样例工程应用。 获取相关配置文件，获取方式如下： 安全模式：参见4获取keytab文件。 普通模式：无。
已获取Oracle数据库所在的IP地址，端口号，数据库实例名称或是数据库pdb名称，用户名及密码。 HetuEngine对接Oracle数据源约束 目前Oracle数据源默认为只读模式，支持Oracle12及以后版本。 HetuEngine支持的Oracle数据源的Schema和Table名称不区分大小写。
检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从HDFS/OBS导出数据时，确保HDFS/OBS数据源的输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。 如果设置的任务需要使用指定Yarn队列功能，该用户需要已授权有相关Yarn队列的权限。
need_auto_refresh： 管理计算实例时，预先创建维护实例后，可通过设置need_auto_refresh为true，创建具备自动刷新能力的物化视图，它会自动创建并提交物化视图刷新任务，在此基础上，可对refresh_duration，start_refresh_ahead_of_expiry
角色名称：填写角色的名称，例如testrole。 配置资源权限：在“配置资源权限”的表格中选择“待操作集群的名称 > IoTDB > 普通用户权限”，勾选root根目录的“设置数据库”权限；再单击“root”，选择对应的存储组，勾选“创建”、“修改”、“写”、“读”权限。 选择“用户
检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从HDFS/OBS导出数据时，确保HDFS/OBS数据源的输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。 如果设置的任务需要使用指定Yarn队列功能，该用户需要已授权有相关Yarn队列的权限。
cutor上。 所有的Task执行完成后，用户的应用程序运行结束。 图1 Spark应用运行架构 约束与限制 本实践仅适用于MRS 3.x及之后版本，且在集群外客户端节点中安装Python3。 操作流程 本实践基本操作流程如下所示： 步骤1：在MRS集群外节点安装客户端 步骤2：安装Python3
处理数据的方式。有两种实现方式可用：sort和hash。sort shuffle对内存的使用率更高，是Spark 1.2及后续版本的默认选项。Spark2.x及后续版本不支持hash。 SORT spark.shuffle.consolidateFiles （仅hash方式）如果
启用并行数据读取功能将基于节点分布和“max-splits”参数值来确定实际的split数。 并行读取将与数据源创建多个连接，被依赖的数据源应当具备支持负载的能力。 false split-type 并行数据读取类型 NODE：基于GaussDB数据源DN节点划分并行度 PARTITION：基于表分区划分并行度
调度第一次超时时间。单位为秒。 1s spark.dynamicAllocation.sustainedSchedulerBacklogTimeout 调度第二次及之后超时时间。 1s spark.dynamicAllocation.executorIdleTimeout 普通Executor空闲超时时间。单位为秒。
Balance功能是基于不同节点的I/O负载情况，在HDFS客户端进行读写操作时，尽可能地选择I/O负载较低的节点进行读写，以此达到I/O负载均衡，以及充分利用集群整体吞吐能力。 写文件时，如果开启写文件的HDFS Load Balance功能，NameNode仍然是根据正常顺序（本地节点—本机架—远端机架）进行
{table_name}为表名。 指定属性“transactional=true”可以让表支持“原子性、一致性、隔离性、持久性”写入的事务能力，但是将表定义为事务表后，无法通过设置“transactional=false”将其退化为非事务表。 transactional='true'或
影响较大，一旦操作失误会导致数据丢失，不推荐使用此功能。 使用BulkLoad批量导入的数据不支持加密。 本章节内容仅适用于MRS 3.x及之后版本。 加密HFile和WAL内容 在任一安装HBase服务节点，使用omm用户执行如下命令创建密钥。 sh ${BIGDATA_HOM
导入、导出数据的大小。 使用Loader从SFTP、FTP和HDFS/OBS导入数据时，确保外部数据源的输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。 如果设置的任务需要使用指定Yarn队列功能，该用户需要已授权有相关Yarn队列的权限。
Task节点数据磁盘存储类别，目前支持SATA、SAS和SSD等。 约束限制： 不涉及 取值范围： SATA：普通IO SAS：高IO SSD：超高IO GPSSD：通用型SSD 默认取值： 不涉及 data_volume_count 是 Integer 参数解释： Task节点数据磁盘存储数目。 约束限制：
资源信息。 通过VPC创建或查询VPC、子网 通过ECS创建或查询密钥对 通过终端节点获取区域信息 参考MRS服务支持的组件获取MRS版本及对应版本支持的组件信息 接口约束 无 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
