检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
”。 - 设置数据转换 单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考Loader算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 CSV文件输入 表输出 HTML输入 表输出 固定宽度文件输入 表输出 图3 算子操作方法示意
进入“kafka-logs”目录,执行du -sh *命令,选择一个待移动的Partition文件夹,其名称命名规则为“Topic名称-Partition标识”,记录Topic及Partition。 修改“kafka-logs”目录下的“recovery-point-offset-checkpoint”和“repli
true 设置数据转换 单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考Loader算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 表输入 HBase输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“
建。 表1 配置LakeFormation数据连接 参数 说明 类型 选择“LakeFormation”,当前仅MRS 3.3.0-LTS及之后版本支持连接该类型。 名称 数据连接的名称。 LakeFormation实例 选择LakeFormation实例名称。 该实例需要先在L
“源端路径”:填写备份文件在OBS中保存的完整路径。例如,“备份路径/备份任务名_数据源_任务创建时间/版本号_数据源_任务执行时间.tar.gz”。 MRS 3.1.0及之后版本才支持将备份文件保存到OBS。 单击“确定”保存。 在恢复任务列表已创建任务的“操作”列,单击“执行”,开始执行恢复任务。 恢复成功后进度显示为绿色。
值转换为整型值 用户可以按照上述格式为处理程序添加自己的表属性,并在自定义实现类中访问它们。originLatitude,gridSize及conversionRatio是必选参数,其余属性在Carbon中都是可选的。可以使用“SPATIAL_INDEX.xxx.class”属性指定它们的实现类。
/flink 固定目录 存放checkpoint任务数据 否 删除会导致运行任务失败 表2 HDFS文件系统目录结构(适用于MRS 3.x及之后版本) 路径 类型 简略功能 是否可以删除 删除的后果 /tmp/spark2x/sparkhive-scratch 固定目录 存放Spark2x
gz”。 “NameService名称”:选择备份目录对应的NameService名称。默认值为“hacluster”。 MRS 3.1.0及之后版本才支持将备份文件保存到OBS。 单击“确定”保存。 在恢复任务列表已创建任务的“操作”列,单击“执行”,开始执行恢复任务。 恢复成功后进度显示为绿色。
开源默认端口 定制默认端口 端口说明 dfs.namenode.rpc.port 9820(MRS 3.x之前版本) 8020(MRS 3.x及之后版本) 25000 NameNode RPC 端口。 该端口用于: HDFS客户端与Namenode间的通信。 Datanode与NameNode之间的连接。
x之前的版本集群,磁盘配额最大百分比的有效取值范围为0~100,如果配置小于等于0,会被强制重置为25;如果配置大于100,则被强制重置为25。 对于MRS 3.x及后续版本集群,磁盘配额最大百分比的有效取值范围为-1~100,如果配置小于-1,会被强制重置为25;如果配置大于100,则被强制重置为25。
ssl.truststore-password”的值设置为调用“generate_keystore.sh”脚本时输入的密码。 MRS 3.x及之后版本,如果需要使用密文时,设置“flink-conf.yaml”中“security.ssl.encrypt.enabled: true
如Server:Spooldir Source+File Channel+HBase Sink。 前提条件 已成功安装集群,包含HBase及Flume服务。 已安装Flume客户端。 确保集群网络环境安全。 已创建HBase表:create 'flume_test', 'cf'。
se/component_test3 --fields-terminated-by ',' -m 1 更多参数介绍请参见Sqoop常用命令及参数介绍。 表1 参数说明 参数 说明 --connect 指定JDBC连接的URL,格式为:jdbc:mysql://MySQL数据库IP地址:MySQL的端口/数据库名称。
SQL。 当前仅MRS 2.0.6版本的MRS 2.0.6.1补丁、MRS 2.1.0版本的MRS 2.1.0.7补丁、MRS 3.1.2及之后版本集群支持。 取值范围: 不涉及 默认取值: 不涉及 sql_content 是 String 参数解释: 待执行的SQL语句。目前仅支持执行单条语句,语句中不包含“;”。
支持两种方式选择备份数据: 添加备份数据文件 单击导航中某个数据库的名称,将展开显示此数据库中的所有表,勾选指定的表。 MRS 3.2.0及之后版本: 单击“添加”。 在“文件目录”框内选择要备份的表,单击“添加”添加到“备份文件”框内。 单击“确定”添加备份数据文件。 正则表达式筛选
SparkSQL数据库和表的权限,只需要设置元数据权限,系统会自动关联HDFS文件权限,减少界面操作,提高效率。 SparkSQL使用场景及对应权限 用户通过SparkSQL服务创建数据库需要加入Hive组,不需要角色授权。用户在Hive和HDFS中对自己创建的数据库或表拥有完整
支持两种方式选择备份数据: 添加备份数据文件 单击导航中某个数据库的名称,将展开显示此数据库中的所有表,勾选指定的表。 MRS 3.2.0及之后版本: 单击“添加”。 在“文件目录”框内选择要备份的表,单击“添加”添加到“备份文件”框内。 单击“确定”添加备份数据文件。 正则表达式筛选
影响较大,一旦操作失误会导致数据丢失,不推荐使用此功能。 使用BulkLoad批量导入的数据不支持加密。 本章节内容仅适用于MRS 3.x及之后版本。 加密HFile和WAL内容 在任一安装HBase服务节点,使用omm用户执行如下命令创建密钥。 sh ${BIGDATA_HOM
支持两种方式选择备份数据: 添加备份数据文件 单击导航中某个数据库的名称,将展开显示此数据库中的所有表,勾选指定的表。 MRS 3.2.0及之后版本: 单击“添加”。 在“文件目录”框内选择要备份的表,单击“添加”添加到“备份文件”框内。 单击“确定”添加备份数据文件。 正则表达式筛选
Compaction时被归档到冷存储(OBS)中。 插入记录。 执行“put”命令向指定表插入一条记录,需要指定表的名称,主键,自定义列,及插入的具体值。例如: put 'hot_cold_table','row1','cf:a','value1' 命令中各参数分别代表如下含义: