检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
写入存储,如与前文textFile对应的saveAsTextFile。 还有一个检查点算子checkpoint。当Lineage特别长时(这在图计算中时常发生),出错时重新执行整个序列要很长时间,可以主动调用checkpoint把当前数据写入稳定存储,作为检查点。 Shuffle Shuffle是MapReduc
写入存储,如与前文textFile对应的saveAsTextFile。 还有一个检查点算子checkpoint。当Lineage特别长时(这在图计算中时常发生),出错时重新执行整个序列要很长时间,可以主动调用checkpoint把当前数据写入稳定存储,作为检查点。 Shuffle Shuffle是MapReduc
n>”,此类型不支持。 不能针对组合列建立二级索引。 使用BulkLoad工具批量导入HBase数据 以客户端安装用户,登录安装客户端的节点。 执行以下命令切换到客户端目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果当前
在ZooKeeper客户端执行以下命令,进入ZooKeeper命令行。 sh zkCli.sh -server ZooKeeper任意实例所在节点业务平面IP:clientPort 默认的“clientPort”为“2181” 例如:sh zkCli.sh -server 192.168
径。 文件必须以原子方式放置在给定的目录中,这在大多数文件系统中可以通过文件移动操作实现。 Socket Source host:连接的节点ip,必填 port:连接的端口,必填 不支持 - Rate Source rowsPerSecond:每秒产生的行数,默认值1 rampU
例如,Hive客户端显示“0: jdbc:hive2://10.172.0.43:21066/>”,表示当前连接的HiveServer节点IP地址为“10.172.0.43”。 创建函数、删除函数或者修改任意数据库。 需要授予“Hive管理员权限”。 操作Hive中所有的数据库和表。
2017-10-24 00:32:30,2017-10-25 00:32:30,39.62,99.13 使用WinSCP工具将CSV文件导入客户端节点,例如“/opt”目录下。 登录FusionInsight Manager页面,选择“系统 > 权限 > 用户”,添加人机用户sparkus
n>”,此类型不支持。 不能针对组合列建立二级索引。 使用BulkLoad工具批量导入HBase数据 以客户端安装用户,登录安装客户端的节点。 执行以下命令切换到客户端目录。 cd /opt/hadoopclient 执行以下命令配置环境变量。 source bigdata_env
在ZooKeeper客户端执行以下命令,进入ZooKeeper命令行。 sh zkCli.sh -server ZooKeeper任意实例所在节点业务平面IP:clientPort 默认的“clientPort”为“2181” 例如:sh zkCli.sh -server 192.168
参数名称 描述 Policy Type Access。 Policy Conditions IP过滤策略,可自定义,配置当前策略适用的主机节点,可填写一个或多个IP或IP段,并且IP填写支持“*”通配符,例如:192.168.1.10,192.168.1.20或者192.168.1
warehouse.dir配置 保存配置,然后单击“集群 > 服务”,在服务列表中重启Hive服务。 更新客户端配置文件。 登录Hive客户端所在的节点,执行以下命令修改Hive客户端配置文件目录下的“hivemetastore-site.xml”。 vi 客户端安装目录/Hive/conf
AME, PATH_TO_KEYTAB); } 通过MRS集群客户端以kinit方式获取。 登录MRS集群客户端所在节点,进入客户端安装目录。 cd {客户端安装目录} 执行以下命令配置环境变量。 source bigdata_env 执行以下命令进行用户认证。
CommonOperations MRS ReadOnlyAccess MRS Administrator 创建集群 √ x x √ 调整集群 √ x x √ 升级节点规格 √ x x √ 删除集群 √ x x √ 查询集群详情 √ √ √ √ 查询集群列表 √ √ √ √ 设置弹性伸缩策略 √ x x √
步骤3:Hive外表数据通过CDM迁移到Doris 创建Doris的Unique表。 登录Doris集群中已安装好MySQL客户端的MRS Master节点,执行如下命令进入Doris数据库。 export LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1 (若集群已启用Ke
已安装并配置Loader客户端,具体操作请参见使用命令行运行Loader作业。 交互模式示例 使用安装客户端的用户登录Loader客户端所在节点。 执行以下命令,进入sqoop-shell工具的“conf”目录。例如,Loader客户端安装目录为“/opt/client/Loader/”。
再执行其他任务,按顺序执行。FAIR规则代表各个任务同时获取到资源并平均分配资源。 默认资源标签 - 表示在指定资源标签(Label)的节点上执行任务。 说明: 如果需要使用新的资源池,需要修改默认标签为新的资源池标签。 跨资源池调度 - 表示当前队列内Container是否支持跨资源池调度。(仅MRS
已安装并配置Loader客户端,具体操作请参见使用客户端运行Loader作业。 交互模式示例 使用安装客户端的用户登录Loader客户端所在节点。 执行以下命令,进入sqoop-shell工具的“conf”目录。例如,Loader客户端安装目录为“/opt/client/Loader/”。
登录FusionInsight Manager系统,具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 单击“新建作业”,进入“基本信息”界面,创建作业基本信息。
选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在集群详情页,单击“租户管理”。 在左侧租户列表,将光标移动到需要添加子租户的租户节点上,单击“添加子租户”,打开添加子租户的配置页面,参见以下表格内容为租户配置属性。 表1 租户参数一览表(MRS 3.x版本) 参数名 示例
径。 文件必须以原子方式放置在给定的目录中,这在大多数文件系统中可以通过文件移动操作实现。 Socket Source host:连接的节点ip,必填 port:连接的端口,必填 不支持 - Rate Source rowsPerSecond:每秒产生的行数,默认值1 rampU