检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
--hcatalog-table 指定hive表,使用hcatalog方式导入hive表 其他参数 -m或--num-mappers 后跟数字,表示sqoop任务的分片数 --split-by 按照某一字段进行分片,配合-m --target-dir 指定hdfs临时目录 --null-string
预分Region建表,即创建表时预先分配多个Region,此种方法建表可以提高写入大量数据初期的数据写入速度。 表的列名以及列族名不能包含特殊字符,可以由字母、数字以及下划线组成。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”
预分Region建表,即创建表时预先分配多个Region,此种方法建表可以提高写入大量数据初期的数据写入速度。 表的列名以及列族名不能包含特殊字符,可以由字母、数字以及下划线组成。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”
数据存储目录 寻找所有FE的元数据存储目录,查看此存储目录下子文件“image/image.xxxx”,其中“image.xxxx”后面的数字越大表示元数据越新,找到最新的一个FE,作为即将首个恢复的FE,即Master。 备份所有FE的元数据存储目录。 例如,元数据存储目录为“
只能由英文字母和数字组成,且长度为[1-64]个字符。 默认取值: 不涉及 cluster_id 是 String 参数解释: 集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。获取方法,请参见获取集群ID。 约束限制: 不涉及 取值范围: 只能由英文字母、数字以及“_
预分Region建表,即创建表时预先分配多个Region,此种方法建表可以提高写入大量数据初期的数据写入速度。 表的列名以及列族名不能包含特殊字符,可以由字母、数字以及下划线组成。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”
预分Region建表,即创建表时预先分配多个Region,此种方法建表可以提高写入大量数据初期的数据写入速度。 表的列名以及列族名不能包含特殊字符,可以由字母、数字以及下划线组成。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”
--hcatalog-table 指定Hive表,使用hcatalog方式导入Hive表 其他参数 -m或--num-mappers 后跟数字,表示sqoop任务的分片数 --split-by 按照某一字段进行分片,配合-m --target-dir 指定HDFS临时目录 --null-string
成功,否则删除失败。 原因:创建UDF后,Spark服务端的JDBCServer未重启或者spark-sql未重新启动的场景,Spark所在线程的FunctionRegistry对象未保存新创建的UDF,那么删除UDF时就会出现错误。 解决方法:重启Spark服务端的JDBCSe
从“定位信息”中获取“主机名”和“设备分区名”,其中“主机名”为故障告警的节点,“设备分区名”为故障磁盘的分区。 联系硬件工程师确认为磁盘硬件故障之后,将服务器上故障磁盘在线拔出。 拔出磁盘后系统会上报“ALM-12014 分区丢失”告警,参考ALM-12014 设备分区丢失进行处理,处理完成后,本告警即可自动消除。
集群用户可以通过FusionInsight Manager创建恢复ClickHouse任务并恢复数据。只支持创建任务手动恢复数据。 ClickHouse备份恢复功能不支持识别用户的ClickHouse表、索引、视图等对象在业务和结构上存在的关联关系。用户在执行备份恢复任务时,需要根据业务场景管理统一的恢复点,防止影响业务正常运行。
Hive连接HDFS的超时时间,可以使用自定义配置项功能进行设置。在Hive的“core-site.xml”文件增加此参数可被Hive服务识别并代替HDFS的设置。 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在集群详情页,单击“组件管理”。
范围true或者false Decimal 默认值是(10,0) ,最大值是(38,38) 说明: 当进行带过滤条件的查询时,为了得到准确的结果,需要在数字后面加上BD。例如,select * from carbon_table where num = 1234567890123456.22BD
根目录下创建。 如果当前租户是一个子租户,新路径将在指定的目录下创建。 完整的HDFS存储目录最多包含1023个字符。HDFS目录名称包含数字、大小写字母、空格和下划线。空格只能在HDFS目录名称的中间使用。 文件\目录数上限:填写文件和目录数量配额。该参数为可选参数。 文件数阈值配置
参考表2填写参数。常用的OBS自定义策略样例请参考OBS自定义策略。 表2 策略参数 参数 说明 策略名称 只能包含如下字符:大小写字母、中文、数字、空格和特殊字符(-_.,)。 作用范围 选择全局级服务,OBS为全局服务。 配置策略方式 选择“可视化视图”。 策略内容 “允许”选择“允许”。
等待客户端安装成功。 客户端安装目录可以不存在,系统会自动创建,如果存在则必须为空。安装目录路径不能包含空格,且只能包含大写字母、小写字母、数字以及_字符。 卸载客户端请手动删除客户端安装目录。 检查客户端是否安装成功。 执行以下命令进入客户端安装目录并加载环境变量。 cd /opt/hadoopclient
pool中可用资源的属性,该属性的值以数字表示。 total_resource object 该resource pool所有资源。 vcores, memory, .. int 可消耗数值型资源属性,当前resource pool中总资源的属性,该属性的值以数字表示。 configuration
project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。 约束限制: 不涉及 取值范围: 只能由英文字母和数字组成,且长度为[1-64]个字符。 默认取值: 不涉及 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 is_dec_project
转换 长整型时间转换:实现长整型数值与日期类型的互换。 空值转换:将空值替换成指定值。 增加常量字段:生成常量字段。 随机值转换:生成随机数字段。 拼接转换:拼接已有字段,生成新字段。 分隔转换:将已有字段,按指定分隔符,分隔出新字段。 取模转换:对已有字段取模,生成新字段。 剪
转换 长整型时间转换:实现长整型数值与日期类型的互换。 空值转换:将空值替换成指定值。 增加常量字段:生成常量字段。 随机值转换:生成随机数字段。 拼接转换:拼接已有字段,生成新字段。 分隔转换:将已有字段,按指定分隔符,分隔出新字段。 取模转换:对已有字段取模,生成新字段。 剪