正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“OK”。 完成JDK选择后,单击“Apply”。 选择“Project”,在“Project SDK”下的下拉菜单中选择在“SDKs”中添加的JDK,在“Project language level”下的下拉菜单中选择“8 - Lambdas, type annotations
Manager页面,选择“集群 > 服务 > Kafka > 配置 > 全部配置”,搜索参数“KAFKAUI_HEAP_OPTS”。在参数值中添加“ -Dfastjson.parser.safeMode=true”(注意与前参数有空格),如下所示: 例如原参数值为:“-Xmx4G -
apred-site.xml”中配置“mapreduce.job.inputformat.class”项。该设置用来指定处理不同格式的数据时需要的InputFormat类,用来读取数据,切分数据块。 setJarByClass(Class< > cls) 核心接口,指定执行类所在
么写入的速度为50,000到200,000行每秒,如果行数据容量更小,那么写入速度将更高,如果写入性能不够,可以使用多个副本同时写入,同一时间每个副本写入的数据保持均衡。 慎用分布式表批量插入 写分布式表,数据会分发到集群的所有本地表,每个本地表插入的数据量是总插入量的1/N,batch
apred-site.xml”中配置“mapreduce.job.inputformat.class”项。该设置用来指定处理不同格式的数据时需要的InputFormat类,用来读取数据,切分数据块。 setJarByClass(Class< > cls) 核心接口,指定执行类所在
apred-site.xml”中配置“mapreduce.job.inputformat.class”项。该设置用来指定处理不同格式的数据时需要的InputFormat类,用来读取数据,切分数据块。 setJarByClass(Class< > cls) 核心接口,指定执行类所在
jar”。配置“Main class”的值,例如“org.apache.oozie.example.DemoJavaMain”。然后单击“添加”。 单击Oozie编辑器右上角的。 保存前如果需要修改作业名称(默认为“My Workflow”),可以直接单击该名称进行修改,例如“Java-Workflow”。
待操作集群的名称 > 服务 > Hive > 配置 > 全部配置”,搜索“hive.local.dir.confblacklist”配置项。 在该配置项中添加用户要重点保护的数据库、表或目录路径。 输入完成后,单击“保存”,保存配置项。 父主题: Hive常见问题
com.huawei.bigdata.hdfs.examples包的“ColocationExample”类样例程序不仅需要基础安全认证,还需要添加ZooKeeper服务端Principal才能完成安全认证。示例代码如下: ... private static final String
</rule> </rules> </policy> </policies> 在策略,规则和行为操作中使用的标签中,可以添加其他属性,例如“name”可用于管理用户界面(例如:Hue UI)和工具输入xml之间的映射。 示例: <policy name="Manage_File1">
workflow”窗口中配置“Sub-workflow”的值,例如从下拉列表中选取“Java-Workflow”(这个值是已经创建好的工作流之一),然后单击“添加”。 单击Oozie编辑器右上角的。 保存前如果需要修改作业名称(默认为“My Workflow”),可以直接单击该名称进行修改,例如“S
Script”框中, 选择之前保存的Hive脚本,关于保存Hive脚本参考在Hue WebUI使用HiveQL编辑器章节。选择脚本后单击“添加”。 配置“作业 XML”,例如配置为hdfs路径“/user/admin/examples/apps/hive2/hive-site.x
workflow”窗口中配置“Sub-workflow”的值,例如从下拉列表中选取“Java-Workflow”(这个值是已经创建好的工作流之一),然后单击“添加”。 单击Oozie编辑器右上角的。 保存前如果需要修改作业名称(默认为“My Workflow”),可以直接单击该名称进行修改,例如“S
r zkRegisterServerHandler = new ZookeeperRegisterServerHandler(); // 添加自定义Source算子 env.addSource(new UserSource()) .keyBy(0)
须基于Ranger配置HDFS相关策略进行权限管理,具体操作可参考添加HDFS的Ranger访问权限策略。 操作步骤 登录FusionInsight Manager,选择“系统 > 权限 > 角色”。 单击“添加角色”,然后在“角色名称”和“描述”中输入角色名字与描述。 配置资源权限,请参见表1。
待操作集群的名称 > 服务 > Hive > 配置 > 全部配置”,搜索“hive.local.dir.confblacklist”配置项。 在该配置项中添加用户要重点保护的数据库、表或目录路径。 输入完成后,单击“保存”,保存配置项。 父主题: Hive常见问题
在弹出的“HiveServer2 Script”框中, 选择之前保存的Hive脚本,关于保存Hive脚本参考通过Hue执行HiveQL章节。选择脚本后单击“添加”。 配置“作业 XML”,例如配置为hdfs路径“/user/admin/examples/apps/hive2/hive-site.x
jar”。配置“Main class”的值,例如“org.apache.oozie.example.DemoJavaMain”。然后单击“添加”。 单击Oozie编辑器右上角的。 保存前如果需要修改作业名称(默认为“My Workflow”),可以直接单击该名称进行修改,例如“Java-Workflow”。
接MRS集群,配置文件通常包括集群组件信息文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 准备连接Hive集群配置文件 配置并导入样例工程 Hive提供了不同场景下的多种样例程序,用户可获取样
'/tmp/export'; 导出表/分区数据时,存放表/分区数据的HDFS路径需提前创建,且该目录为空,否则导出失败。 导出分区时,导出的表必须为分区表,且不支持导出同一个分区字段的多个分区值的数据;导入到表中分区时导入的表必须是分区表。 导入数据时需注意: 使用import from