检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
workflowAppUri Workflow流程任务在HDFS上的存放路径 可以根据业务需要,以“key=values”的格式自定义参数及值。 样例代码 nameNode=hdfs://hacluster resourceManager=10.1.130.10:26004 queueName=QueueA
else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 202 新增并执行作业 400 新增并执行作业失败 错误码 请参见错误码。
创建HDFS多线程任务 功能简介 建立多线程任务,同时启动多个实例执行文件操作。 代码样例 如下是删除文件的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 // 业务示例2:多线程 final int THREAD_COUNT
参数 含义 name 流程文件名 start 流程开始节点 end 流程结束节点 action 实现具体业务动作的节点(可以是多个) 样例代码 <workflow-app xmlns="uri:oozie:workflow:1.0" name="data_load"> <start
properties”所定义。 例如:${nameNode}表示的就是“hdfs://hacluster”。(可参见job.properties) 样例代码 <coordinator-app name="cron-coord" frequency="${coord:days(1)}" start="${start}"
properties所定义。 例如:${nameNode}表示的就是“hdfs://hacluster”。(可参见job.properties) 样例代码 <coordinator-app name="cron-coord" frequency="${coord:days(1)}" start="${start}"
JDBC样例工程 操作场景 为了运行MRS产品Hive组件的JDBC接口样例代码,需要完成下面的操作。 以在Windows环境下开发JDBC方式连接Hive服务的应用程序为例。 导入jdbc-example样例工程之后,需要将代码中USER_NAME = "xxx"的"xxx"改成在准备MRS应用开发用户阶段创建的开发用户。
COLUMNS (tel_phone STRING, email STRING); 建表时配置Hive数据加密 指定表的格式为RCFile(推荐使用)或SequenceFile,加密算法为ARC4Codec。SequenceFile是Hadoop特有的文件格式,RCFile是Hive
集群在线扩缩容 大数据集群的处理能力通常可以通过增加集群的节点数来横向扩展,当集群规模不符合业务要求时,用户可以通过该功能进行集群节点规模的调整,进行扩容或者缩容;在缩容节点时,MRS会智能地选择负载最少或者迁移数据量最小节点,并且在缩容过程中,缩容节点不再接收新的任务,正在执行
properties所定义。 例如:${nameNode}表示的就是“hdfs://hacluster”。(可参见job.properties) 样例代码 <action name="mr-dataLoad"> <map-reduce> <resource-ma
Action节点中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 to 后继action节点的名称 样例代码 <start to="mr-dataLoad"/> 父主题: Oozie样例代码说明
Action节点中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 to 后继action节点的名称 样例代码 <start to="mr-dataLoad"/> 父主题: Oozie代码样例说明
MRS集群加固策略说明 配置Hadoop数据传输加密 配置Kafka数据传输加密 配置HDFS数据传输加密 配置Spark数据传输加密 配置ZooKeeper数据传输加密 配置Controller与Agent间数据传输加密 配置受信任IP地址访问LDAP 加密HFile和WAL内容 配置HBa
properties”所定义。 例如:${nameNode}表示的就是“hdfs://hacluster”。(可参见配置Oozie作业运行参数) 样例代码 <action name="mr-dataLoad"> <map-reduce> <resource-ma
properties所定义。 例如:${nameNode}表示的就是“hdfs://hacluster”。(可参见配置Oozie作业运行参数) 样例代码 <action name="mr-dataLoad"> <map-reduce> <resource-ma
参数 含义 name 流程文件名 start 流程开始节点 end 流程结束节点 action 实现具体业务动作的节点(可以是多个) 样例代码 <workflow-app xmlns="uri:oozie:workflow:1.0" name="data_load"> <start
Oozie通过org.apache.oozie.client.OozieClient的run方法提交作业,通过getJobInfo获取作业信息。 代码样例 代码示例中请根据实际情况,修改“OOZIE_URL_DEFALUT”为实际的任意Oozie节点的主机名,例如“https://10-1-1
等之间进行通信。那么提交Flink的应用程序中需要设置安全认证,确保Flink程序能够正常运行。 当前Flink系统支持认证和加密传输,要使用认证和加密传输,用户需要安装Flink客户端并配置安全认证,本章节以“/opt/hadoopclient”为客户端安装目录为例,介绍安装客
workflowAppUri Workflow流程任务在HDFS上的存放路径 可以根据业务需要,以“key=values”的格式自定义参数及值。 样例代码 nameNode=hdfs://hacluster resourceManager=10.1.130.10:26004 queueName=QueueA
properties所定义。 例如:${nameNode}表示的就是“hdfs://hacluster”。(可参见配置Oozie作业运行参数) 样例代码 <coordinator-app name="cron-coord" frequency="${coord:days(1)}" start="${start}"