检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Colocation为locator分配数据节点的时候，locator的分配算法会根据已分配的情况，进行均衡的分配数据节点。 locator分配算法的原理是，查询目前存在的所有locators，读取所有locators所分配的数据节点，并记录其使用次数。根据使用次数，对数据节点进行排序，使用次数少的
Colocation为locator分配数据节点的时候，locator的分配算法会根据已分配的情况，进行均衡的分配数据节点。 locator分配算法的原理是，查询目前存在的所有locators，读取所有locators所分配的数据节点，并记录其使用次数。根据使用次数，对数据节点进行排序，使用次数少的
准备Storm应用开发和运行环境 开发环境准备分为应用开发客户端和应用提交客户端；应用开发一般是在Windows环境下进行；应用提交一般是在Linux环境下进行。 准备开发环境 在进行二次开发时，要准备的开发和运行环境如表1所示： 表1 开发环境 准备项 说明 操作系统 开发环境
准备MapReduce开发和运行环境 准备开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
准备HDFS应用开发和运行环境 准备开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows7以上版本。 运行环境：Windows或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
start():Unit 启动Spark Streaming计算。 awaitTermination(timeout: long):Unit 当前进程等待终止，如Ctrl+C等。 stop(stopSparkContext: Boolean, stopGracefully: Boolean):
start():Unit 启动Spark Streaming计算。 awaitTermination(timeout: long):Unit 当前进程等待终止，如Ctrl+C等。 stop(stopSparkContext: Boolean, stopGracefully: Boolean):
际域名，例如props.put(KERBEROS_DOMAIN_NAME , "hadoop.hadoop1.com")。 部署运行及结果查看 导出本地jar包，请参见打包Strom样例工程应用。 获取下列jar包： 在安装好的Kafka客户端目录中进入Kafka/kafka/libs目录，获取如下jar包：
选择验证环境上有数值（int或double类型）列的表，此处选择hive.default.test1，执行如下命令验证Function Plugin。 查询表。 select * from hive.default.test1; select * from hive.default.test1;
stream.context。 dstream.context是Streaming Context启动时从output Streams反向查找所依赖的DStream，逐个设置context。如果Spark Streaming应用创建1个输入流，但该输入流无输出逻辑时，则不会给它设
准备HDFS应用开发和运行环境 准备开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows7以上版本。 运行环境：Windows或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
准备Storm应用开发和运行环境 开发环境准备分为应用开发客户端和应用提交客户端；应用开发一般在Windows环境下进行；应用提交一般在Linux环境下进行。 准备开发环境 在进行二次开发时，要准备的开发和运行环境如表1所示： 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows
准备HDFS应用开发和运行环境 准备开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows7以上版本。 运行环境：Windows或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
勾选“examples”的“读”、“写”、“执行”和“递归”。 选择“待操作集群的名称 > Hive > Hive读写权限”，勾选“default”的 “查询”、“插入”、“建表”、“递归”。单击“确定”保存。 编辑角色，在“配置资源权限”的表格中选择“待操作集群的名称 > Yarn > 调度队列
准备HDFS应用开发和运行环境 准备开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows7以上版本。 运行环境：Windows或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
确保本地环境的时间与MRS集群的时间差要小于5分钟，若无法确定，请联系系统管理员。MRS集群的时间可通过FusionInsight Manager页面右下角查看。 已准备开发环境及MRS集群相关配置文件，详情请参考准备Spark连接集群配置文件。 操作步骤 参考获取MRS应用开发样例工程，获取样例
确保本地环境的时间与MRS集群的时间差要小于5分钟，若无法确定，请联系系统管理员。MRS集群的时间可通过FusionInsight Manager页面右下角查看。 已准备开发环境及MRS集群相关配置文件，详情请参考准备Spark连接集群配置文件。 操作步骤 参考获取MRS应用开发样例工程，获取样例
在集群内任一节点启动netcat命令，等待应用程序连接。 1 netcat -l -p 9000 启动程序接受Socket数据，并执行联合查询。 1 bin/flink run --class com.huawei.flink.example.sqljoin.SqlJoinWithSocket
x)的近似计数。如果所有输入都是null值，则返回0。 此函数所有可能的值相对于正确的值的误差服从近似正态分布，其标准差应小于e。它不保证任何特定输入集的误差的上限。 当前该函数的实现中，e的取值范围为[0.0040625,0.26000]。 select approx_distinct(weight,0.0040625)
9000 若回显提示“command not found”，请用户自行安装netcat工具后再次执行。 启动程序接受Socket数据，并执行联合查询。 bin/flink run --class com.huawei.bigdata.flink.examples.SqlJoinWithSocket
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
