大家好，我是考100分的小小码 ，祝大家学习进步，加薪顺利呀。今天说一说Spark高级算子aggregate所遇到的坑「建议收藏」,希望您对编程的造诣更进一步.
val rdd3 = sc.parallelize(List(“12″,”23″,”345″,”4567”),2)
rdd3.aggregate(“”)((x,y) => math.max(x.length, y.length).toString, (x,y) => x + y)
两个分区先计算出字符串的最大长度，然后合成字符串
结果可能是：”24”，也可能是：”42”，体现了并行化特点。
val rdd4 = sc.parallelize(List(“12″,”23″,”345″,””),2)
rdd4.aggregate(“”)((x,y) => math.min(x.length, y.length).toString, (x,y) => x + y)
结果是：”10”，也可能是”01”，
原因：注意有个初始值””，其长度0，然后0.toString变成字符串。值”0″.toString的长度为0,”0″.toString.length的长度为1 。分区可能为（“12”，“23”）和（“345”，“”）；初始值为””，然后初始值和“12”，“34”比较，或者是””和“345”比较，然后和“”比较。
math.min(“”.length, “12”.length ) 的结果是：0 , math.min(“0”.length, “23”.length ) 的结果是1
math.min(“”.length, “345”.length) 的结果是：0 , math.min(“0”.length, “”.length) 的结果是：0
val rdd5 = sc.parallelize(List(“12″,”23″,””,”345″),2)
rdd5.aggregate(“”)((x,y) => math.min(x.length, y.length).toString, (x,y) => x + y)
结果是：”11”，原因如下：
math.min(“”.length, “12”.length ) 的结果是：0 , math.min(“0”.length, “23”.length ) 的结果是：1
math.min(“”.length, “”.length) 的结果是：0 , math.min(“0”.length, “345”.length) 的结果是：1
注意：值”0″.toString的长度为0,”0″.toString.length的长度为1
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
转载请注明出处: https://daima100.com/8544.html
