????????????????????е??????????????????????л??????????????????????檔??????????У?????????????Java 8 streams?? Hadoop?? Apache Spark?? Quasar fibers???????????????????????????????????????????????????仰????????????????????????
????????????????
????????????????????????????????????????????С??????????????????
??????????????????????????????????????????????????????????????
?????????????????????????????????????????????? VS ??????????
?????ж??????????????????????? VS ????
??????????????????????????????????ɡ?
????1???????????????
??????Java 8?У?????????μ???API????????????t?????????????????????????????????????????????????????????????????????ò??в??????????? ——?????Fork/Join???????Java 7??????????????Java 6???????????????ExecutorService?????????????????????????ò???????????
????Fork/Join???????ExecutorService???????????????????????????????????????????????乤????????????? ExecutorService????????????????????????????????????????С???????????????Fork/Join??????и?work-stealing????????????????????????????????????????????С????????????????????????????????——??????????????? ???????????????????
?????????????????????????????????????????????????????parallelStream()??????????????????????????????????15%?????????????????????ж?????????????Щ???????parallelStream()???????????????????????????????????????????????????????????????????????????ж??????????
????С????????????????????????????????????????????????????????????????Ч????????????????????????????????????????????????????????
????2??Apache Hadoop??Apache Spark
??????????????????? PB?????????????????д?twitter????Java?????????????????????Hadoop?????ò???????ù???????????? ????Hadoop???????????HDFS???????????????YARN?????????????饗MapReduce?????????????????????Common???? ????Щ?????????Щ?????????????????????????????HDFS????????HBase???????????????Pig?????????????????Hive????
????Apache Spark ?????????????????飬???????????????е??????????????RDDs???????????????????Ч???????????Hadoop MapReduce??Databricks???????±?????????????10???????????1PB?????????Spark??Hadoop????????
?????????Hadoop?????????????????Spark????????????????????????????????????????Databricks???????“Spark ???ó?????Hadoop???????????????п?100????????????????????????10??”??
????С??Spark????Hadoop??????е??????????????????????????????????????Щ???????????????飬???????????????????????????????????
????3??Quasar fibers
?????????л?????????Hadoop????????????????????????????Java???????ó?????????????????????????????Щ??????????HotSpot JVM????????????????????????????????????”????“????У?????fibers?ж????????Java????????fibers???????????? ???Quasar???Parallel Universe??????????????
????Quasar ??????????JVM???????fibers(?????????????)????????????????????????????????????????????????????????????????????? ???????????????????????????????????????????????????????????????????fibers????????????”?????“??????????threadcepiton??????????
????Fibers????????????????????????????????????ò?????????????????????Σ?????????????????????????????????”????“???????????????????????????????????????Щ????????????????????У??????????????????????
????С????????????Java????????????????μ??·?????????а汾?????????????????
????4??Actor?????????
???????????????????У??μ???????4?????????е??????????????????????????ζ???????????????????????????????
?????????????Akka Actor????????????ɡ???????Actor??????????????????????????????????????????????Actor???????????????????? ?ó???????????????ν???????????С?????????????????????????????????????????????????????????и????????????????? ?????????????????￡??????????????????????????????????????e????????????????????????????????????????????????
??????????????????????????????????????????????????????????70????????????????????ó?????????????????????????????????Quasar????Actor?????????????????fibers/??????????
????С??
?????????Actor????????????????????????ù???????????????ó????????????????????????????и???????????????????????????????
???????
??????????ò?????????????????????????4?????????????????????????????????????? ????????????????????????????????????????????????????????????????????и??????????????????——????μ?????????????????????? ????С?????????????????