Spark cartesian
Spark cartesian函数
在 Spark 中,笛卡尔函数生成两个数据集的笛卡尔积并返回所有可能的对组合。在这里,一个数据集的每个元素都与另一个数据集的每个元素配对。
笛卡尔函数示例
在此示例中,我们生成两个的笛卡尔积数据集。
要在 Scala 模式下打开 Spark,请按照以下命令进行操作。
使用并行化集合创建 RDD。
scala> val data1 = sc.parallelize(List(1,2,3))
现在,我们可以使用以下命令读取生成的结果。
使用并行化集合创建另一个 RDD。
scala> val data2 = sc.parallelize(List(3,4,5))
现在,我们可以使用以下命令读取生成的结果。
应用 cartesian() 函数返回元素的笛卡尔积。
scala> val cartesianfunc = data1.cartesian(data2)
现在,我们可以使用以下命令读取生成的结果。
scala> cartesianfunc.collect
在这里,我们得到了想要的输出。