问hadoop中的交叉乘积和读取头

EN

我有一些hadoop文档相似项目，我正在做，而且我被困在了某个部分。情况如下(我在csv文件中存储了一个文档术语索引表)

""，t1，t2，t3，t4，……

doc1，f11，f12，f13，f14 .

doc2，f21，f22，f23，f24 .

doc3，f31，f32，f33，f34 .

。

。

。

其中f12指term2(t2)在document1(doc1)中的频率

另一方面，我有一个查询文件，其中包含需要搜索的查询，以查找它们最近或类似的文档。

""，t1，t3，t122，t34，……

q1，f11，f12，f13，f14 .

q2，f21，f22，f23，f24 .

q3，f31，f32，f33，f34 .

。

。

。但是这里的术语可能包含不同的术语，所以我需要找到这两个术语(术语索引和查询)的交叉乘积，以便找到查询和现有文档之间的距离。

问题包括两个部分：first，如何读取这些csv文件的头，以便将它们存储在特定的条件向量中，因为该文件将被拆分成不同的机器。

第二次，如何在这两个文件上生成交叉积，以找到相似之处(创建一个新文档，该文档可以包含所有可能的术语(维度)以找到相似性)。

我计划写一些K近邻算法，找出我应该使用的工具，猪，蜂巢，马赫特。