Nat. Commun. | 面向复合材料设计的序关系感知多模态表示学习

DRUGONE

复合材料性能不仅取决于纤维体积分数等宏观组成，还受到纤维空间分布、取向和局部微观结构的共同影响，因此需要同时整合显微图像和材料描述符等多种异构信息。然而，现有多模态学习方法主要面向晶体和聚合物材料设计，通常假设材料结构与性能之间具有离散映射关系，难以处理复合材料连续、非线性的设计空间。此外，复合材料实验数据通常十分有限，仅依靠传统对比学习难以建立可靠的跨模态表示。

研究人员提出序关系感知图像–表格对齐框架ORDER（ORDinal-aware imagE-tabulaR alignment），将材料性能的连续排序关系作为多模态表示学习的核心约束，在显微图像与材料描述符之间建立统一潜在空间。模型进一步利用物理模型构建代理排序信号，在缺乏完整性能标注时完成预训练。研究人员分别在纳米纤维复合材料数据集和自主构建的CF-T700碳纤维复合材料数据集上进行验证。结果表明，ORDER在性能预测、跨模态检索以及显微结构生成等任务中均优于现有多模态材料学习方法，为数据稀缺条件下复合材料智能设计提供了新的技术路线。

近年来，人工智能推动材料科学进入数据驱动设计时代。对于晶体、聚合物等材料，研究人员通常利用化学组成、晶体图结构或聚合物拓扑作为输入，通过深度学习预测材料性能，并实现材料筛选和逆向设计。这类方法取得了显著成功，因为晶体和聚合物通常具有明确的结构表示，材料结构与性能之间存在相对稳定的一一对应关系。

然而，复合材料具有完全不同的特点。其性能不仅由纤维体积分数决定，更取决于纤维在基体中的空间分布、排列方式和取向角度。即使材料组成完全一致，仅仅改变局部纤维排列，也可能导致拉伸强度、弹性模量和断裂行为发生明显变化。因此，仅利用体积分数、平均取向角等表格描述符，无法完整反映真实微观结构；而单独利用显微图像又缺乏材料组成信息，两者必须联合建模。

近年来，多模态学习开始应用于材料科学，通过建立不同模态之间统一表示空间，实现跨模态理解。然而，大多数方法仍然采用传统CLIP式对比学习，仅强调不同模态之间一一对应关系，而忽略材料性能本身具有连续排序特征。例如，纤维密度逐渐增加时，材料强度通常连续提高，相邻性能材料之间理应具有更加接近的表示，而不是像传统对比学习那样将所有不同样本一律视为负样本。

针对这一问题，研究人员提出ORDER框架，将材料性能的序关系引入多模态表示学习，使具有相近性能的材料在潜在空间中保持邻近关系，从而提高模型对未观测设计空间的泛化能力。

方法

研究人员首先构建包含材料描述符、显微结构图像及力学性能标签的复合材料数据集。图像由视觉编码器提取特征，材料描述符由表格编码器表示，两类特征共同映射至统一潜在空间。模型一方面利用跨模态对比学习，使同一样本的图像和表格表示彼此靠近；另一方面，引入序关系感知对比学习，使性能相近材料在同一模态内保持邻近分布。针对两种目标之间可能存在的优化冲突，研究人员设计固定权重和动态权重两种优化策略，并利用多目标优化自动平衡两类损失。同时，根据复合材料力学模型构建物理代理排序信号，在缺乏完整性能标签时替代真实标签完成预训练。整个模型采用CLIP预训练视觉Transformer结合参数高效微调（LoRA）完成迁移学习，再应用于性能预测、跨模态检索和显微结构生成等下游任务。

结果

ORDER构建连续有序的多模态表示空间

研究人员首先建立ORDER整体框架。与传统CLIP仅强调跨模态配对关系不同，ORDER进一步要求材料表示按照性能高低形成连续排序空间。

实验首先构建CF-T700复合材料数据集，系统改变纤维体积分数和平均偏转角，共模拟436组不同材料，并获得对应显微结构和拉伸性能。与此同时，还利用公开纳米纤维复合材料数据集进行验证，使模型能够覆盖两类典型复合材料。

训练过程中，跨模态对比学习负责建立图像和描述符之间的一致表示，而序关系学习则不断调整同一模态内部样本位置，使性能相近材料逐渐聚集，性能差异较大的材料自然分离。研究人员进一步利用多目标优化动态平衡两种目标，使模型无需人工调节超参数即可获得稳定表示。

图1：ORDER整体框架，包括复合材料数据构建、图像–表格双编码器、序关系感知多模态表示学习及下游材料设计任务。

跨模态检索获得更符合材料物理规律的结果

研究人员首先验证ORDER在跨模态检索中的能力。传统多模态模型虽然能够找到对应样本，但检索得到的其他候选材料往往性能差异较大，并不适合实际材料设计。相比之下，ORDER不仅能够准确找到对应样本，而且检索得到的多个候选材料均具有相近力学性能。

实验表明，无论由材料描述符检索显微图像，还是由显微图像反向检索材料描述符，ORDER均获得最高Top-k准确率。同时，更重要的是，所有候选材料与目标材料之间的平均性能偏差显著降低。例如，在CF-T700数据集中，ORDER检索得到的多个候选材料具有几乎相同的拉伸强度和延伸率，而传统方法则可能返回性能差异数倍的样本。

研究人员指出，这一优势来源于ORDER学习到材料性能连续变化规律，使潜在空间真正反映材料设计空间，而不仅仅完成模态配对。

图2：ORDER跨模态检索结果，包括Top-k检索准确率、典型检索案例以及候选材料性能偏差比较。

多模态表示显著提高材料性能预测

随后，研究人员进一步利用ORDER学习得到的表示开展材料性能预测。

实验分别预测复合材料拉伸强度、屈服强度、弹性模量、切线模量和延伸率等多个重要指标，并与XGBoost、TabPFN、CatBoost、LightGBM等传统表格学习方法，以及ResNet、Vision Transformer等视觉模型进行比较。

结果显示，在仅利用材料描述符时，ORDER已经超过绝大多数传统机器学习模型；仅利用显微图像时，同样优于现有视觉模型。当进一步融合图像和表格两种模态后，预测性能继续提高，在21项评价指标中取得15项最佳结果。

研究人员进一步比较利用真实标签和物理代理信号完成预训练的模型。令人意外的是，在多个任务中，仅利用物理模型构建代理排序信号即可取得与真实标签相当甚至更好的结果。这说明材料力学模型已经包含丰富的排序信息，可有效替代昂贵实验标签完成大规模预训练。

整体来看，ORDER学习得到的连续表示使简单多层感知机即可完成高精度预测，而无需复杂网络结构。

图3：ORDER在复合材料性能预测中的结果，包括不同模态、不同模型以及物理代理信号预训练效果比较。

生成符合物理规律的显微结构

研究人员进一步将ORDER用于条件显微结构生成。在实际复合材料设计过程中，研究人员通常希望输入目标材料描述符，直接获得可能对应的显微结构，以便分析纤维排列方式。然而，实验制备和显微观察不仅耗时，而且成本较高。

研究人员采用两阶段生成框架，首先根据材料描述符预测潜在图像表示，再利用扩散生成网络恢复对应显微结构。由于ORDER已经学习到连续材料设计空间，因此能够自然生成未出现过的新结构。

实验结果显示，相比传统多模态方法，ORDER生成的显微图像具有更加真实的纤维数量、排列密度和取向角。研究人员进一步设计三个面向复合材料的新评价指标，包括纤维数量、纤维体积分数以及取向角一致性，用于评价生成结果是否符合真实材料规律。

结果表明，ORDER不仅在FID、LPIPS等传统图像指标上保持领先，而且在三个材料结构指标上均明显优于其他模型，生成结果与真实显微结构高度一致。

研究人员指出，仅依赖普通图像质量评价无法反映材料结构真实性，而ORDER生成结果在材料物理层面也保持高度一致，因此更适用于实际材料设计。

图4：ORDER条件显微结构生成结果，包括典型生成案例、传统图像评价指标及复合材料专用结构评价指标。

序关系学习构建连续材料设计空间

为了进一步解释模型为何能够取得更高性能，研究人员分析了ORDER学习得到的潜在表示。

利用t-SNE可视化发现，传统多模态模型虽然实现图像和描述符对齐，但不同性能材料之间分布杂乱，没有形成明显规律。而ORDER则形成连续梯度分布，材料强度由低到高沿潜在空间逐渐排列，图像和描述符两种模态几乎完全重合。

进一步分析跨模态相似性矩阵发现，传统方法仅在完全对应样本之间具有较高相似性，而ORDER不仅保持对应样本最高相似度，而且性能相近材料之间同样保持较高相似度，并随着性能差异增加逐渐衰减。这说明ORDER真正学习到了材料设计空间连续变化规律，而不是简单完成样本配对。

即使在训练过程中未出现的新材料区域，ORDER仍然保持清晰连续的表示结构，说明其具有较好的外推能力。

图5：ORDER潜在表示分析，包括t-SNE可视化、跨模态相似性矩阵以及已知和未知材料设计空间中的连续分布。

讨论

研究人员提出ORDER，将复合材料连续性能排序首次引入多模态表示学习，使图像与材料描述符不仅完成跨模态对应，而且共同形成符合材料物理规律的连续设计空间。

研究结果表明，相比传统CLIP式多模态学习，ORDER能够更准确反映材料性能连续变化，因此不仅提高跨模态检索精度，而且显著提升材料性能预测和显微结构生成质量。特别是在数据极度有限的复合材料领域，仅依靠数百组样本即可学习具有良好泛化能力的表示，为数据稀缺材料设计提供了新的解决方案。

研究人员进一步提出基于物理模型构建代理排序信号的方法，有效缓解真实标签不足问题。这意味着未来大量缺少实验标注的新材料体系，也可以利用已有物理知识完成高质量多模态预训练，实现物理模型与人工智能模型的深度融合。

当然，研究人员也指出，目前ORDER主要针对随机纤维增强复合材料，未来仍需进一步扩展至多尺度复合材料、层状结构材料以及具有多个竞争性能目标的复杂设计任务。同时，不确定性估计、多目标优化以及更丰富的材料模态信息，也将进一步提高模型在实际工程设计中的可靠性。

总体而言，ORDER证明，在复合材料设计中，仅实现跨模态对齐远远不够，材料性能本身的连续排序关系同样应成为多模态表示学习的重要约束。该工作为人工智能驱动复合材料设计建立了兼具物理一致性、数据效率和泛化能力的新范式，也为未来智能材料设计平台的发展提供了重要参考。

整理 | DrugOne团队

参考资料

Li, X., Qian, H., Li, J. et al. Learning ordinality-aware multimodal representations for composite materials design. Nat Commun (2026).

https://doi.org/10.1038/s41467-026-75615-3

内容为【DrugOne】公众号原创｜转载请注明来源