问如何管理AWS EC2作业的到期日，同时尽量减少成本？

EN

我正在为一个图像处理应用程序构建一个后端服务。用户创建的图像以20-40张图片组的形式上传到，并且需要通过GPU加速硬件进行处理，为此我计划使用亚马逊EC2，然后再返回存储以供用户应用程序下载。

每组图像都有一个“截止日期”，该日期由服务器端生成，可能在提交后8小时至72小时之间的任何地方。此元数据将存储在中，其中组将按到期日期进行索引，以便于排队。在G4ad或G4dn EC2实例中，我估计一组图像的处理时间应该少于一分钟。

我希望通过利用EC2现货价格将服务器总成本降到最低；然而，工作在“到期日”之前完成是相当关键的(例如，当下一份工作还有1小时时，我应该放弃即期价格，只支付按需价格)。我一开始并没有预料到足够的数量来证明一个专用的实例或承诺更高的使用计划。

我如何设计一种在尊重工作到期日的同时将成本降到最低的解决方案？

我已经考虑过的

1. AWS批量

AWS批处理似乎通常用于排队作业。我可以为指定要处理的图像的I的作业排队，然后作业将在运行时获取这些映像。

然而，AWS批处理似乎只支持一个近似的FIFO排序作业(而我希望他们在到期日前被订购)。我也没有看到根据队列中的时间在点播/按需实例之间切换的机制。

2.手工管理

我可以分配一个Spot实例和一个随需应变的实例，并根据下一个作业的到期日在这两个实例之间切换。我可能会在AWS、Lambda或google云上设置一个云功能，以便定期(例如5分钟)轮询Firestore中下一个到期作业的到期日：

• 如果没有工作，什么也不做；
• 如果在下一个小时内有一个作业到期，而且Spot实例没有运行，请启动随需应变实例。此实例将处理下一个到期作业(来自Firestore)，直到队列为空或至少提前一个小时；
• 否则(有一个作业在一个多小时内到期)，尝试启动Spot实例。如果有可用容量，则实例将连续运行，但如果它完成整个队列，则终止自身。

我不确定这是否是一个好的方法，所以我愿意接受任何反馈或替代。