
我在读大学的时候,写过一个人生梦想清单,其中有一项是创作一首属于自己的歌曲。时间过去10多年,现在,在AI的加持下,这一梦想终于实现。而在我更小的时候,还有一个拍电影的梦,那时候看电影,就在想,什么时候我也要拍一个属于自己的电影。今天,这个电影梦,也实现了。
我的AI微电影《神臂城》今天正式上线,并且获得了不错的播放。
进入B站观看完整影片:https://www.bilibili.com/video/BV1TWMe6PE9e/ 点击文章底部的「阅读原文」链接进入观看。
电影以南宋末年,神臂城抵抗蒙古军南侵的悲壮斗争故事。泸州作为一个有着千年历史的古城,在历史的长河中,有着非常多可歌可泣的故事。这与大家对它的固有印象只有一个“酒城”大相径庭,通过微电影的形式,可以把我们“龙的故乡”“川军故里”“赤水红色故里”“晚熟荔枝果乡”“宋代石刻名城”等等,这些不为人知的名片,通过AI影视作品,传递给大家。
虽然这部影片还是有很多瑕疵,但是在创作过程中,也积累了一些心得,下面就分享给大家,如果有这方面想法也打算自己做AI影片的小伙伴,可以作为借鉴。
1 剧本是拍摄蓝本,而非文学叙事
当我们有了一个想法,打算开始做一个影片的时候,我们首先要把这个故事写下来,让我们的故事形成完整的叙事结构。
但是,写剧本和写小说完全是两回事。写小说是一种叙事结构,注重氛围和通感。而写剧本更像写说明书,它指导具体拍摄执行,把文学表达翻译为镜头语言。
比如,从文学上讲,我们写“一种恐怖的氛围扑面而来,压的人透不过气,似乎要被挤扁”,这样的写作,是从人的感官视角去写的,虽然看上去很有氛围感,但是无法翻译为观众看到的画面。剧本则要把这种氛围感,拆分为不同的镜头艺术表现形式,传达给用户,它包含:画面、镜头运动、音效。画面描述我们可以这样写:“光线突然暗下来,一束光打在(角色1)头顶,(角色1)瞪大眼睛、屏住呼吸,手掐住喉咙,想要挣脱但是无法挣脱,全身僵硬”。
我们用画面感代替氛围感,再配合镜头运动、音效来让这个恐怖的氛围感片段,变得可拍摄。
2 角色、布景、道具资产
一部电影(虽然我们是微电影)中,我们的角色是固定的,在AI创作中,一致性非常重要,资产确保了一致性。
很多小伙伴遇到过同一个角色,在前面和后面不同镜头中不一致的问题,两段视频里面看上去不像了。这是因为角色的一致性没有做好。
我们用视频模型生成视频,核心要义就是“控”。控制角色一致性是其中最重要的一环。
那么到底应该如何保持一致性呢?
没有其他办法,就是要提供角色一致的参考图。什么样的角色参考图更合适呢?经过我长时间的探索,发现最好的角色参考图,就是角色肩部以上的头像特写。这就是最好的参考图。有些小伙伴会说,为什么经常看到网上有各种三视图、多视图加装饰细节图等等。我很负责任的说,这类参考图不仅不能让你生成一致角色的视频,而且可能导致你的视频中,出现多余不想要的内容。
那么,当我们要在视频中,展示角色的侧面、背面、装饰细节时,应该怎么办?其实很简单,就是提供对应视角的参考图,比如侧面图、手部细节图,同时,在提示词中,对图片进行定义,告诉模型“图片1是角色X的手部细节”等类似的提示。
你可以在我们的原始影片中看到,主角曾经换过一套衣服,当然,人物仍然保持着很好的一致性。这里就涉及到道具的管理。当我们要为角色换装时,本质上,就是让我们的虚拟演员,穿上一套准备好的“戏服”。我们把角色、服装的参考图一并提交给视频模型,让它在生成视频时,让角色穿着服装,这样就可以在既保持角色一致的同时,保持道具的一致。
演员+服装道具+场景,再配上一个导演喊“Action!”
这个组合,在AI影片制作中,仍然是通用公式。
3 标准提示词结构
一部影片,不是一个视频就可以直接生成的。我们现阶段,一个视频最长15秒,一部片子10多分钟,那得多少次生成?还要考虑抽卡问题。所以说,想要让整部片子,在同一种环境中,生成出来的所有视频,符合整部片子的调性,还是有难度的。
我总结了标准的提示词结构,通过结构中的部分变动,来确保镜头间的一致性连贯性。
这个标准结构也很简单:
全局设定+角色定义+场景定义+道具定义+强化提示词+镜头列表描述+硬性约束这样的一个结构既有规律,可批量套用,又有差异,可局部修改。基于这样的标准提示词结构,我做到了前后镜头之间的100%连贯。
4 正确的音效处理方式
现在的视频模型生成时,可以同时生成音效,这已经是现在视频模型的基本标配。但是,有时候这并非一件好事,当生成的视频包含背景音(例如一些用于烘托氛围的配乐时),对我们的剪辑就是一场灾难。这在我完成的影片里面是一个非常突出的问题点。
因为我们一定会在视频后期进行剪辑,这就会导致我们在剪辑的时候,把音效切断,最终的后果就是听起来像突然断掉一样。
我一开始没有处理好这个问题,后来我找到了规律。我们在生成视频时,强制要求模型不生成持续的配乐,而是只允许生成点状的音效。这种操作,对剪辑的友好程度指数级的上升。在完成所有剪辑之后,最后再来进行配乐,这样就能让音乐更加连贯。
当然,要完成一部剧,还有很多细节要掌握,我提到的只是其中很小的一部分。
为了让更多的小伙伴掌握其中的一些技巧,我创办了一个免费的AI漫剧短剧教程网站 learn.kuaimanju.com 这个免费网站提供了普通入门创作者从刚刚接触,到一步一步成为“大师”级AI视频制作专家的完整路径。有兴趣的小伙伴,可以自行免费学习。
最后,回到我们的微电影《神臂城》。
其实,在电影结束,我还写了一首歌,我觉得非常的棒。这首歌是我在听了王菲的《如愿》后来的灵感,也想写一首如此恢宏厚重又娓娓道来的歌,在AI的辅助下,完成的。
今天,我们生活在一个物质富足生活便捷的时代,但是,我们不应该忘记先辈们在那个艰苦卓绝的年代,为我们后代所攒下的家底。我们也要反思自己这一代人,为下一代中国人,留下什么遗产。这就是我创作这首歌的初始想法。
我们谈论AI,谈论高科技,而实际上,就在40年前我们的父辈还在经历着中国最煎熬的黎明前夜。时光总是短暂,时光也总是公平的。每一代人,都有自己的使命。我们的使命,或许,就是在AI时代,用AI谱写属于中国人自己的世界叙事。