用 Python 一次提取网页里的所有图片地址

原创

爱漫游的安安

发布于 2026-10-27 16:24:01

1280

前几天我在整理一个网页素材页，需要把页面里的图片地址全部提取出来。

页面上的图片不算多，肉眼看也就几十张。问题是，有的图片用相对路径，有的藏在懒加载属性里，还有几张用了 srcset。手动右键复制两三个还行，数量一多，不仅费时间，还特别容易漏。

这种活没必要硬扛。写一段 Python 代码，把网页里的图片地址批量抓出来，通常几秒钟就能处理完。

不过，网页上的图片并不一定都老老实实放在 <img src="..."> 里。下面这份代码除了普通图片，还会顺手处理相对路径、懒加载和 srcset。

先安装需要的库

这里要用到两个库：

pip install requests beautifulsoup4

其中：

requests 负责获取网页源代码；
BeautifulSoup 负责解析 HTML，找出页面中的图片标签。

完整实例代码

from urllib.parse import urljoin, urlparse

import requests
from bs4 import BeautifulSoup


def get_best_srcset_url(srcset):
    """
    从 srcset 中选出分辨率较高的图片地址。

    常见格式：
    small.jpg 480w, medium.jpg 960w, large.jpg 1600w
    """
    candidates = []

    for item in srcset.split(","):
        parts = item.strip().split()

        if not parts:
            continue

        image_url = parts[0]
        score = 0

        if len(parts) > 1:
            descriptor = parts[1].lower()

            try:
                if descriptor.endswith("w"):
                    score = float(descriptor[:-1])
                elif descriptor.endswith("x"):
                    score = float(descriptor[:-1]) * 10000
            except ValueError:
                score = 0

        candidates.append((score, image_url))

    if not candidates:
        return None

    return max(candidates, key=lambda item: item[0])[1]


def get_image_url(img_tag):
    """
    从 img 标签中提取可能的真实图片地址。
    优先处理 srcset 和常见懒加载属性。
    """
    srcset = img_tag.get("srcset")

    if srcset:
        image_url = get_best_srcset_url(srcset)

        if image_url:
            return image_url

    lazy_attributes = [
        "data-original",
        "data-src",
        "data-lazy-src",
        "data-url",
        "src",
    ]

    for attribute in lazy_attributes:
        image_url = img_tag.get(attribute)

        if image_url:
            image_url = image_url.strip()

            # 跳过 base64 内嵌图片和空占位
            if not image_url.startswith("data:image"):
                return image_url

    return None


def extract_image_urls(page_url):
    headers = {
        "User-Agent": (
            "Mozilla/5.0 "
            "(Windows NT 10.0; Win64; x64) "
            "AppleWebKit/537.36 "
            "(KHTML, like Gecko) "
            "Chrome/120.0 Safari/537.36"
        )
    }

    response = requests.get(
        page_url,
        headers=headers,
        timeout=15,
    )
    response.raise_for_status()

    # 避免部分中文网页出现乱码
    if not response.encoding:
        response.encoding = response.apparent_encoding

    soup = BeautifulSoup(response.text, "html.parser")

    image_urls = []
    seen = set()

    for img_tag in soup.find_all("img"):
        raw_url = get_image_url(img_tag)

        if not raw_url:
            continue

        # 把 /images/a.jpg 之类的相对路径转为完整地址
        absolute_url = urljoin(page_url, raw_url)

        parsed_url = urlparse(absolute_url)

        # 只保留正常的 HTTP 或 HTTPS 地址
        if parsed_url.scheme not in {"http", "https"}:
            continue

        # 去掉锚点，避免同一图片被重复记录
        normalized_url = absolute_url.split("#", 1)[0]

        if normalized_url not in seen:
            seen.add(normalized_url)
            image_urls.append(normalized_url)

    return image_urls


if __name__ == "__main__":
    target_url = "https://example.com/gallery"

    try:
        urls = extract_image_urls(target_url)

        print(f"共提取到 {len(urls)} 个图片地址：\n")

        for index, url in enumerate(urls, start=1):
            print(f"{index}. {url}")

        with open("image_urls.txt", "w", encoding="utf-8") as file:
            file.write("\n".join(urls))

        print("\n结果已保存到 image_urls.txt")

    except requests.RequestException as error:
        print(f"网页请求失败：{error}")
    except Exception as error:
        print(f"处理过程中出现错误：{error}")

运行前，把下面这一行换成实际网页地址：

target_url = "https://example.com/gallery"

程序执行完成后，会在终端输出提取结果，同时把所有图片地址保存到当前目录下的 image_urls.txt。

为什么不能只读取 src 属性

最基础的写法通常是这样：

for img in soup.find_all("img"):
    print(img.get("src"))

这段代码确实能用，但在实际网页里经常会碰到几个问题。

1. 图片使用的是相对路径

网页源代码可能写成：

<img src="/images/photo.jpg">

直接读取只能得到：

/images/photo.jpg

这不是一个可以单独访问的完整地址。

代码里的 urljoin() 会根据当前网页地址自动补全域名。例如：

urljoin(
    "https://example.com/article/1",
    "/images/photo.jpg"
)

最终会得到：

https://example.com/images/photo.jpg

2. 图片使用了懒加载

不少网页为了减少首屏加载时间，不会立刻把真实图片放进 src，而是写在其他属性里：

<img
    src="/images/placeholder.png"
    data-src="/images/real-photo.jpg"
>

如果只读取 src，拿到的可能是一张占位图。

所以实例代码会优先检查这些常见属性：

data-original
data-src
data-lazy-src
data-url
src

这里没有统一标准。碰到一个新页面时，我通常会先查看某张图片对应的 HTML，确认真实地址到底藏在哪个属性里，再决定是否补充新的属性名。

3. 一张图片可能有多个尺寸

响应式网页经常使用 srcset：

<img
    src="small.jpg"
    srcset="
        small.jpg 480w,
        medium.jpg 960w,
        large.jpg 1600w
    "
>

浏览器会根据屏幕宽度选择合适的版本。

如果目的是收集清晰图片，通常应该优先拿尺寸较大的地址。上面的 get_best_srcset_url() 会读取描述符，尽量选出分辨率更高的版本，而不是固定拿第一张。

为什么代码运行成功，却一张图片也没找到

这种情况我遇到过不少次。

程序返回状态正常，网页用浏览器打开也能看到图片，但解析出来的 <img> 数量却是零，或者只有几个页面图标。多数时候不是选择器写错了，而是图片由 JavaScript 在页面加载后动态生成。

requests 拿到的是服务器最开始返回的 HTML，不会像真实浏览器一样继续执行页面脚本。因此，后来才渲染出来的内容不会出现在 response.text 中。

可以先打印前面一部分源码检查：

print(response.text[:2000])

如果源码里根本没有目标图片地址，就不要继续围着 find_all("img") 改来改去。此时应改用能够执行 JavaScript 的浏览器自动化方案，等页面渲染完成后再读取 DOM。

还有一种情况是图片写在 CSS 背景里：

<div style="background-image: url('/images/banner.jpg')"></div>

这类图片不属于 <img> 标签，本文的代码不会自动提取。如果目标网页大量使用背景图，就需要进一步解析 style 属性或样式表中的 url(...)。

只提取指定格式的图片

如果只想保留常见图片格式，可以在加入结果前做一次过滤：

allowed_extensions = (
    ".jpg",
    ".jpeg",
    ".png",
    ".webp",
    ".gif",
    ".svg",
)

path = urlparse(normalized_url).path.lower()

if not path.endswith(allowed_extensions):
    continue

不过这个判断并不适合所有页面。

有些图片地址没有文件后缀，例如：

https://example.com/image?id=12345

它返回的依然可能是一张正常图片。因此，是否按后缀过滤，要看具体页面的数据形式，别一上来就把规则卡得太死。

最后说两句

提取网页图片地址看起来是个很基础的需求，真正写起来，麻烦通常不在“怎么找到 <img>”，而在下面这些细节：

图片地址是相对路径还是绝对路径；
页面有没有使用懒加载；
高清图片是否藏在 srcset 中；
图片是不是通过 JavaScript 动态渲染；
页面使用的是 <img>，还是 CSS 背景图。

我的习惯是先用这份代码跑一遍，再根据网页结构补规则，而不是试图写一个能处理所有网站的万能脚本。网页写法变化太多，先看源代码里的真实结构，往往比盲目增加判断更省时间。

另外，只处理公开可访问且允许采集的页面，遵守站点规则并控制请求频率。需要登录、验证码或绕过访问限制的内容，不应该靠这类脚本强行获取。

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

python

代理服务器