首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏用户6811391的专栏

    爬虫实战二:抓取小红图片

    最近有朋友想爬虫抓取小红书上的图片: 结合以往爬虫经验,抓数难度App>网页版>=微信小程序,所以我们选择小红的微信小程序来突破。 通过charles抓包工具,在小红小程序内点击各分类时,很容易定位到其请求和返回结果: charles 抓包: 每次请求返回20条信息流,其中包含了我们想要的图片链接;当我们在小程序里不断往下滑动时 1.反编译小红小程序 第一步是反编译小红小程序,定位到其x-sign参数生成的源码。 这里反编译小程序我是参考如下帖子: https://juejin.cn/post/7002889906582192158 大致流程是在登录电脑版微信,打开小红小程序,找到小程序文件的目录,先解密再反编译 但小红毕竟是大公司出品,反爬措施还是有的,比如抓取返回500条后会触发滑块验证: 以及返回1000条信息之后就不再返回数据了: 所以最终我们的爬虫只能实现每个目录下抓取1000条帖子内容和相关的图片链接

    7.8K32发布于 2021-12-02
  • 来自专栏小白实例

    python爬虫Scrapy框架爬取小红图片频道

    在spiders目录中新建`img_spider.py`文件,来实现我们的爬虫。 首先导入需要的模块:pythonimport scrapyfrom scrapy.http import Request然后定义爬虫类ImgSpider,继承Scrapy的Spider类:pythonclass ImgSpider(scrapy.Spider): name = 'img' allowed_domains = ['xiaohongshu.com']在`start_requests`方法中构造初始请求,爬取小红的图片频道 img_data)并在settings.py中启用:pythonITEM_PIPELINES = { 'xiaohongshu.pipelines.ImgPipeline': 300,}最后我们运行爬虫 ,它将递归爬取小红书中的图片:scrapy crawl imgScrapy会按照我们定义的逻辑,先爬取首页,提取图片链接,然后发送图片链接请求,获取图片数据后保存。

    1.5K00编辑于 2023-07-09
  • 来自专栏用户6811391的专栏

    爬虫实战三:关键词搜索小红帖子

    没想到上一篇爬虫抓取小红图片的文章阅读量还不错,正好有朋友也提了抓小红帖子的需求,我们一起来看下: 上次提到,抓数难度上 App>网页版>=微信小程序,所以当时选择小红的微信小程序来下手的。 小红的网页版没有搜索关键词的入口,小红App中搜索关键词是没有100条数目限制的(但经过测试有1000条的限制,我们后续再讲)。 我们普通用户刷小红是满足个人需求基本用不到爬虫,通常爬虫数据都是拿来做数据分析和调研。这里也可以比较直观地看到爬虫在某些情景下也是高效获取数据的途径。 那么回归现实,如果自己做不到爬虫想去买数据,我随便搜了下淘宝爬虫小红的商家,问了下价格: 数据很值钱。 最后,再说回爬虫方法上,经过一番搜索以及与淘宝商家的交流,小红爬虫多数是破解加密参数后仿造请求来抓取数据的。

    12.9K21编辑于 2021-12-09
  • Java 异步爬虫高效获取小红短视频内容

    在内容营销、数据分析和竞品调研等场景中,获取小红平台的短视频内容已成为常见需求。 本文将从技术原理、实现步骤到完整代码,详细讲解如何用 Java 异步爬虫高效抓取小红短视频内容。一、核心技术原理1. 小红接口分析小红移动端 / 网页端的短视频内容通过 API 接口返回,核心关键点:短视频列表接口:返回指定关键词 / 分类下的短视频基础信息(标题、封面、播放量、视频链接等);接口鉴权:需携带合法的 定义数据实体类首先创建对应小红短视频返回数据的实体类,简化核心字段:import lombok.Data;/** * 小红短视频基础信息实体类 */@Datapublic class XiaohongshuVideo 五、合规性说明本文代码仅用于技术学习,严禁用于商业爬虫或恶意抓取;需遵守《网络爬虫自律公约》,尊重小红的 robots 协议和用户隐私;抓取数据不得用于非法用途,需取得平台授权或符合合理使用范围。

    54610编辑于 2026-01-05
  • 来自专栏面试经验贴

    「面试」小红之旅

    这不,今天就看看小红服务端/后台面了啥,不为别的,就想遇到漂亮的HR小姐姐,开工。 ? 大纲 一面 ---- 一面面试官看着二十七八岁,文质彬彬,这哪里是写代码的,头发都飘起来了好么。 不会吧,反正小红我爱了。 “staty with me”响起,这正是我的手机铃声。。 "您好” “你好,请问是XX?”

    1.3K20发布于 2020-10-29
  • 来自专栏刘旷专栏

    小红“复刻”微信,微信“内造”小红

    而近日,微信和小红取长补短、跨界融合的消息就十分受外界关注,小红的新动作围绕社交展开,微信公众号也在吸纳种草的图文形式,这二者都在以自己的方式“偷袭”着对方的阵地。 而小红之所以屡次将目光聚焦在社交上,其中的原因自然不言而喻。 一来,小红书面临流量和变现焦虑,发力社交能助其挖掘新的流量入口。随着互联网增速逐渐放缓,小红的流量和变现焦虑越来越明显。 小红核心的种草大本营被围攻,加之其电商业务无起色、广告业务受打击,找寻新业务就变得刻不容缓,而社交则能让小红看到更多的可能性。 小红推出社交玩法,用户打开小红的频次和停留的时间也会增长,小红就有机会培育更多的业务增长点。 微信“执着”种草 如果说社交是互联网大厂较为关注的细分赛道之一,那么种草就是其争相涌入的新风口。 总而言之,无论是小红想要翻过社交这座大山,还是微信想要真正踏入种草社区的门槛,都还有很长的路要走,而当前,小红和微信能做的也就是在不断开拓的同时坚守自己。

    73450编辑于 2023-03-02
  • 来自专栏孟永辉

    小红,不够红

    很显然,这一点,小红并不具备。尽管小红一直都在标榜它在内容电商、新消费上的特质,但从后来反馈的效果来看,这种标榜本身并无益处。相反,还将小红的短板一次又一次地暴露在人们面前。 或许,这是困扰当下小红的根本原因所在。 据悉,小红近期又进行了一次组织架构的调整。在这次调整当中,小红将原有的社区部与电商部合并,成立了新的社区部门,并且小红COO柯南要带电商业务。 可以非常明显地看出,小红在流量变现上的迫切与焦虑。从抖音、快手们的路径来看,电商化,无疑是小红跳出当下发展困境的关键所在。 提及小红,人们首先想到的是种草日记。不得不说的是,小红的种草日记的确引发了一轮新的内容热潮,甚至成为了一种独特的内容呈现形式——小红书体。 结语 如果小红仅仅只是沉醉于自我设定的迷梦里,如果小红仅仅只是少数人的「专属」,那么,小红,或许终将继续活在它所认为的那种「红」里。 小红,不够红。

    1.1K10编辑于 2022-03-28
  • 来自专栏刘旷专栏

    种草的小红

    而完美日记能在短短四年内崛起,蝉联天猫彩妆类品牌销量第一,除了资本方的青睐以外,小红这个助推平台更是功不可没,逸仙电商堪称“小红新品牌第一股”。 但在这些平台入局的同时,和小红书内容趋于同质化的问题也逐渐显现,因而小红率先将种草升级,也是想要打出先发优势。 种草生活方式是小红顺应时代的做法,也是未雨绸缪的表现。 变现一直是小红极度克制却又不得不面对的问题,但小红却一直未找到最契合自身特点的商业化模式,种草生活方式的模式或能为小红带来新的商业机遇。 小红之意不在种草 近来,一直发力于线上业务的小红开始强调鼓励用户回到线下、回到生活,并表示小红书上的种草包括线上和线下的同步种草。不难看出,小红开始开拓线下的新领地。 然而目前的小红仍有许多难题待解,发展得过于急促对小红来说未必是好事。 首先,内容问题待解。不管小红的最终目标是什么,内容对小红都将是重要角色。小红也在不断开拓多元化内容生态,扶持创作者。

    96640发布于 2021-01-08
  • 来自专栏小红书采集软件

    爬虫软件】小红转换工具:主页链接和小红书号一键批量互转

    一、背景分析1.1 开发背景与功能介绍我之前开发了几个小红采集软件,受到了很多相关用户的认可和关注,感谢大家。 曾经和很多用户聊过,他们希望有一个小工具,可以把小红个人主页的链接(或者uid)转换成小红书号,或者反之(把小红书号转成主页链接或uid),为了满足这类需求,我特意用python开发了这款工具:xhs_trans_tool 功能很简单,支持2个:功能1、把小红主页链接批量转换成小红书号:图片自动导出转换结果到csv文件:图片功能2、把小红书号批量转换成主页链接:图片自动导出转换结果到csv文件:图片以上。 防止因异常中断导致丢失前面的数据(每条间隔1~2s)7. 四、软件声明“小红转换工具”首发于众公号 "老男孩的平凡之路",仅限于学术交流技术探讨,请勿用于商业用途。我是@马哥python说,一名10年程序猿,持续分享python干货!

    1.2K10编辑于 2025-07-06
  • 来自专栏bisal的个人杂货铺

    TikTok难民涌入小红

    尽管小红一直以图文种草和直播为主打,内容更偏重于小而美、精准且细致,有着浓厚的社区属性,而TikTok更偏重大众娱乐路线,但这些都不足以阻止大批"TikTok难民"的蜂拥而至,让"小红"一度登顶苹果漂亮国区应用商店免费榜的首位 1月13日,小红的下载量飙升至苹果漂亮国区应用商店免费榜的首位。 对小红而言,这个"泼天的流量",既是一次机遇,又是一次挑战。‌ 但相对地,TikTok当前面对的问题,小红同样有可能碰到,不同国度用户发布的内容更加多元化,一定程度上增加了内容审核管理的难度,参照TikTok此次的问题,如何保护用户数据安全,将是决定小红能否在海外顺利运营的关键因素 ,从功能角度,小红要更加完善翻译功能,才能降低英语和非英语用户的交流屏障。 目前小红对这方面还没过多的限制,但是可以预见,限制还是会有的,这就是为什么我们不能直接访问墙外,为什么抖音和TikTok拆成两个app。

    34510编辑于 2025-01-16
  • 来自专栏小徐学爬虫

    Python爬虫实战:用简单四步爬取小红图片

    小红是一个热门的社交分享平台,汇聚了大量精美的图片。如果您希望保存或使用这些图片,本文将为您详细介绍如何使用Python爬虫轻松爬取小红图片。 您可以使用以下命令安装这些库: pip install requests 二、分析小红图片的URL 在开始爬取小红的图片之前,我们需要找到图片的URL。 三、编写爬取小红图片的代码 以下是一个示例代码,演示如何使用Python爬虫来爬取小红的图片: import requests import os # 图片URL image_url = 'https 四、运行代码,爬取小红图片 将替换了URL的代码保存为Python脚本,运行代码后,您将在目录中找到保存的小红图片。 根据自己的需要,您可以爬取更多精美的小红图片,并在合法合规的前提下使用这些图片。请务必遵守相关法律规定和小红的使用规定。

    2.5K30编辑于 2023-09-25
  • 来自专栏刘旷专栏

    小红,在上市边缘徘徊

    广大用户的青睐势必会使嗅觉灵敏的资本市场关注,小红也一直与资本市场关系较为紧密,小红也曾多次传出了即将IPO的消息。 小红迈入上市边缘 日前,据路透社旗下IFR报道,有知情人士表示小红计划在年中前后在美国进行IPO,筹资约5亿至10亿美元,并已经秘密递交了上市申请,而随后小红也对外表示不予置评。 虽然小红极力否认IPO的事实,但整体来看,小红已然走在了上市边缘。 从融资情况来看,小红频频接到资本市场的橄榄枝。 然而小红的安全系数并不高,因为其一直赖以生存的“种草”属性有利有弊,小红也因此踌躇不前。 然而利也种草弊也种草,正是由于小红的种草形式使其电商业务反响一般,小红的主要营收来源依然是广告业务。

    41200发布于 2021-05-02
  • 来自专栏用户10063856的专栏

    小红服装推广 服装品牌小红广告投放上海氖天

    小红服装推广可以借助小红的广告平台,运用搜索和兴趣相关的广告营销策略,将服装的信息展示给更多的潜在消费者,从而实现服装推广的目的。 小红平台上年轻时尚女性用户占70%以上,许多服装品牌受众群体是具有消费能力的女性群体,因此我们可以看到有不少服装店开始进入小红从事种草推广工作,并带来可观的用户流量。 服装品牌小红的促销该如何进行?服装品牌小红有什么宣传玩法?图片1、围绕商品提炼出卖点加记忆点知己知彼才能百战不殆要想赢得这一场推广战首先要对自己有一个全面的认识,明确好以后宣传的几大卖点加记忆点。 挑选数量较少的小红达人博主,对用户心智产生影响并帮助其做出决定。由于小红达人博主通常都有相当大的粉丝基数,他们都在某方面深耕优质内容创作者,所发内容更有话语权、用户也会分秒必争地跟风订购。 4、种草笔记的投放要不断努力在小红文稿没问题时,可安排出版,小红在投放笔记时通常会放入品牌词,场景词,行业词等,此时平台继续努力,从用户搜索习惯来看,会形成小红全平台使用的风气,进而影响到更多用户下订单

    91910编辑于 2023-03-21
  • 来自专栏用户6132544的专栏

    小红:IPO触手不可及?

    早在去年年初杨若加入小红的时候,就被外界解读为这是在为上市做准备,紧接着在去年4月份的时候,小红又被传即将赴美上市,去年10月份的时候又被传计划赴港上市,然而这些真的就只是传言而已,小红方面表示暂无明确 此轮融资后,小红的估值更是高达200亿美元。然而,高估值的背后却是小红一直在上市的边缘徘徊着,始终未能更进一步。 据悉,在2021年7月,国家网信办发布的《网络安全审查办法(修订草案征求意见稿)》对部分中国公司赴美上市提出了要求。 其二,由于小红的广告收入严重依赖美妆、美容个护这两大品类,随着化妆品市场日渐萧条,小红的广告收入也受到了影响。 而业内人士表示,B站、抖音等平台的抽佣标准保持在5%-7%。所以,对不少品牌来说,小红只是起到引流的作用,并不会在此发生交易。

    60830编辑于 2022-10-09
  • 来自专栏爬虫逆向案例

    小红 timestamp2 (20220422)

    收到群友消息,小红timestamp2更新了。 滑块问题 建议调试的时候删除timestamp2就行,不要把所有cookie都删了,否则进入无限滑块。 hasLiedResolution":false,"hasLiedOs":false,"hasLiedBrowser":false,"touchSupport":"0;false;false","fonts":"4;7;

    1.3K30编辑于 2022-04-23
  • 来自专栏小红书采集软件

    小红蒲公英数据批量采集神器!Python爬虫软件助你轻松搞定!

    一、背景介绍 1.0 爬取目标 众所周知,蒲公英是小红推出的优质创作者商业合作服务平台,致力于为品牌和博主提供内容合作服务,可以高效的为品牌匹配出最符合的优质博主。 爬虫功能分为2大类模块:第一是根据筛选条件爬取博主列表,第二是根据爬取到的博主id进入详情页面爬取详细数据,详情页如下: 通过分析网页接口,开发出了爬虫GUI软件,界面如下: 共爬取到34个字段,字段如下 : 1 关键词 2 页码 3 小红昵称 4 小红书号 5 地址 6 机构 7 数据更新至 8 小红链接 9 粉丝数 10 账号类型 11 图文报价 12 视频报价 13 合作笔记数 14 预估阅读单价 女性粉丝占比 25 年龄占比最多的 26 账号评估 27 合作笔记1阅读数 28 合作笔记2阅读数 29 合作笔记3阅读数 30 合作笔记4阅读数 31 合作笔记5阅读数 32 合作笔记6阅读数 33 合作笔记7阅读数 2.1 爬虫采集模块 此软件开发成本较高,代码量大、实现逻辑复杂,为保护个人知识版权,防止恶意盗版软件,不展示爬虫核心代码。

    74022编辑于 2024-07-10
  • 来自专栏用户10063856的专栏

    小红运营方法具体有哪些

    1、准确定位小红定位就是一个种草平台,首先要了解客户群体,为产品提供可消费的笔记内容。大家随意找个小红大号观察、分析内容,就会发现内容垂直性强,全部产出内容都是围绕定位中心开展的。 对于违规最常见的就是内容“引流”,在个人简介、内容、私信和评论中带联系方式是不行的,小红平台的审核较严,特别是上面的引流,稍有不慎就会触碰红线而直接被封。 3、笔记的内容做完养号操作并熟悉平台规则后,紧接着就开始做相关内容了,小红笔记准兄弟提醒您:照片必须确保清晰,有关照片您必须首先美化并p图,图片4、受众的明确性发布高质量垂直内容、建立便签可以定位更加准确的用户群体 7、关键词中小红笔记除可以将关键词插入标题、笔记内容外,也可以通过将关键词置入笔记图片,从而实现用户准确查找、普遍推荐、引流等功能。8、跟上热点对自媒体人而言,必须有追热点的本事。 小红越办越红火,小红书经营是大趋势在这庞大的流量平台中用户构建了各自细分领域并在细分领域中寻求差异化,打造独一无二的个人ip和不断产出优质价值内容才有可能创造爆款笔记内容。"

    1.4K10编辑于 2023-02-01
  • 来自专栏深度学习与python

    小红的降本增效之路

    作者 | 孙晓飞 整理 | 马可薇 策划 | 孙瑞瑞、丁晓昀 本文由 InfoQ 整理自小红基础技术部后端开发 孙晓飞 在 QCon 全球软件开发大会(北京站)2022 上的演讲《小红的降本增效之路 小红与云原生 小红早在 2013 年成立之初便坚定了云原生的方向,主要原因也是出于成本方面的考量,对小型厂商而言,将服务全部上云意味着无需自行搭建 IDC 机房、构建运维体系,便于成本节约。 依托云厂商所提供的云服务,小红可以将主要精力投入到业务研发,快速地迭代升级。经过九年多的发展,小红的容器化率已经达到 80% 有余。 然而,云厂商所提供的便捷云交付方式是一把双刃剑。 删除保护 这一功能与小红先前遭遇的几起故障相关。 作者简介 孙晓飞,小红基础技术部后端开发,毕业于北京邮电大学,曾在美团、快手负责 Kubernetes 系统和多集群调度相关工作,目前就职于小红容器架构组,负责团队内调度系统整体工作。

    1.4K20编辑于 2023-04-21
  • 来自专栏肉眼品世界

    【实践】小红推荐中台实践

    今天给大家带来小红推荐引擎工程负责人秦波所做的分享,秦波先生全程参与小红推荐平台的建设,目前正致力于公司内多业务域推广/技术 支持中台化推荐平台服务。对小红推荐引擎感兴趣的伙伴别错过了! 本次分享共包含如下三大部分: 1、小红推荐引擎介绍; 2、小红推荐引擎核心实现; 3、展望。

    1.2K20编辑于 2022-06-15
  • 来自专栏用户6167002的专栏

    小红破圈,没那么简单

    于是为了使这些显著的标签不再限制社区的增长,以B站为首的各个社区都走上了破圈之路,小红也不例外。 小红要“男女通吃”? 另一方面,不同性别、不同年龄的用户,能给小红的增长带来新的想象空间。由于长期以来美妆、时尚等女性内容占据了小红的绝大部分版面,小红因此聚集了大量女性用户。 为了吸引更多男性用户、推动用户结构泛化,小红进行了多方面的努力。 一来,小红新增了许多与男性相关的内容。 从公开数据来看,截止2020年12月,小红月活已经超过2亿,男女用户比例也已经达到了3:7小红的月活男性用户数更是超过了4000万。显然,男性或将成为小红书用户增长的潜力群体之一。 但是以小红现有的发展来看,还不足以在激烈的市场竞争中站稳脚跟。而破圈后的小红,也需要面临更加艰巨的挑战。 一方面,泛化已经小有所成的B站等社区,都是小红破圈之路上的劲敌。

    52510发布于 2021-07-29
领券