00:00
好,非常感谢腾讯云的邀请,也非常感谢那个线上和线下那个同学们来参加,然后我今天分享的主题刚才已经聊过了,就是如何从独网变成我们的资产。呃。然后我先看一下我呃个人介绍,我就简单介绍一下,我现在是朗星源研究院的这个呃算法总监,然后之前也是在腾讯的高级研究员,主要从事的就是一些算法上的工作,嗯,另外也会在腾讯云社区上沉淀一些技术文档。嗯,这个是我个人的一个小项目,大家可以先看一下。他不会。啊的会啊,可以看到我们如果有个链接的话,我们可以先复制进来,然后让A进的去进行整理,它会告诉我们经过通的分析以后,可以看出来他帮我们去啊推荐我是值得建议收下还是直接忽略,如果我直接收下的话,他会返回到我的书架,在我的书架上可以看到有不同的类型,有文章,视频,还有音频,那在我们的文章刚才都已经爬下来了,爬下来以后我就可以跟他进行一些交互,那有时候我可能论文比较多,会有一些翻译的工作,然后还可以去划线,以及跟他进行一些呃笔记,那这个呢,就是一个个人的一个小项目,可以看到这个视频,音频,还有这个这个商库,特别是论文是比较多的,这个是沉淀的一个小项目,那基于这个项目呢,我想说的就是今天我们想介介绍的一个内容,就是如何把一个链接就作为入口,然后最终沉淀为我们的一个。
01:33
呃,产品。那整个流程其实也比较简单,就从我们拿到原文去进行采集,拿到原文,然后刚才看到有不同的类型,我们要把它转回为一个统一的格式,然后再通过算法进行这个筛选和推荐,然后看哪一些真的值得上我们的书架,最后再通过人的反馈来改我们的,优化我们的这个规则,优化我们的skill,形成一个闭环的逻辑。
02:00
那在整个过程中呢,主要是由work body去呃,以及code body去帮我们去执行代码和编写代码,然后人呢,主要在这里面去呃,确定方向,然后判断我们的结果,以及最重要的就是提供反馈。那今天想跟大家分享的主要是4个模,4个模块第一个呢就是采集。那什么样的数据值得我们去收集呢?现在在巴上面其实有非常多的专家,大家去搜的话,有非常的专家,甚至是专家团,呃,然后在这个技能上呢,大家也可以看到有非常多的自信的skill,如果他可以帮助到你的话,其实我们就可以达到第一步的采集的需求了,但是像我们每个人的工作可能有垂欲的方向,比如说我在AI算法上有自己垂意的方向,就必须要自己去实现一个skill,那这个时候就可以跟沃克巴去合作,我们如何去沉淀一个skill,这里面分享分享了两个点,第一个点呢,就是在创建的时候需要他去完成我个人的工作,那这里面的记忆是非常重要的啊,做了一个小实验,可以看到这个数据对比,加入数据加入记忆和不加入记忆,它的提点,提点是非常高的。
03:07
那在work body里面相加记忆是非常容易的,就是我们把这个记忆与进化开关打开就可以了。如果大家在自己有自己其他的agent的记忆的话,也可以直接进行导入,甚至我们可以在这个里面进行一些编辑。另外呢,就是我如果我们自己要去创造skill的话,有两点,第一个点呢,就是我不知道大家有没有跟我一样的遇到同样的问题,就是AI,他一定会帮你在这个视频里面找,找出一些问题,它会不断的,只要你问他有没有缺点,它就会有缺点,然后帮你找往里面进行叠加,那在叠加的过程中呢,就会发现它会把不同的规则一直往里面写。但限制太多的话,反而会让我们这在我们这个场景的话,它的这个覆盖的范围就会变窄,然后如果你去持续的去,呃迭代版本的话,就发现改善后仍还仍然有遗漏,所以说我们的skill其实不是一个静态的过程,它是一个持续优化的过程,那在这个优化的过程中呢,我想提的一个点了是像发现问题和修改问题,可以不断的去跟您AI进行交互,然后人也可以在参与去决策啊,哪些需要修改,哪些不需要修改,最重要的一个点其实是最后的你要参与去进行验证的,哪怕这个验证简单点就是人工去验证,然后复杂一点你可以写一个验证去进行验证,然后我想我想强调的是,不管是咱们线上的这个业务领域,还是个人的小项目,呃,都都需要他去陪跑一段时间,比如说我们这个里面可以场景的,你就让他陪跑两个周,然后进行一个对比。
04:38
当你真正的确定它是有提效的时候,才把这个版本进行迭代。所以说即使是个人的小项目,我觉得还是需要一个版本迭代过程,我们要把之前的那些资料都沉淀下来。然后另外呢,就是我们现在已经收集了非常多的信息以后,通过我个人在使用的时候会发现推送来的信息,有时候就当天看一下,看了以后就没有任何的后续,或者说当时没有时间就收藏一下,收藏以后他就永远躺在了你的收藏夹里面,然后真正的在项目或者是在呃应用的时候要用到的时候会想到我大概知道我看过,但是我找不着了,这也是我要做这个项目的一个初衷,就是我们一定要把它整理到自己的电脑上,至少那下一步就是要治理,就是不要把不同来源的信息整理之后,我们可以去查以及去读的材料。
05:28
呃,这个是我个人的一些经验,就是我们实际上会主动的去搜索一些信息,像左边的我刚才也介绍了,可以通过不同的工具,包括我们自己去定义啊,及时自己去写skill,去定时的进行推荐,然后其实大家应该在工作和学习上也会收到一些被动的信息,大家的钉钉群,大家的微信群,大家同事们给你发送了一些链接啊,那些文章可能都要去进行收藏,那这个另外还有一些不同的类型的,像视频播客等等那。这么多的入口,我们一定要给他一个统一的啊,这么多的入口我们要给他一个统一的出口,就是我们需要一个呃,统一的收件夹,那这里面的写入方式就非常多了,那work body的也有个连接器,它可以跟你的微信和钉钉连接,然后呢,像文件上传,你可以直接在work body里面上传,只要你告诉他我只要上传一个链接,但是不说任何话,意思就是要进我刚才那个呃软件的入口了,就不需要人去复制粘贴,另外就是浏览器的插件。
06:31
我正在看这篇文章,我觉得它非常值得收藏,那让沃克巴里给你写一个插件,一键入库,那这些都可以利用博克巴去帮你实现,那想强调的就是一定要有个统一的入口。另外一个点呢,就是我们不同的类型,就是我刚才看到这个产品里面,它有音频,有视频,然后有论文,有开源项目,那这些呢,我想强调一个点,就是我们在进行整理的时候,呃,不同的类别最好是有不同的强调的方向,比如说视频我可能会需要去记录它的关键节点,需要他的这个时间戳,然后论文的话,我更关注的是他解决了什么问题,他用的什么样的方案,然后他的实验结果是什么样的,他这篇论文还有什么样的局限性,然后开源项目有他自己的侧重点,那只有把这些在前期治理清楚了以后,才能知道你的数据库怎么去整理,才能想到你后面要怎么展示,以及你怎么去进行rag检索。
07:30
那现在我们把这个凌乱的信息进行了收集,然后把它整理为了一个格式化的信息,进入了我的数据库以后啊,下一步就是我每天不可能去看,有时间去看每一篇文章,下一步就是需要去筛选入库了,整理好的那些资料,哪些才是真正值得我们上架的呢?这里面想这个在这个环节想分享的两个点,第一个呢,就是质量评分是非常重要的,像这个是我的一个skill,左边呢就是我会有一些规则,硬规则,还有我的流程,右边可以看到针对于不同的类别,它实际上是有不同的维度,然后不同的维度也有不同的权重,然后每个类别它还有自己的这个,呃,评审评的标准,那只有有了这一套以后我才知道啊,每一个类型它什么时候才建议入库,什么时候的什么类型就可以直接丢掉了。另外还有一个就是我们要输出一定要有一定的格式,这个格式的话,大家可以去参考外面的这个vckki的啊,像OKOKF的那种格式,那其实还要基于个人的经验,就是个人的需求,是不是需要在那些开发的格式上面去增加自己的字段,在这一些整理好了以后,最强最后还要去呃定义自己的这个流程的依据。
08:47
就是你在评分,在这个页面里面,这一个,其实如果没有人工去进行这一步的话,其实AI完全可以自动化,这一个是强调是我刻意要加入人工介入这么一个一个步骤,是因为只有人工进行了二次判断以后,你才知道你前面的那些词skill到底写的好不好,如果完全由AI一键接入的话,呃,有可能比如说打个比方,你的阈值如果调的太高,有一些非常值得加入我们库的,他根本都进不来,你根本都看不到,那如果说有一些阈值你提的太低的话,那对于这个产品我希望的就是他帮我精选,那这个目标就没有达到。所以说人人工接入的这个过程呢,第一是至少让这篇文章在你的脑袋里面,在此刻有一个印象,第二个呢,就是它可以作为反馈信号啊来。
09:37
反馈的信号来回流到我们前面的那些阶段,哪些skill是需要去优化的,哪些阈值,哪些动态的参数是需要调整的。那另外一个点呢,就是啊,那下面呢,我们通过了大量的广撒网,然后把所有信息进行了收集,然后呢,通过了一个治理,然后当他有一个格格式化的信息,嗯,接着呢,是我们进行了挑选,挑选了出来的一些精就是精品的文章,值得大家去读的,那真正的沉淀到整个流程,实际上只是沃克巴去帮你看的这些信息,然后它沉淀到了你的电脑上面,真正的进入到我们的脑袋里面了吗?真正的让我们读过了,我才我认为这个才算是个人的资产,所以说下一笔我的。
10:23
可以看到一个数据。呃,这个是我两周的一个实验数据,可以看到其实有19%是没有打开的,即使是经过了这个精心的挑选和建议,收下以后还是有百分之吧,还是有20%,将近20%的这个文章是沉淀在那里的,那这里面可能有两部分的原因,第一个部分原因可能就是因为呃,个人但时间太懒了,就是不想去看,那另外一部分原因可能就是因为前面的某些步骤他写的不够好。那所以说通过这么一个数据统计,但这个数据统计也是有AI的,因为我们刚才有人工的操作,你有点击和放弃的那些操作,呃,他才能够去沉淀,你也有你的记录信息,如AI去进行分析,哪些是你没有去看的,哪一些是,嗯,Skill是需要优化的,那有了这些以后,我们才知道真正沉淀在哪,在你的这个被你引用到的是哪些。
11:19
那后面最后想谈的就是有三点,就是经过这么整个流程以后,我们积累的到底是什么。啊,第一点就是我读过的真正能够成为我下次的依据,比如说我要写一篇,呃,现在想写一个系列的这个专栏了,我需要在我的知识库里面去把它搜索出来,那这里面呢,就是它实实际际我们可以看到的沉淀已沉淀的资产,那第二个呢,就是实际上我们在跟我巴里去交流的过程中,呃,会沉淀一些skill,那些实skill呢,就是你自己的一个个人经验,那这些经验也是我们可以看到的资产。那另外其实你在跟AI交互,跟A进的交互的过程中也会发现一些问题,那我可能更多的因为在这个产品里面,背后还有很多算法是我们自己团队的,那在体验的过程中,我可以去优化我的算法。
12:08
那这里面其实上是一些隐藏的你看不到的一些资产,那最后呢,想强调的是,不管咱们在做任何产品的时候,其实人的参与是非常重要的,至少在现在人的参与最大的一个就是他可以给予反馈,即使是这个反馈,现在有非常多资金化的这些算法出现了,他可以让另外一个A进的来代替你进行反馈,那这个反但但是在像我们这种个人的项目里面的话,人的参与度我个人觉得还是非常重要的,因为第一它可以让你的产品进行持续的优化,第二呢,是可以让你个人的能力去进行持续的优化,所以我觉得做这类似的这种个人的产品的话,呃,其实也是有有形的一些知识反馈,也是你最初的需求目标,另外还是在这个过程中可以沉淀一些无形的你看不到的一些经验。最后呢,我就想说,呃,真正的积累呢,其实是让你下一次必须从头开始,如果说经过今天的分享,大家觉得原来自己去打造一个产品是非常简单的,然后不管是线上还是线下的,像可能是同学们比较多,我可能今天分享的是偏技术类的,然后如果同学们比较多的话,就觉得我以前不是开发,我只是甚至没有写过代码,我也可以通过沃巴去沉淀你自己的一个产品,那如果能够达到这个目标的话,我觉得我今天分享也是值得的。
我来说两句