- 综合排序
- 最热优先
- 最新优先
- 来自专栏AI工程落地
TensorRT LLM vs OpenPPL LLM
支持模型和功能对比PPL LLM只支持baichuan、chatglm、llama三个模型，Tensor-LLM支持几乎所有大模型。 TensorRT-LLM使用起来更方便模型量化TensorRT-LLM是离线量化，支持更多的量化方法，smooth quant、weight only、AWQ等PPL LLM是实时量化（i8i8），支持整个网络一起量化 模型DeployTensorRT-LLM量化结束，不需要deploy中间模型，直接进入编译器。部分模型可以支持onnx可视化PPL LLM不需要deploy以及编译，直接用onnx调算子。 /docs/llama_guide.md at master · openppl-public/ppl.llm.serving (github.com)TensorRT LLM原模型-->量化-->编译 两个框架都是tensor并行框架依赖Tensor-LLM需要依赖tensorrt，但主要是一些单算子（卷积、激活函数、gemm等），融合算子都是Tensor-LLM自带的。PPL LLM没有依赖
1.2K30编辑于 2023-11-21 - 来自专栏前行的CVer
LLM评测
Open LLM Leaderboard（英文） Open LLM Leaderboard中包含有下列Benchmark： 所有能力 通用&数学&code——MT-Bench，由80个高质量的多轮对话问题组成的基准 是多个数据集的结合，划分了LLM的语言、知识、推理、数学、Code、Agent几类能力。
2.1K10编辑于 2024-08-05 - 来自专栏时空探索之旅
WWW 2026 | LLM×Graph论文总结【LLM4Graph & Graph4LLM】
本文总结了2026 WWW上有关LLM Graph的相关论文，包含Research一个Track的论文（没有其它track），总计24篇，如有疏漏，欢迎补充。 笔者将LLM和Graph结合的工作分为两大类，一类是LLM4Graph，即LLM做图任务。 另外一类是利用Graph4LLM，即利用图这种格式来增强LLM的能力。 LLM4Graph1. Disentangled Graph LLM for Molecule Graph Editing under Distribution Shifts4. ，RAG 推荐阅读 ICLR 2026 | LLM×Graph论文总结【LLM4Graph与Graph4LLM】 ICLR 2026 | Rebuttal前 图基础模型(GFM)&文本属性图(TAG)高分论文
55610编辑于 2026-03-10 - 来自专栏NewBeeNLP
LLM in Reranking——利用LLM进行重排
现有的涉及LLM的重排方法大致可以分为三类： 用重排任务微调LLM 使用prompt让LLM进行重排 以及利用LLM做训练数据的增强 本文中针对前两种方法介绍一些研究。 Method 使用TF-IDF相似度得到初步的候选文档集，再使用LLM进行重排。 LLM对召回的文档先进行打分，保留top K_1个文档，用超链接对这些文档进行扩展，再用LLM对扩展文档打分并挑选top K_2的文档，如此往复直到到达最大深度H。 一方面，LLM的输入长度对于一个文档列表来说还是十分受限的，必须通过滑动窗口或集成的方式才能实现文档输入。 另外，还有参数过剩与时效性的问题会导致LLM重排器难以落地。
3.7K30编辑于 2023-10-25 - 来自专栏windealli
LLM Agent 简介
什么是LLM Agent导语GPT（尤其是GPT-4）等大语言模型（LLM）的推出，让人类认识到了大语言模型强大的文本生成能力。 只是用来做文本生成工具的话，LLM的能力就被严重低估了。 LLM Agent 概念定义关于LLM Agent， OpenAI 应用人工智能研究负责人Lilian Weng在其Blog中将LLM Agent定义为LLM、记忆（Memory）、任务规划（Planning 通过LLM和三个关键组件，LLM Agent可以拥有复杂的工作流程，其中模型基本上是与自身对话，而无需人工参与到交互的每个部分。 LLM Agent通过迭代运行并定义一些新的目标/任务，而非传统GPT那般接受单个查询的输入并返回输出LLM Agent 常见功能LLM Agent能够基于大语言模型进行对话、完成任务、推理，并可以展示一定程度的自主行为 LLM 与 三个组件LLM Agent 以 LLM 驱动，并需要三大组件辅助以完成工作（图片来自： https://lilianweng.github.io/posts/2023-06-23-agent
7.4K23编辑于 2024-01-12 - 来自专栏磐创AI技术团队的专栏
拥有LLM模型
大型语言模型（LLM）越来越显示出其价值。将图像纳入LLMs使它们作为视觉语言模型更加有用。在本文中，我将解释一个名为GIT-LLM的模型的开发，这是一个简单但强大的视觉语言模型。 然而，在本文中，我尝试使用强大的LLM并进行微调。在这里，我称该模型为“GIT-LLM”。 使用Hugging Face的Transformers的LLM 我将使用Hugging Face的Transformers库来开发GIT-LLM。 我相信Transformers对于最近LLM衍生物的发展做出了重要贡献。 在其中，需要将一个视觉编码器与一个LLM连接起来。我将解释一些关键组件。
68010编辑于 2024-06-06 LLM挂载&部署
limit_mm_per_prompt image=4 --max_model_len 8784 成功挂载： 在Dify中编辑“模型供应商”，添加更多模型供应商“OpenAI-API-compatible”，不仅支持LLM
38610编辑于 2025-05-22- 来自专栏k8s技术圈
LLM On Kubernetes
从今年开始，人们对大型语言模型 (LLM) 及其在 GPU 基础设施上的部署的兴趣显着增加。这种不断增长的热情是由人工智能和机器学习的进步推动的，这需要 GPU 能够有效提供大量的计算能力。 Ollama 是一个开源的机器学习模型部署工具，它可以帮助您将模型部署到生产环境中，简化大型语言模型 (LLM) 的管理和交互。
89010编辑于 2024-07-20 triton+tensorrt-llm后端部署LLM服务
/trtllm_checkpoint_fp16 \ --dtype float16 ❝[TensorRT-LLM] TensorRT-LLM version: 0.17.0.post1 [TensorRT-LLM][INFO] Refreshed the MPI local session [TensorRT-LLM][INFO] MPI size: 1, MPI local size : 1, rank: 0 [TensorRT-LLM][INFO] Rank 0 is using GPU 0 [TensorRT-LLM][WARNING] Fix optionalParams : ] TRTGptModel maxNumSequences: 2048 [TensorRT-LLM][INFO] TRTGptModel maxBatchSize: 2048 [TensorRT-LLM : 0 [TensorRT-LLM][INFO] TRTGptModel maxNumTokens: 8192 [TensorRT-LLM][INFO] TRTGptModel maxInputLen:
69210编辑于 2026-03-25- 来自专栏CoderJia的工作笔记
LLM 应用的宝藏库：Awesome LLM Apps 项目深度解析
在这个背景下，Awesome LLM Apps 项目应运而生，为开发者提供了一个全面的 LLM 应用示例库。 这个项目不仅仅是一个简单的代码集合，更像是一本活生生的 LLM 应用开发教科书。 项目名称: awesome-llm-apps 项目地址: https://github.com/Shubhamsaboo/awesome-llm-apps 创建者: Shubhamsaboo 主要功能: 技术创新点与实际应用价值 创新技术实现 项目中展现了多个值得关注的技术创新点： Memory-Augmented LLM：项目实现了多种记忆增强的 LLM 应用，包括个性化记忆、共享记忆等机制。 结论与展望 Awesome LLM Apps 项目为 LLM 应用开发者提供了一个宝贵的学习和参考资源。 它不仅展示了当前 LLM 技术的应用边界，更为开发者提供了从零到一构建 LLM 应用的完整路径。
2.8K20编辑于 2025-06-15 - 来自专栏第一专栏
LLM-TAP随笔——有监督微调【深度学习】【PyTorch】【LLM】
5.3、模型上下文窗口扩展 上下文窗口：在自然语言处理中，LLM（Large Language Model，大型语言模型）的上下文窗口指的是模型在处理文本时所考虑的文本片段或单词的范围。
82140编辑于 2023-09-26 - 来自专栏架构师成长之路
大模型llm：Ollama部署llama3学习入门llm
二、Ollama安装 1、Ollama简介 Ollama 是一个开源的大型语言模型（LLM）服务工具，它允许用户在本地机器上运行和部署大型语言模型。 :11.020314Z", "response": "Here are the translations:\n\n**Chinese:** 《Meta Llama 3》：迄今最强大的公开可用的LLM \n\n**Korean:** 《Meta Llama 3》：현재 가장 강력한 공개 사용 가능한 LLM\n\n**Japanese:**\n\n《Meta Llama 3》：現在最強の公開使用可能 なLLM\n\n\n\nNote: (Meta Llama 3) is a literal translation, as there is no direct equivalent for \"Meta } ] }' 五、配置Open-WebUI 可以直接使用dify开源的llm ops集成：https://guisu.blog.csdn.net/article/details/138978737
7.3K00编辑于 2024-05-24 - 来自专栏时空探索之旅
ICLR 2026 | LLM×Graph论文总结【LLM4Graph与Graph4LLM】
本文总结了2026 ICLR上有关LLM Graph的相关论文。总计29篇，如有疏漏，欢迎补充。 观察：LLM Graph统计值 最大均分 均值 最小均分 6 5.21 4 其中均分≥6的有4篇，其中。 笔者将LLM和Graph结合的工作分为两大类，一类是LLM4Graph，即LLM做图任务。 另外一类是利用Graph4LLM，即利用图结构来增强LLM的能力。 LLM4Graph & TAG1. id=0RdAmwfVku 关键词：LLM reasoning, Knowledge Graphs, KG-enhanced LLM 作者：Wenxin Zhao, Jiachuan Wang, Yongqi id=34cANdsHKV 关键词：LLM Collaboration, Multi-Agent LLM 作者：Sukwon Yun, Jie Peng, Pingzhi Li, Wendong Fan
82210编辑于 2026-03-10 - 来自专栏xiaosen
LLM基础知识
LLM背景知识介绍 1 大语言模型 (LLM) 背景 大语言模型 (英文：Large Language Model，缩写LLM) 是一种人工智能模型, 旨在理解和生成人类语言. 通常，大语言模型 (LLM) 是指包含数千亿 (或更多) 参数的语言模型(目前定义参数量超过10B的模型为大语言模型)，这些参数是在大量文本数据上训练的，例如模型 GPT-3、ChatGPT、PaLM、 perplexity = 2 ** (-perplexity/len(sentences)) print('困惑度为：', perplexity) # 困惑度为： 0.000325 小结 本小节主要介绍LLM 的背景知识，了解目前LLM发展基本历程 对语言模型的类别分别进行了介绍，如基于统计的N-gram模型，以及深度学习的神经网络模型
97210编辑于 2024-06-04 - 来自专栏云云众生s
LLM函数调用指南
深入了解 LLM 中的函数调用，以及我们适合函数调用的商业和开源 LLM 列表。 LLM 不再仅仅生成文本，现在可以通过利用外部工具和服务执行操作、控制设备、从数据库中检索信息以及执行广泛的任务。 并非每个 LLM 都能够利用函数调用功能。 LLM 确定提示是否需要函数调用。如果是，它会查找提供的函数列表——及其各自的模式——并使用填充有函数集及其输入参数的 JSON 字典进行响应。 步骤 3：应用程序解析 LLM 响应。 选择支持函数调用的 LLM 构建代理工作流和 RAG 代理时，选择支持函数调用的正确 LLM 非常重要。以下是适合函数调用的商业和开放 LLM 列表。 这使开发人员能够定义 LLM 在推理期间可以调用的自定义函数，以检索外部数据或执行计算。LLM 输出包含函数名称和参数的 JSON 对象。
90810编辑于 2024-05-18 - 来自专栏自然语言处理(NLP)论文速递
分享10篇优秀论文，涉及LLM对齐、LLM评估、LLM隐私、RAG增强等热门话题！
为了解决与 LLM 相关的高能耗和大内存问题，BitNet 提供了可扩展且高效的解决方案。 SELF-RAG 是一个新框架，通过按需检索和自反思来提高LLM的质量和真实性。它使用反射Token进行自评估，在各种任务中显着优于传统的LLM。该框架涉及两个组件：生成器和批评家模型。 在六项任务的评估结果中表明，SELF-RAG 优于经过预训练和指令调整的 LLM，包括那些具有更多参数的 LLM。 LLM评估 https://arxiv.org/pdf/2310.14424.pdf 本文解决了通过人工标注有效评估大型语言模型 (LLM) 的问题。 RepE 的应用之一是增强大型语言模型 (LLM) 中的诚实性，减少大模型幻觉。
1.2K10编辑于 2024-01-31 - 来自专栏计算机技术-参与活动
“LLM是否是泡沫”
，读再多的论文，刷再多的技术文章，也不如一次 debug 多机通讯报错带来的认知深刻一、LLM领域的发展与挑战二、LLM领域的机遇与前景三、对LLM是否是泡沫的判断“LLM是否是泡沫”培养自己鉴别论文价值的能力 然而，LLM领域也存在一些问题和挑战，这些问题在一定程度上引发了关于LLM是否是泡沫的讨论。 这些挑战限制了LLM在某些领域的应用，并可能导致一些人对LLM的未来发展持怀疑态度。 应用落地难度： 将LLM技术应用于实际场景中需要解决诸多问题，如数据整合、模型定制化、成本控制等。 二、LLM领域的机遇与前景 技术创新： LLM领域的技术创新不断涌现，如新的模型架构、训练算法、优化技术等。这些创新为LLM的进一步发展提供了有力支持，并推动了自然语言处理技术的整体进步。 这些政策为LLM技术的研发和应用提供了良好的政策环境和资金支持。三、对LLM是否是泡沫的判断 当前状况： 目前，LLM领域确实存在一些泡沫现象，如部分项目估值过高、技术应用过于乐观等。
22611编辑于 2024-11-24 - 来自专栏MySQL解决方案工程师
大型语言模型LLM
最近在学习OCI的生成式AI相关方面的内容，对相关内容做一下整理，内容涉及LLM基础、LLM架构、提示（Promot）、微调（fine-tuning）、各种模型、OCI的生成式AI、RAG，及向量数据库等等 什么是LLM？ LLM（Large Language Model）是大型语言模型的缩写，语言模型（LM）是一个文本的概率模型。为了能够简单说明该模型，在这里举一个简单的例子。 我们所需要学习的就是LLM如何利用这些词汇的分布生成文本，以及我们如何去影响词汇的分布。 LLM架构 LLM的多个架构聚焦在编码和解码，例如嵌入和生成文本。 LLM中的各种模型具备不同的能力，例如嵌入（emmbedding）/生成（generation），模型的类型不同导致了它们的参数数量不同。 以上内容是关于LLM基础及架构的一个简单介绍，后续会介绍提示及微调等方面的内容。感谢关注MySQL解决方案工程师。
68010编辑于 2024-06-14 - 来自专栏AutoML(自动机器学习)
LLM 入门笔记-Tokenizer
下图展示了完整的 tokenization 流程，接下来会对每个步骤做进一步的介绍。
1.2K11编辑于 2023-12-02 - 来自专栏产品笔记
大语言模型(LLM)
研究者们发现通过扩大预训练语言模型的参数量和数据量，大语言模型（Large Language Model）能够在效果显著提升的同时，展示出许多小模型不具备的特殊能力（如上下文学习能力、逐步推理能力等）。最近，作为代表性的大语言模型应用ChatGPT展现出了超强的人机对话能力和任务求解能力，对于整个AI研究社区带来了重大影响。01
1.9K50编辑于 2023-09-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号