- 综合排序
- 最热优先
- 最新优先
- 来自专栏哲学驱动设计
性能优化总结（二）：聚合SQL
本篇主要讲如何使用一句较复杂的SQL来加载整个聚合对象，以达到最小化数据库连接次数。主要是解释其中的原理。 但是如果不谨慎使用这一模式，很可能会造成过多的数据库连接次数，导致性能低下。如果是分布式程序，则会是更耗时的远程连接。 这就是今天要说的，一个用于重构的模式：聚合对象SQL。 什么是“聚合SQL” 要支持OO的领域对象，同时保证性能，我们的ORM就需要做到：获取对象时，一次性获取它指定的关系对象（集合/引用）；同时，仍然保留LazyLoad。 下一节主要讲在目前的GIX4系统中，我们是如何引入聚合SQL来改善性能的。
1K60发布于 2018-01-26 - 来自专栏方丈的寺院
API接口性能优化总结
摘要 在web开发过程中，经常会遇到接口RT高的情况，除了通过监控事后优化的方式，我们还需要掌握一些常用的手段，避免写出慢的接口。从前端发起调用到后端一般经过网关层、应用层、存储层。 每一层都可以优化，本篇文章主要是应用层优化。 常见性能优化思路 从理论上分析，性能优化手段通常有 批量 请求数据库，我们一般会用in,提高数据库查询效率 调用外部服务，我们也需要要求依赖方提供批量接口，避免多次网络请求 批量查询的id数量也不宜过多 之前在sql IN一文中分析过，IN 的数量太多时，性能会下降。 对于DB中的数据可以缓存，对于外部服务的数据同样可以缓存 使用多级缓存，可以最大限度提升性能。
87130编辑于 2022-05-25 - 来自专栏铭毅天下
Elasticsearch 聚合性能优化六大猛招
1、问题引出 默认情况下，Elasticsearch 已针对大多数用例进行了优化，确保在写入性能和查询性能之间取得平衡。我们将介绍一些聚合性能优化的可配置参数，其中部分改进是以牺牲写入性能为代价的。 目标是将聚合优化招数汇总到一个易于消化的短文中，为大家的 Elasticsearch 集群聚合性能优化提供一些指导。 4、聚合性能优化猛招 4.1 启用 eager global ordinals 提升高基数聚合性能 适用场景：高基数聚合。 高基数聚合场景中的高基数含义：一个字段包含很大比例的唯一值。 同理，聚合的前半部分 query 中如果有基于时间查询，或者后半部分 aggs 部分中有基于时间聚合的，建议都使用 datemath 方式做缓存处理以优化性能。 六大猛招中的 msearch 并行聚合方式，令人眼前一亮，相比我在业务实战中用的多线程方式实现并行，要“高级”了许多。 我结合自己的聚合优化实践做了翻译和扩展，希望对大家的聚合性能优化有所帮助。
4.7K20发布于 2021-02-03 - 来自专栏玖叁叁
MongoDB 聚合索引如何分析和优化查询性能
查询计划分析MongoDB 可以使用 explain() 方法来获取查询的执行计划，通过分析执行计划可以找到查询的瓶颈所在，以便进行优化。 , { $group: { _id: "$gender", count: { $sum: 1 } } }]).explain("executionStats")索引优化 MongoDB 聚合索引的性能很大程度上取决于索引的设计和使用，可以通过以下方法来优化索引的性能：创建合适的索引：根据查询的字段和排序要求创建合适的索引可以大大提高查询性能。 当索引中包含大量重复的数据时，去重可以显著减少查询的数据量，提高查询的性能。 查询重构有时候，对查询的重构可以有效地提高查询的性能。例如，可以将一个查询拆分成多个阶段，让每个阶段处理的数据量更小，以便更好地利用索引的性能。
3.1K21编辑于 2023-04-14 - 来自专栏APP开发
优化Shopify API的调用性能
Shopify API是开发者与Shopify平台交互的桥梁，合理利用API能大大提升应用的性能和效率。下面就来详细介绍一下如何优化Shopify API的调用性能。 2.优化API请求结构精简请求参数： 只获取必需的数据，避免不必要的字段。利用API版本: Shopify API不断更新，新版本通常性能更好。 总结优化Shopify API调用性能，需要从多个方面入手：减少API请求次数、优化请求结构、合理使用Webhooks、错误处理和重试、考虑Shopify的限制等。 通过这些方法，可以显著提升应用的性能和用户体验。举个例子： 假设你正在开发一个Shopify应用，需要展示所有产品的名称和价格。不优化的情况： 你可能会对每个产品发送一个API请求来获取信息。 总结来说，优化Shopify API调用性能的关键在于：规划好你的API请求：明确你需要获取哪些数据，并一次性获取尽可能多的数据。合理利用缓存：将经常访问的数据缓存起来，减少对API的请求。
1.4K10编辑于 2024-12-10 - 来自专栏哲学驱动设计
性能优化总结（六）：预加载、聚合SQL应用实例
不过，由于前面几篇中提到的API设计，大大减少了代码量。 project.PBSPropertyValuesLoader.BeginLoading(); } }; projectPBSView.DataChanged += projectPBSView_DataChanged; 上面使用的是《性能优化总结 （四）：预加载的设计》中所设计的API： public partial class Project : GEntity<Project>, ICopySource { [NonSerialized 尾声 GIX4系统在经历了本次有针对性的优化后，提升了不少用户体验。实施人员的原话如下：“小胡，这次用户觉得软件快了好多。你们早这样做就好了嘛……”。 重点是如何能更简单地使用聚合加载。现在要实现一个聚合加载，从编写SQL，到方法定义都比较繁琐。一次加载可能需要写好几个方法。
2.1K50发布于 2018-01-26 - 来自专栏云时代Java开发：原理、实战与优化
如何优化Java Stream API的性能？
优化目的 优化 Java Stream API 的性能对于确保应用程序的高效运行至关重要，原因包括但不限于以下几个方面： 1. 避免不必要的复杂度 - 简化架构设计：有时候，性能问题会导致开发者采用复杂的解决方案来弥补性能不足，如引入缓存机制或其他中间件。通过优化Stream API，可以简化整体架构，使系统更加健壮。 结论 综上所述，优化 Java Stream API 的性能不仅是技术上的追求，更是为了满足实际业务需求、提高产品质量以及保持竞争力的有效手段。 优化策略 优化 Java Stream API 的性能确实涉及多个方面，包括选择合适的流类型、避免不必要的操作、合理使用并行流等。以下是一些优化策略： 1. 利用这些操作可以提高性能。 优化注意事项 在对 Java Stream API 进行性能测试时，有几个关键的注意事项可以帮助你获得准确且有意义的结果。以下是进行性能测试时应该考虑的因素： 1.
61910编辑于 2025-04-05 - 来自专栏强仔仔
ElasticSearch java API - 聚合查询
，因为在es的api中，多字段上的聚合操作需要用到子聚合(subAggregation)，初学者可能找不到方法（网上资料比较少，笔者在这个问题上折腾了两天，最后度了源码才彻底搞清楚T_T），后边会特意说明多字段聚合的实现方法 另外，聚合后的排序也会单独说明。 例如要计算每个球队的球员数，如果使用SQL语句，应表达如下： select team, count(*) as player_count from player group by team; ES的java api 语句，应表达如下： select team, position, count(*) as pos_count from player group by team, position; ES的java api /最小/总/平均的球员年龄，如果使用SQL语句，应表达如下： select team, max(age) as max_age from player group by team; ES的java api
2.5K20发布于 2019-05-25 - 来自专栏后端
【微服务优化】ELK日志聚合与查询性能提升实战指南
ELK（Elasticsearch, Logstash, Kibana）作为一种经典的日志聚合方案，在性能上往往面临诸多挑战。为了满足高效的日志采集、存储和查询需求，必须对ELK方案进行优化。 过滤器优化：根据实际需求合理配置过滤器，避免不必要的处理操作，减少日志处理延迟。日志存储优化日志存储是影响ELK性能的关键因素之一。 过多的分片会导致资源浪费，而分片过少则会影响查询性能。日志查询优化日志查询是提高日志聚合效率的另一项关键任务。在微服务环境中，日志查询往往会涉及大量数据，因此需要优化查询的响应时间。 总结优化 ELK 日志聚合方案，对于提升微服务架构下的故障诊断和性能监控至关重要。通过合理的日志采集策略、存储优化和查询优化，可以显著提升日志分析的效率和响应速度。 无论是使用 Filebeat 轻量级采集，还是通过 Elasticsearch 索引优化和聚合分析，合理的架构设计和配置都能有效地提升 ELK 的性能。
76110编辑于 2025-02-22 - 来自专栏铭毅天下
Elasticsearch聚合优化 | 聚合速度提升5倍！
1、聚合为什么慢？ 实践应用发现，以下情况都会比较慢： 1）待聚合文档数比较多（千万、亿、十亿甚至更多）； 2）聚合条件比较复杂（多重条件聚合）； 3）全量聚合（翻页的场景用）。 2、聚合优化方案探讨 优化方案一：默认深度优先聚合改为广度优先聚合。 优化方案二： 每一层terms aggregation内部加一个 “execution_hint”: “map”。 优化方案N： 待进一步深入实践...... 3、做个实验 聚合的平衡点是多少呢？ 3.1 实验场景 场景一：在近亿的document中，检索满足给定条件的数据，并对聚合结果全量聚合。
5.2K72发布于 2018-03-20 - 来自专栏DotNet NB && CloudNative
优化 ASP.NET Core Web API 性能方法
优化 ASP.NET Core Web API 性能 开发人员嗨，构建高性能的 ASP.NET Core Web API 非常重要。它可以帮助用户享受更快的交互并降低服务器成本。 本文将指导你了解 ASP.NET Core Web API 的一些实用性能优化技巧。 1. 使用异步代码 重要性： 异步代码允许您的应用程序同时处理更多请求。因为它在等待任务完成的同时释放了资源。 优化数据库查询 重要性： 缓慢的数据库查询会损害 API 性能。API 等待数据的时间越长，响应速度就越慢。 如何优化： 使用索引加快数据检索速度。 避免。仅获取必要的列。 分析和监控您的 API 重要性： 监控可让您跟踪一段时间内的性能。您可以找到瓶颈和需要改进的领域。 避免在性能敏感的代码中使用它。 如何使用： 如果性能至关重要，请用优化的替代方案替换复杂的 LINQ 查询。有时，直接 SQL 查询更快。
1.2K10编辑于 2025-01-01 - 来自专栏哲学驱动设计
性能优化总结（三）：聚合SQL在GIX4中的应用
我推荐在项目上线的前期使用它们，因为这时候性能要求不高，而人力资源又比较紧张；而当性能要求较高时，再优化库，换为高效率的SQL实现查询。 使用场景 聚合SQL优化查询次数的模式，已经被我在多个项目中使用过。它一般被使用在对项目进行重构/优化的场景中。 这时，如果需要对它进行优化，我们就可以有的放矢地写出聚合SQL，并映射为带有关系的对象了。 小结 本节主要讲了GIX4中的聚合SQL的应用。 下一节开始讲在本次优化过程中，使用的另一个技术：预加载。主要说下我们的预加载需求及对应的API设计，可能会附带说下.NET4.0并行库在系统中的应用。 20110107 新的聚合SQL的API： OEA框架 - 优化聚合SQL
1.4K60发布于 2018-01-26 【Elasticsearch系列十一】聚合 DSL API
高效的搜索能力：Elasticsearch 提供了全文搜索功能，支持模糊查询、前缀查询、通配符查询等，并且具有强大的聚合分析功能。 快速的查询速度：Elasticsearch 的底层使用 Lucene 作为搜索引擎，并在此之上做了多重优化，保证了用户对数据查询的需求。 易用性：Elasticsearch 提供了简单的 RESTful API，天生的兼容多语言开发，上手容易，开箱即用。 基础设施监控：监控服务器、网络设备等基础设施的性能指标。安全分析：分析安全日志，进行入侵检测和威胁分析。地理位置数据分析：处理地理空间数据，提供地理位置搜索服务。 然而，Elasticsearch 也存在一些潜在风险，如响应时间问题和任务恢复延迟等，需要通过优化配置和维护来降低这些风险的影响。
67210编辑于 2024-09-18- 来自专栏C++ 动态新闻推送
现代CPU性能分析与优化-性能分析方法-使用标记器 API
自然地，您会希望跟踪优化进度并捕获其他性能数据，以帮助您一路前进。大多数性能分析工具都提供特定的 标记器 API，可以让您做到这一点。 这种混合方法结合了检测和性能事件计数的优点。标记器 API 允许我们将性能统计数据归因于代码区域（循环、函数）或功能片段（远程过程调用 (RPC)、输入事件等），而不是测量整个程序。 接下来，我们保存这些增量以供以后处理，例如，在这种情况下，我们通过计算平均值、90th百分位数和最大值对其进行了聚合（代码未显示）。 对于第二部分和第三部分（存储和聚合），建议仅收集、处理和保留您需要了解系统性能的数据量。您可以通过使用“在线”算法来计算平均值、方差、最小值、最大值和其他指标来避免将每个样本存储在内存中。 在连续运行中，您可以二分搜索执行最差的例程部分并进行优化。重复此过程，直到所有性能差的地方都被消除。如果尾延迟是主要关注的问题，那么在特别慢的运行中发出日志消息可以提供有用的见解。
71610编辑于 2024-08-19 - 来自专栏Rust
Polars Rust 第 8 课：Lazy API 进阶、性能优化
Lazy API 不仅仅是一种"延迟执行"的编程模式，它背后是一整套查询优化引擎——包括谓词下推（Predicate Pushdown）、投影下推（Projection Pushdown）、公共子表达式消除 今天，我们将深入 Lazy API 的进阶用法，掌握高级表达式技巧，学习性能优化的核心策略，最后通过一个完整的小项目把所有知识串联起来。准备好了吗？让我们开始吧！ ("{}", result); Ok(result) } 三、性能优化技巧 ⚡ 这一节是本课的精华所在！掌握这些优化技巧，能让你的 Polars 代码性能再上一个台阶。 Lazy API 的优化器在某些情况下会自动进行 rechunk。 3.2 with_columns 批量操作 vs 多次 with_column 这是最常见的性能陷阱之一！ 3.6 谓词下推和投影下推的原理 Lazy API 最大的价值在于查询优化，其中最核心的两个优化是： 谓词下推（Predicate Pushdown）： 将 filter 条件尽可能早地执行，减少后续操作需要处理的数据量
21810编辑于 2026-04-23 - 来自专栏前端到底怎么学好来
深入了解Performance API：优化网页性能的利器
本文将深入探讨Performance API的各个方面，帮助读者更好地理解和利用这一强大工具来优化网页性能。Performance API简介Performance API是什么？ 通过结合使用不同的API，开发者可以获取更全面和准确的性能数据，并进行更深入的分析和优化。4. 提升用户体验：通过使用Performance API来优化网页性能，可以提升用户的体验。 ，如压缩、缓存等 }});使用Performance API监控资源加载性能，找出加载时间较长的资源，并进行优化。 同时，通过监控用户交互性能，开发者可以了解用户与网页的交互体验，并进行相应的优化。这些实际应用场景和示例代码可以帮助开发者更好地利用Performance API来优化网页性能。 总结--通过深入了解Performance API，我们可以更好地理解和利用这一强大工具来优化网页性能。
1.4K30编辑于 2023-11-16 YashanDB数据库API设计与性能优化技巧
在现代企业应用中，数据库性能直接影响系统的响应速度和业务处理效率。针对大规模数据和高并发访问场景，如何设计高效的数据库API并优化查询性能成为关键课题。 YashanDB作为一款面向在线事务处理（OLTP）及联机分析处理（OLAP）的高性能数据库，其API设计和性能优化机制尤为重要。 本文将基于YashanDB的架构和核心技术，详细分析API设计思路及性能优化方法，助力开发人员和数据库管理员提升系统整体性能。 SQL执行性能优化技巧针对YashanDB数据库，合理利用API辅助的性能优化策略是提升整体应用响应速度的关键。 加强安全配置管理和网络访问控制，合理使用认证、授权和审计API，确保数据库安全稳定运行。结论与未来展望随着数据规模持续增长和业务复杂度提升，数据库系统的API设计与性能优化成为核心竞争力。
30610编辑于 2025-08-22- 来自专栏物流IT圈
SQLServer性能调优-分组聚合
优化器倾向于使用哈希聚合来对无序的大表进行聚合操作，哈希聚合的算法： 对于每一个输入行，在group by列上计算哈希值， 检查该行是否映射到hash表中，如果不存在于现有的哈希表，那么把该行插入到哈希表中 三，列存储索引 列存储索引适合于数据仓库中，主要执行大容量数据加载和只读查询，与传统面向行的存储方式相比，使用列存储索引存储可最多提高 10 倍查询性能 ，与使用非压缩数据大小相比，可提供多达 列存储索引使用用“批处理执行模式”的模式，这与行存储使用的逐行数据读取模式对比，性能大幅提升。 列存储索引主要在下面三个特性上提升查询的性能： 行存储使用逐行处理模式，每次只处理一行数据；而列存储索引使用批处理模式，每次处理一批数据行。 在大表上创建列存储索引，SQL Server 引擎将充分使用批处理模式（Batch processing mode）来执行星型查询，获取更高的查询性能。
1.8K30发布于 2019-07-16 - 来自专栏扎心了老铁
Elasticsearch JAVA api轻松搞定groupBy聚合
本文给出如何使用Elasticsearch的Java API做类似SQL的group by聚合。 后面调用add...函数簇添加聚合函数的时候，都是通过termsBuilder.subAggregation(builder)在分桶的基础上添加了子聚合。 ，然后作为termsBuilder的子聚合。 a）通过遍历subAggList存储的所有子聚合函数，获取所有的子聚合结果，并保存成两级TreeMap。 3、十种聚合函数 最后列出我们实现的十种聚合函数，你可以根据自己的需求继续添加。
3.3K70发布于 2018-03-05 - 来自专栏哲学驱动设计
优化OEA中的聚合SQL
相关内容，参见：《性能优化总结（二）：聚合SQL》、《性能优化总结（三）：聚合SQL在GIX4中的应用》。 由于没有使用其它的ORM框架，当时项目组决定做聚合SQL，主要是为了减少SQL查询的次数，来提升部分模块的性能。现在看来，当时虽然达到了这个目标，但是聚合SQL的API却不简单，使用极为不便。 所以，这次我们决定把聚合SQL的API使用再次进行封装，以达到使用起来更简便的效果。 这里主要看一下优化过后的代码： 最简单的聚合SQL生成： var sqlSimple = AggregateSQL.Instance.GenerateQuerySQL<PBS>( option => option.LoadChildren(pbs => pbs.PBSBQItems), pbsTypeId ); 这样，API内部会生成聚合SQL，并进行聚合对象的加载。
2.3K70发布于 2018-01-29
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号