首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • CANN 技术全景图:构建自主可控的 AI 全底座

    CANN 技术全景图:构建自主可控的 AI 全底座 在“算力自主”成为国家战略的今天,一个完整的 AI 软件必须回答三个问题: 能否高效利用国产芯片?(硬件亲和) 能否支撑前沿算法演进? 行业方案” 的全体系。 相关资源链接 cann组织链接:cann组织 ops-nn仓库链接:ops-nn仓库 一、CANN架构五层模型 每一层都承担关键职责,共同构成“训推一体、云边协同”的 AI 底座。 三、CANN 的差异化优势 维度 通用 GPU 方案 CANN 方案 全可控 驱动/编译器闭源 从芯片到应用全自研 能效比 高性能但高功耗 同性能下功耗低 30~50% 边缘部署 依赖 Jetson 愿景:打造一个开放、高效、安全的国产 AI 基础软件根生态。 结语:全之力,方成自主之基 CANN 的意义,远不止于“一个推理引擎”。

    37210编辑于 2026-02-09
  • CANN:华为全AI计算框架的深度解析(终极扩展版 · 完整篇)

    CANN:华为全AI计算框架的深度解析(终极扩展版 · 完整篇) 文章大纲图 CANN:华为全AI计算框架的深度解析 ├── 引言 │ ├── CANN概述 │ ├── 发展历程与版本演进 概述 **Compute Architecture for Neural Networks **(CANN) 是华为面向昇腾(Ascend)AI处理器打造的全异构计算架构,旨在为开发者提供从底层驱动到上层应用的一站式 CANN通过统一的软件抽象层,屏蔽了底层硬件差异,同时开放了丰富的原子级接口(如190+ Runtime API),使开发者既能享受“开箱即用”的便捷性,也能深入底层进行极致性能调优。 在昇腾生态中的战略定位 CANN位于昇腾AI全架构的中间层,向上支撑MindSpore、PyTorch、TensorFlow等主流框架,向下对接Ascend 310/910/910B等AI芯片。 核心特性与架构 软件架构详解(五层模型) CANN采用五层分层架构,实现高内聚、低耦合的设计: 应用层(Application Layer) 提供Python/C++ SDK,支持主流AI框架。

    1.4K10编辑于 2025-12-23
  • CANN:迈向 AI 原生计算的新范式

    本文将探讨 CANN 如何通过全垂直整合,重新定义 AI 计算的效率边界。 软件割裂 框架 → 编译器 → 驱动 → 硬件之间缺乏协同,优化止于局部。 CANN 的设计哲学直面这些问题:从晶体管到 Python API,每一层都为神经网络量身定制。 如高密度矩阵引擎) 多级片上缓存(支持张量分块加载) 硬件级稀疏加速(跳过零值计算) 内置量化单元(INT4/INT8 直接计算) 举例:一个 16×16 的 INT8 矩阵乘可在单周期完成,无需软件模拟 在这个 AI 原生时代,谁掌握了“从硅到算法”的全能力,谁就握住了智能世界的底层密钥。 而 CANN,正在这条路上坚定前行。 相关资源链接 cann组织链接:cann组织 ops-nn仓库链接:ops-nn仓库

    26010编辑于 2026-02-09
  • 教育与科研的新基座:使用 CANN 构建高效费比的深度学习实验平台

    环境分裂与不一致端云协同的统一架构,CANN软件在所有昇腾硬件上保持一致。模型和代码在边缘端和云端之间可以“零修改”迁移,保证了实验的可复现性。黑盒化教学开放的算子开发与图优化能力,工具链透明。 四、课程设计:从入门到精通的CANN实验阶梯基于此平台,我们可以设计一套循序渐进的、覆盖AI全的课程实验。 ,CUDA+GPU)CANN实验平台方案硬件成本较高,生均算力有限高性价比,可通过边缘+中心组合降低生均成本环境一致性较差,依赖驱动、CUDA版本,迁移困难极佳,端云统一CANN软件,零修改迁移教学深度偏黑盒 端云一致的软件架构,保证了实验的稳定性和可复现性。开放透明的底层能力,为学生从“使用者”成长为“创造者”提供了可能。清晰的社区贡献路径,将教学与真实的开源世界紧密相连。 它不仅是一个让学生跑通实验的平台,更是一个启发他们去探索、去优化、去创造、去贡献的AI全孵化器。通过CANN,高校可以培养出真正理解硬件、懂得系统优化的新一代AI人才,点燃未来人工智能创新的星星之火

    36721编辑于 2026-01-20
  • CANN 编译器深度解析(一):从 ONNX 到 CANN IR 的图优化全流程

    CANN 编译器深度解析(一):从 ONNX 到 CANN IR 的图优化全流程 相关资源链接 cann组织链接:cann组织 ops-nn仓库链接:ops-nn仓库 当你运行: atc --model =resnet50.onnx --output=resnet50_cann 几秒后,一个高性能 .om 文件诞生。 相关资源链接 cann组织链接:cann组织 ops-nn仓库链接:ops-nn仓库

    23710编辑于 2026-02-09
  • 来自专栏云数据库技术

    ChatGPT软件技术解密

    100%准确知道架构大图,本文尝试从以下几个方面:互联网公开信息(twitter、linkedIn等)OpenAI 最新招聘岗位要求OpenAI 几次故障报告Github 代码绘制了 ChatGPT 的主要软件技术大图 4、应用与服务编程语言作为以 AI 为基础的科技公司,OpenAI 选择 Python 为核心语言,不管是 AI 岗位还是平台软件工程师岗位,都是需要精通 Python 语言。 应用部署与监控运维容器服务:Kubernetes监控与运维:Prometheues(招聘运维开发工程师提到需要懂PromQL)日志服务: Splunk编程语言: Golang、Python7、参考文档ChatGPT软件工程师岗位描述

    9.5K11编辑于 2023-03-28
  • 来自专栏决策智能与机器学习

    分布式AI训练软件&硬件技术详解

    分布式TensorFlow 神经网络训练基准测试参考 驱动、内核软件、训练框架和集群通信软件准备 网络、服务器和容器平台配置 通过NCCL和Horovod集群通信框架,分布式运行集群训练任务 https

    1.4K40发布于 2020-08-04
  • 来自专栏强大的AI网站推荐

    CANN 构建端云一致的 AI 加速:创新应用设想与实践

    CANN 构建端云一致的 AI 加速:创新应用设想与实践引言华为 CANN 面向人工智能场景打造端云一致的异构计算架构,以极致性能优化为核心,为 AI 基础设施提供关键软件支撑。 CANN 作为昇腾 AI 生态的软件基座,通过统一的运行时(Runtime)、算子库、编译器(毕昇编译器)与工具链(MindStudio),有效弥合了边缘与云端在硬件性能、资源约束与业务目标上的鸿沟。 此外,CANN 对 Triton 等第三方编程框架的兼容性,以及开源社区的持续建设,进一步增强了其生态开放性。 综上所述,CANN 不仅是一套技术,更是一种“软硬协同、端云融合”的 AI 基础设施新范式。它让开发者能够聚焦业务逻辑,而非底层适配;让 AI 系统在多样化的硬件环境中实现高效、稳定、可扩展的部署。 随着 ATB、SiP 等领域加速库的陆续开放,CANN 将在大模型推理、科学计算等更广阔领域发挥关键作用,助力 AI 软件生态的自主创新与全球竞争力提升。

    35810编辑于 2025-11-20
  • 深入理解 CANN:为 AI 量身打造的异构计算架构

    cann组织链接:https://atomgit.com/cann ops-nn仓库链接:https://atomgit.com/cann/ops-nn 什么是 CANNCANN 是一套专为神经网络计算设计的软硬件协同架构。它不是一个单一的库或工具,而是一个完整的全解决方案,覆盖从底层驱动、运行时调度、算子优化到上层开发接口的整个链条。 架构分层:从硬件到开发者的桥梁 CANN 采用清晰的分层设计: 硬件抽象层(HAL) 运行时系统(Runtime) 高性能算子库 图编译与优化引擎 开发与调试工具链 这种“全打通”的设计,使得开发者既能快速上手 CANN 可自动将它们融合为一个复合算子。 它通过软硬协同、全优化,让复杂的 AI 模型真正落地于真实场景。 更重要的是——你不需要成为硬件专家。只要掌握基本的模型导出与部署流程,就能享受它带来的性能红利。

    36810编辑于 2026-02-09
  • 来自专栏前端社区

    Mac全开发-版本控制软件

    Git Mac 自带的 Git 版本相对比较旧,执行下面命令安装最新版本的 Git: brew install git 由于brew安装的软件软路径在/usr/local/bin下面,而系统自带的软件在 /usr/bin下面,为了执行时让brew安装的软件覆盖系统自带的软件,需要在.bash_profile/.zshrc的PATH添加下面变量: PATH的格式为:PATH=$PATH:PATH 1:PATH

    84430发布于 2019-03-21
  • 为什么所有NPU开发者都绕不开 CANN?一文讲透

    第1章为什么关心CANN?1.1CANN是什么? 1.2CANN为什么值得关注?为什么最近你读这篇文章,甚至对CANN感兴趣,非常有价值? 二是硬件≠性能≠效率,软件优化决定“真正跑得快、跑得稳、跑得省”。一个高端NPU如果没有合适的软件支持/编译、图优化、调度、融合机制,很可能“跑不满”。 理解它最直观的方法,是从它的整体技术结构入手。 这就是CANN性能的第一来源。

    1.1K100编辑于 2025-12-11
  • 来自专栏繁依Fanyi 的专栏

    OrangePi 安装 CANN 套件及体验 AI 应用

    CANN 环境安装(桌面端跳过) CANN 环境存在于下载页面的官方工具中,点击下载即可进入下载页面。 CANN 安装包就在倒数第二项,下载后传到开发板上。 给 CANN 安装包赋予运行权限并运行即可。 chmod +x Ascend-cann-toolkit_7.0.0_linux-aarch64.run . /Ascend-cann-toolkit_7.0.0_linux-aarch64.run 注意 OpenGauss 与 Ubuntu 桌面端的系统都是已经安装过 CANN 的,只有 minimal 是需要安装的 通过这些 Demo,您可以体验到 CANN 平台在 AI 应用中的强大功能。希望宝子们能通过这些示例快速上手并应用于实际项目中。

    57810编辑于 2024-06-06
  • CANN 实战:构建高并发智能视频分析系统

    相关资源链接 cann组织链接:cann组织 ops-nn仓库链接:ops-nn仓库 一、系统架构概览 [RTSP 视频流] ↓ [FFmpeg 解码] → [帧队列] ↓ [CANN 预处理引擎] → [归一化 + Resize + HWC→CHW] ↓ [CANN 推理引擎] → [YOLOv8 + OSNet + ST-GCN] ↓ [ 二、关键挑战与 CANN 应对策略 挑战 CANN 解决方案 多路解码 CPU 占用高 使用硬件编解码器(VDEC),释放 CPU 预处理成为瓶颈 CANN 提供 DVPP(Device Vision ("yolov8", "yolov8_cann.om") pipe.add_model("osnet", "osnet_cann.om") pipe.add_model("stgcn", "stgcn_cann.om 相关资源链接 cann组织链接:cann组织 ops-nn仓库链接:ops-nn仓库

    28410编辑于 2026-02-09
  • 来自专栏大模型系列

    国产化:DeepSeek V4与国产AI基础设施深度集成——中国AI产业的历史性突围

    国产AI芯片即便在纸面性能上有所突破,也因缺乏成熟的软件和开发者生态而难以被主流模型采纳,陷入了“无用武之地”的恶性循环。转机出现在2026年4月24日。 更进一步,有确凿信息表明,DeepSeek团队在模型发布前,强制要求生态伙伴优先适配国产CANN软件,并拒绝了英伟达和AMD的提前优化请求。这一举动,彻底颠覆了行业惯例。 3.2CANN软件:打通软硬协同的任督二脉硬件的强大离不开软件的赋能。 CANN向上兼容主流开发框架,向下深度适配昇腾NPU的达芬奇架构,实现了“一次开发,多端部署”。在DeepSeekV4的适配过程中,CANN发挥了关键作用。 通过对V4模型特性的深度理解,CANN团队对底层算子进行了定制化优化,例如针对其MoE架构和稀疏注意力机制,重构了数据流和计算调度逻辑。

    40420编辑于 2026-05-15
  • 来自专栏前端社区

    Mac全开发-Shell以及终端软件

    开发在Mac下面会经常使用终端,在OS X El Capitan‎之前,恐怕系统默认的Terminal+bash+screen是无法跟iTerms+zsh+tmux进行匹敌。 普通Mac用户大可不必安装这三个软件,但是作为 开发者 ,装上这三个软件会让你爱不释手。 iTerm2 iTerm2是一款优秀的终端软件,可用来代替系统自带的Terminal。 file(/etc/shells) /usr/local/bin/zsh # change default shell chsh -s /usr/local/bin/zsh tmux - 优秀的终端复用软件 如果你上面的问题都没想过,那么你可以跳过这个软件了,等你哪一天有需要的时候再回来看看。 如果你跟我一样想过上面的其中某个问题,那么tmux强烈建议你安装。

    1.8K20发布于 2019-03-21
  • 来自专栏与技术

    软件必备模块-全工程师

    软件必备模块-全工程师 这篇文章又叫一即是全,全即是一。 初心 有时候想想为什么写程序?写程序的初心是什么?这个代码写时间长了有时候就忘记了。为生计?为房贷?都不是。我想做自己喜欢的东西。 现在总说全工程师。有人说,全 = 全干 = 啥都会 = 啥都不会。其实我觉得这么说也有偏见,全工程师应该着眼于一个人能够设计开发维护一个能盈利的产品。 合作的成本 我们从战争中能学到什么? 行业发展特性 有些行业不可能成为全,你可以同时会开飞机,坦克,潜水艇但是你不可能一个人上战场,但是软件工程师有这种可能,开源软件迅猛发展,你可以一个用开源软件组织一场战斗。 你不可能一个人开一个钢铁厂,因为他真的需要很多人,但是你可以自己在软件的世界里运行一个自动化工厂。 牺牲与平衡,费效比 我需要的是一个完整的产品,可以放弃对一些细节和美观的要求。 管理机器与运维多台机器的能力 虚拟机基于proxmox管理多台服务器的能力 ansible自动部署 整体以Docker+git+Jenkins为开发流程 项目管理 wiki bugziral git 项目管理软件

    74830发布于 2018-05-23
  • 来自专栏JAVA乐园

    当代软件开发技术 & Linux Cron

    软件技术 在当今世界,构建软件意味着跨多个层工作,每个层都有自己的角色、工具和技术。

    31310编辑于 2025-09-02
  • CANN全面开源开放:把创新的主动权交给开发者

    封闭生态近乎无解的两个“焦虑”,CANN却拿出了合理的方案。针对“黑盒”,CANN的开源开放不是简单的“秀代码”,而是将算子库、通信库、编程语言、运行时等全量开源。 在实战演练上,通过CANN训练营、昇腾AI算子挑战赛等活动以赛代练,比如CANN训练营已经开展了12季。 打一个比方:CANN构建了一套颗粒度极细的“全积木系统”,让开发者不再是被动的“使用者”,而是拥有不同构建权限的“架构师”。 CANN的全面开源开放,不只是“另一种实现路径”,也在悄然改变计算产业默认的运行规则。在新一轮的AI浪潮中,竞争的焦点早已不是单纯的算力或算法,而是围绕软件、开发者与生态的博弈。 就这一点而言,CANN正在和千行万业双向奔赴。

    39311编辑于 2025-12-25
  • CANN 部署大语言模型(LLM)实战指南:让百亿参数“跑”在国产硬件上

    CANN 部署大语言模型(LLM)实战指南:让百亿参数“跑”在国产硬件上 大语言模型(Large Language Models, LLMs)正以前所未有的速度改变人机交互方式。 通用 GPU 方案成本高、功耗大;而基于 CANN(Compute Architecture for Neural Networks)的异构计算平台,凭借其全优化能力,已成为部署 LLM 的新兴选择 相关资源链接 cann组织链接:cann组织 ops-nn仓库链接:ops-nn仓库 一、为什么 LLM 部署如此困难? 动态 batch 支持 通过 CANN 的 多 stream + 请求队列,可实现多个用户请求合并处理,提升吞吐。 3. 借助 CANN 的全优化能力,我们完全可以在国产化硬件上实现低成本、低功耗、高可用的 LLM 服务。 相关资源链接 cann组织链接:cann组织 ops-nn仓库链接:ops-nn仓库

    31510编辑于 2026-02-09
  • CANN 实战:自然语言处理(NLP)全链路加速指南

    相关资源链接 cann组织链接:cann组织 ops-nn仓库链接:ops-nn仓库 一、典型 NLP Pipeline 与瓶颈分析 标准 NLP 推理流程: [原始文本] ↓ [分词(Tokenizer CANN 针对每一环节提供优化。 二、CANN 的 NLP 专属优化技术 1. 四、性能对比:CANN vs 通用方案 模型 平台 延迟(ms) 吞吐(QPS) 显存(MB) XLM-RoBERTa CANN (FP16) 98 215 1,020 XLM-RoBERTa TensorRT CANN 通过 硬件感知的分词、Embedding 优化、Attention 融合、动态 KV 管理,构建了一套面向文本的全加速方案。 相关资源链接 cann组织链接:cann组织 ops-nn仓库链接:ops-nn仓库

    17110编辑于 2026-02-09
领券