智脉

人脑能够自组织地协同数百项认知功能，灵活适应复杂多变的环境。如何整合多尺度生物可塑性法则来构建具有生物合理性和计算高效性的神经网络模型是类脑人工智能和计算神经科学领域共同关注和面临的重要挑战。中国科学院自动化研究所类脑认知智能研究组历时9年，打造全脉冲神经网络的类脑认知智能引擎(Brain-inspired Cognitive Engine，简写为BrainCog，中文名“智脉”)，并进行全面开源开放，助力自然智能的计算本质探索和新一代人工智能的发展。关于BrainCog的更多信息可以关注主页 http://www.brain-cog.network/

目前，智脉已正式开源部署至OpenI启智社区，欢迎全球的研究人员共同努力、贡献智慧，打造面向未来的人工智能，探索智能的计算本质。如果在您的研究中使用了智脉，欢迎引用如下文章。

Yi Zeng, Dongcheng Zhao, Feifei Zhao, Guobin Shen, Yiting Dong, Enmeng Lu, Qian Zhang, Yinqian Sun, Qian Liang, Yuxuan Zhao, Zhuoya Zhao, Hongjian Fang, Yuwei Wang, Yang Li, Xin Liu, Chengcheng Du, Qingqun Kong, Zizhe Ruan, Weida Bi. BrainCog: A Spiking Neural Network based Brain-inspired Cognitive Intelligence Engine for Brain-inspired AI and Brain Simulation

智脉以多尺度生物可塑性原理为基础，支持全脉冲神经网络建模，具备脑启发的人工智能模型以及脑功能和结构模拟能力。智脉为类脑人工智能和计算神经科学的研究者提供了一套完整的、系统化的接口组件。 智脉涵盖了不同精细程度的神经元模型、多种脉冲编码方式、丰富的突触可塑性学习模型，以这些基本组件为基础，实现了不同脑区及神经环路，并在此基础上实现了不同类型的认知功能、对多个物种的生物脑进行了不同尺度的模拟。智脉分别从类脑人工智能计算模型（目前发布约20个算法模型及源代码）、脑结构和功能模拟（覆盖鼠脑、猴脑、人脑模拟）方面提供了相当数量的应用案例，这为研发基于脉冲神经网络的人工智能和计算神经科学研究提供了强有力的基础设施。

类脑人工智能

智脉目前提供的认知功能组件可分为5类：

• 感知和学习
• 决策
• 运动控制
• 知识表征和推理
• 社会认知

脑模拟

目前智脉包括两部分的脑模拟，分别为：

• 脑认知功能模拟
• 脑结构模拟

从解剖到成像的多尺度连接数据从多个方面支撑我们的模拟。

学习资源

视频

• [智脉说] 第23期 用BrainCog实现用于目标检测和语义分割的脉冲神经网络

• [智脉说] 第22期 BrainCog数据引擎之时空序列数据N-Omniglot及其应用

• [智脉说] 第21期 用BrainCog实现基于约束、剪枝和再生的脉冲神经网络动态结构发育

• [智脉说] 第20期 用BrainCog实现发育可塑性的脉冲神经网络自适应剪枝

• [智脉说] 第19期 用BrainCog实现多脑区协同类脑情感共情脉冲神经网络

• [智脉说] 第18期 用BrainCog实现前额叶功能柱模型在工作记忆任务中的应用

• [智脉说] 第17期 基于BrainCog的类脑心理揣测模型以及在帮助其他智能体避免安全风险任务中的应用

• [智脉说] 第16期 用BrainCog实现基于脉冲神经网络的类脑身体自我感知模型

• [智脉说] 第15期 用BrainCog实现基于脉冲神经网络的音乐记忆与创作模型

• [智脉说] 第14期 用BrainCog实现基于多感觉融合的概念学习框架

• [智脉说] 第13期 用BrainCog实现基于群体编码机制启发的符号表征与推理

• [智脉说] 第12期 用BrainCog实现基于脉冲时序依赖可塑性的无监督脉冲神经网络

• [智脉说] 第11期 用Braincog实现类脑脉冲神经网络高效时空调节训练

• [智脉说] 第10期 用Braincog实现多脑区协同的类脑自主决策脉冲神经网络

• [智脉说] 第9期 用BrainCog实现全局反馈连接脉冲神经网络

• [智脉说] 第8期 用BrainCog实现从人工神经网络到脉冲神经网络的转换

• [智脉说] 第7期 用BrainCog实现受量子叠加态启发的脉冲时空编码

• [智脉说] 第6期 用BrainCog实现深度强化学习脉冲神经网络

• [智脉说] 第5期 BrainCog系统功能进阶

• [智脉说] 第4期 构建脑区的认知脉冲神经网络模型

• [智脉说] 第3期 高效构建脉冲神经网络

• [智脉说] 第2期 脉冲神经元计算建模

• [智脉说] 第1期 BrainCog系统部署

  教程

• 智脉的部署

• 智脉的全面介绍

• 用智脉实现脉冲神经元建模

• 用智脉构建高效深度脉冲神经网络

• 用智脉构建认知脉冲网络

• 用智脉实现深度强化学习脉冲神经网络

• 用智脉实现受量子叠加态启发的脉冲序列时空编码

• 用智脉实现从人工神经网络到​脉冲神经网络的转换

• 用智脉实现全局反馈连接脉冲神经网络

• 用智脉实现多脑区协同的类脑自主决策脉冲神经网络

• 用智脉实现类脑脉冲神经网络高效时空调节训练

• 用智脉实现基于脉冲时序依赖可塑性的无监督脉冲神经网络

• 用智脉实现基于群体编码机制启发的符号表征与推理

• 用智脉实现基于脉冲神经网络的多感觉融合概念学习

• 用Braincog实现基于脉冲神经网络的音乐记忆与创作模型

• 用BrainCog实现基于脉冲神经网络的类脑身体自我感知模型

• 基于BrainCog的类脑心理揣测模型以及在帮助其他智能体避免安全风险任务中的应用

• 用BrainCog实现前额叶功能柱模型在工作记忆任务中的应用

• 用BrainCog实现多脑区协同类脑情感共情脉冲神经网络

• 用BrainCog实现发育可塑性的脉冲神经网络自适应剪枝

• 用BrainCog实现基于约束、剪枝和再生的脉冲神经网络动态结构发育

• BrainCog数据引擎之时空序列数据N-Omniglot及其应用

• 用BrainCog实现用于目标检测和语义分割的脉冲神经网络

智脉数据引擎

除了静态数据集之外，智脉还支持常用的神经形态数据集，如DVSGesture、DVSCIFAR10、NCALTECH101、ES-ImageNet。同时，我们自己设计的用于小样本学习的神经形态数据集N-Omniglot也被整合到智脉的数据接口中。

DVSGesture

该数据集包含了使用DVS128记录的29名被试在3种照明条件下的11种手势。

DVSCIFAR10

该数据集使用DVS将CIFAR10数据集中的10,000幅基于帧的图像转换为10,000个事件流。

NCALTECH101

该数据集使用ATIS，通过拍摄在显示器上呈现的Caltech101数据集获得，同时将”Faces“这一类从N-Caltech101中删除，只有100个类和一个背景。

ES-ImageNet

该数据集使用全向离散梯度（ODG）方法将ImageNet数据集中的1,300,000张基于帧的图像转换为事件流，共有1000类。

N-Omniglot

该数据集包括1623类手写字符，每类只有20个样本。该数据集是用DVS相机拍摄在显示器上播放的视频（由原始的Omniglot数据集生成），并由Robotic Process Automation软件自动收集获得。

数据集的接口开放在braincog/datasets文件夹中，以DVSCIFAR10为例

loader_train, loader_eval,_,_ = get_dvsc10_data(batch_size=128,step=10)

依赖包

• python == 3.8
• CUDA toolkit == 11.
• numpy >= 1.21.2
• scipy >= 1.8.0
• h5py >= 3.6.0
• torch >= 1.10
• torchvision >= 0.12.0
• torchaudio >= 0.11.0
• timm >= 0.5.4
• matplotlib >= 3.5.1
• einops >= 0.4.1
• thop >= 0.0.31
• pyyaml >= 6.0
• loris >= 0.5.3
• pandas >= 1.4.2
• tonic
• pandas >= 1.4.2
• xlrd == 1.2.0

安装

在线安装

1. 你可以通过运行以下命令来安装智脉

   pip install braincog

2. 你也可以基于启智平台下载:

   pip install git+https://openi.pcl.ac.cn/BrainCogLab/braincog.git

本地安装

1. 如果你是一个开发者，我们推荐你下载或者从启智平台上clone一份到本地安装。

   git clone https://openi.pcl.ac.cn/BrainCogLab/braincog.git

2. 进入braincog文件夹

   cd Brain-Cog

3. 本地安装braincog

   pip install -e .

样例

1. 静态图片分类样例

   cd ./examples/Perception_and_Learning/img_cls/bp 
   python main.py --model cifar_convnet --dataset cifar10 --node-type LIFNode --step 8 --device 0

2. 事件数据分类样例

cd ./examples/Perception_and_Learning/img_cls/bp 
python main.py --model dvs_convnet --node-type LIFNode --dataset dvsc10 --step 10 --batch-size 128 --act-fun QGateGrad --device 0 

其他BrainCog的功能和教程可以在以下网站找到 http://www.brain-cog.network/docs/

BrainCog小助手

BrainCog（添加微信号，会由小助手拉您进入BrainCog研发者群）