种豆资源网

当前位置:首页 > 经验 / 正文

卷积层

(2021-03-29 15:18:49) 经验

卷积层

卷积神经网路中每层卷积层(Convolutional layer)由若干卷积单元组成,每个卷积单元的参数都是通过反向传播算法最佳化得到的。卷积运算的目的是提取输入的不同特徵,第一层卷积层可能只能提取一些低级的特徵如边缘、线条和角等层级,更多层的网路能从低级特徵中叠代提取更複杂的特徵。

基本介绍

  • 中文名:卷积层
  • 外文名:Convolutional layer
  • 领域:人工智慧

卷积神经网路

卷积神经网路(Convolutional Neural Network,CNN)是一种前馈神经网路,它的人工神经元可以回响一部分覆盖範围内的周围单元,对于大型图像处理有出色表现。
卷积神经网路由一个或多个卷积层和顶端的全连通层(对应经典的神经网路)组成,同时也包括关联权重和池化层(pooling layer)。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比,卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路,卷积神经网路需要考量的参数更少,使之成为一种颇具吸引力的深度学习结构。

卷积神经网路结构

卷积层

卷积层(Convolutional layer),卷积神经网路中每层卷积层由若干卷积单元组成,每个卷积单元的参数都是通过反向传播算法最佳化得到的。卷积运算的目的是提取输入的不同特徵,第一层卷积层可能只能提取一些低级的特徵如边缘、线条和角等层级,更多层的网路能从低级特徵中叠代提取更複杂的特徵。

线性整流层

线性整流层(Rectified Linear Units layer, ReLU layer)使用线性整流(Rectified Linear Units, ReLU)
作为这一层神经的激励函式(Activation function)。它可以增强判定函式和整个神经网路的非线性特性,而本身并不会改变卷积层。
事实上,其他的一些函式也可以用于增强网路的非线性特性,如双曲正切函式
,或者Sigmoid函式
。相比其它函式来说,ReLU函式更受青睐,这是因为它可以将神经网路的训练速度提升数倍,而并不会对模型的泛化準确度造成显着影响。

池化层(Pooling Layer)

池化(Pooling)是卷积神经网路中另一个重要的概念,它实际上是一种形式的降採样。有多种不同形式的非线性池化函式,而其中“最大池化(Max pooling)”是最为常见的。它是将输入的图像划分为若干个矩形区域,对每个子区域输出最大值。直觉上,这种机制能够有效地原因在于,在发现一个特徵之后,它的精确位置远不及它和其他特徵的相对位置的关係重要。池化层会不断地减小数据的空间大小,因此参数的数量和计算量也会下降,这在一定程度上也控制了过拟合。通常来说,CNN的卷积层之间都会周期性地插入池化层。
池化层通常会分别作用于每个输入的特徵并减小其大小。目前最常用形式的池化层是每隔2个元素从图像划分出
的区块,然后对每个区块中的4个数取最大值。这将会减少75%的数据量。
除了最大池化之外,池化层也可以使用其他池化函式,例如“平均池化”甚至“L2-範数池化”等。过去,平均池化的使用曾经较为广泛,但是最近由于最大池化在实践中的表现更好,平均池化已经不太常用。
由于池化层过快地减少了数据的大小,目前文献中的趋势是使用较小的池化滤镜,甚至不再使用池化层。

损失函式层

损失函式层(loss layer)用于决定训练过程如何来“惩罚”网路的预测结果和真实结果之间的差异,它通常是网路的最后一层。各种不同的损失函式适用于不同类型的任务。例如,Softmax交叉熵损失函式常常被用于在K个类别中选出一个,而Sigmoid交叉熵损失函式常常用于多个独立的二分类问题。欧几里德损失函式常常用于结果取值範围为任意实数的问题。

卷积神经网路的套用

影像辨识

卷积神经网路通常在图像分析(image analysis)和图像处理(image processing)领域中使用。关係密切,两者有一定程度的交叉,但是又有所不同。图像处理侧重于信号处理方面的研究,比如图像对比度的调节、图像编码、去噪以及各种滤波的研究。但是图像分析更侧重点在于研究图像的内容,包括但不局限于使用图像处理的各种技术,它更倾向于对图像内容的分析、解释、和识别。因而,图像分析和计算机科学领域中的模式识别、计算机视觉关係更密切一些。
图像分析一般利用数学模型并结合图像处理的技术来分析底层特徵和上层结构,从而提取具有一定智慧型性的信息。
图像分析研究的领域一般包括:
  • 基于内容的图像检索(CBIR-Content Based Image Retrieval)
  • 人脸识别(face recognition)
  • 表情识别(emotion recognition)
  • 光学字元识别(OCR-Optical Character Recognition)
  • 手写体识别(handwriting recognition)
  • 医学图像分析(biomedical image analysis)
  • 视频对象提取(video object extraction)

自然语言处理

卷积神经网路也常被用于自然语言处理。 CNN的模型被证明可以有效的处理各种自然语言处理的问题,如语义分析、搜寻结果提取、句子建模、分类、预测、和其他传统的NLP任务等。
自然语言处理(英语:natural language processing,缩写作NLP)是人工智慧和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。
自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为电脑程式更易于处理的形式。
自然语言处理研究的领域一般包括:
  • 文本朗读(Text to speech)/语音合成(Speech synthesis)
  • 语音识别(Speech recognition)
  • 中文自动分词(Chinese word segmentation)
  • 词性标注(Part-of-speech tagging)
  • 句法分析(Parsing)
  • 自然语言生成(Natural language generation)
  • 文本分类(Text categorization)
  • 信息检索(Information retrieval)
  • 信息抽取(Information extraction)
  • 文字校对(Text-proofing)
  • 问答系统(Question answering)
给一句人类语言的问句,决定其答案。 典型问题有特定答案 (像是加拿大的首都叫什幺?),但也考虑些开放式问句(像是人生的意义是是什幺?)
  • 机器翻译(Machine translation)
将某种人类语言自动翻译至另一种语言
  • 自动摘要(Automatic summarization)
产生一段文字的大意,通常用于提供已知领域的文章摘要,例如产生报纸上某篇文章之摘要
  • 文字蕴涵(Textual entailment)

药物发现

卷积神经网路已在药物发现中使用。卷积神经网路被用来预测的分子与蛋白质之间的相互作用,以此来寻找靶向位点,寻找出更可能安全和有效的潜在治疗方法。

围棋

参见:AlphaGo李世乭五番棋
卷积神经网路在计算机围棋领域也被使用。2016年3月,AlphaGo对战李世乭的比赛,展示了深度学习在围棋领域的重大突破。

可用包

  • Caffe: Caffe包含了CNN使用最广泛的库。它由伯克利视觉和学习中心(BVLC)研发,拥有比一般实现更好的结构和更快的速度。同时支持CPU和GPU计算,底层由C++实现,并封装了Python和MATLAB的接口。
  • Torch7(www.torch.ch)
  • OverFeat
  • Cuda-convnet
  • MatConvnet
  • Theano:用Python实现的神经网路包
  • TensorFlow
  • Paddlepaddle
搜索
热门图片
最近更新
随机推荐

Powered By 种豆资源网||