1. 先前的延迟环动态连接策略是基于说话人识别任务做的，是稀疏度优化的特例，不能表明该策略的普适性，需要补充一些标准公开数据集的实验及数据分析；
2. 稀疏连接对分布式系统的重要性（待开展）；

标准实验及数据分析

先分析稀疏度相关文章的行文结构，罗列出优点，再设计实验

参照文献

文献名	实验	特点
Nonlinear System Modeling with Random Matrices: Echo State Networks Revisited	用表格形式记录了实验条件和MSE(±标准差)	研究的就是稀疏矩阵，摘要明确说明稀疏形式和元素初始化； 将随机矩阵的一些理论应用于ESN随机矩阵初始化； 对ESN拥有回声状态属性的充分必要条件进行讨论；
Efficient and effective training of sparse recurrent neural networks	稀疏度与剪枝率在语音模型与文本分类任务上的影响	跨层控制稀疏度(非RNN)； 在训练过程中调整稀疏度； 分小节讲了剪枝过程； 表格上说明是否稀疏、初始化、参数数量；

补充实验

传统网络的稀疏算法

RNN稀疏算法

一些Chat GPT

• RNN的剪枝稀疏算法

  剪枝算法是一种常用的稀疏算法，可以通过将循环神经网络中的一些连接（即权重）剪掉，从而实现网络的稀疏化。RNN中的剪枝算法可以分为全局剪枝和局部剪枝两类。

  1. 全局剪枝：全局剪枝是指在整个网络中剪枝，即剪掉所有权重的一部分，以达到整体稀疏的目的。这种方法的优点是可以显著减少网络的计算量和存储空间，缺点是可能会损失一些重要的连接信息，影响网络的性能。全局剪枝的方法通常是先训练一个完整的循环神经网络，然后对其进行权重的剪枝和修剪，最终得到一个稀疏的网络。

  2. 局部剪枝：局部剪枝是指在网络的某些部分进行剪枝，即只剪掉一些权重，以达到局部稀疏的目的。这种方法的优点是可以减少网络中的冗余连接，保留一些重要的连接信息，缺点是需要设计一些合适的剪枝规则。局部剪枝的方法通常是基于网络的结构和特性，设计一些合适的剪枝规则，根据规则对网络中的连接进行剪枝。

  无论是全局剪枝还是局部剪枝，都需要进行剪枝后的网络重训练，以调整网络参数，保持网络性能的稳定。

• 语言模型任务

  语言模型任务是自然语言处理中的一个经典任务，其目标是给定一段文本，预测下一个可能的单词或字符序列。通常情况下，语言模型会被用于自动化生成语言文本、机器翻译、语音识别和对话系统等任务。

  在语言模型任务中，我们通常使用一个训练集来训练模型，使其能够学习到输入序列与下一个单词或字符序列之间的概率分布。具体来说，我们会将训练集中的文本按照一定的规则进行拆分，例如将句子拆分成一系列单词或字符序列，并且对每个序列生成一个对应的标签，表示其下一个可能出现的单词或字符序列。

  通过学习训练集中的序列与标签之间的概率分布，我们可以得到一个训练好的语言模型，可以用来预测给定文本中下一个可能的单词或字符序列。具体来说，我们可以将给定文本分割成若干个序列，然后利用训练好的模型预测每个序列的下一个单词或字符序列，从而生成一个完整的文本。在生成过程中，我们可以根据生成的单词或字符序列进行相应的调整，以生成更加符合上下文语义的文本。