1.参考文献 ¶
Hills, T. T., Todd, P. M., Lazer, D., Redish, A. D., & Couzin, L. D. (2015). Exploration versus exploitation in space, mind, and society. Trends in Cognitive Sciences, 19(1), 46-54. https://doi.org/10.1016/j.tics.2014.10.004
2.Exploration versus exploitation ¶
Search，即在不确定的情况下寻找目标，是生活中无处不在的需求。动物为了寻求食物、领地和伴侣。人类从事各种各样的search，从寻找丢失的钥匙到寻找经济机会，再到寻求存在的意义。此外还在广泛的空间中进行search，包括视觉场景、记忆、社交网络、信息数据库以及更抽象的环境。在这些领域中的search都涉及已知机会的exploitation或其他更好机会的exploration之间的权衡。此综述描述了Exploration-exploitation的权衡如何成为认知行为的基础，从其进化起源到跨模态认知控制的功能。认知系统如何加工这种权衡也具有广泛的影响，这种权衡的普遍性，意味着search是理解许多认知方面的通用框架。
从动物觅食到计算机科学，各领域使用不同的术语来描述Exploration-exploitation的权衡。术语的多样性反映了这种权衡是许多认知领域的常见问题。这种权衡的历史意义可以在认知的进化中找到。对比多巴胺和相关机制的神经生物学发现支持了许多动物觅食行为的共同机制。对反应选择（前额叶皮层和基底神经节）、探索和记忆（海马体）以及视觉注意（顶叶皮层）之间共有神经结构，结果导致了令人信服的结论，即在外部和内部环境中，相同的认知和神经加工是涉及认知检索（search）的大部分人类行为的基础。除个体之外，对Exploration-exploitation权衡的理解延伸到昆虫的集体行为和根据政治和社会身份组织的集体。在所有情况下，表现取决于在最佳方法和尝试创新之间取得最佳平衡。
3.空间觅食 ¶
个体必须在整体Exploration和局部exploitation之间取得适当的平衡才能生存——充分探索以寻找资源，充分开发以获取资源。这个最优问题在动物觅食中得到了很好的研究，许多物种专注于在一小块地区中寻找资源，直到资源的获取率低于某个阈值。那时，物种通常会离开去寻找新的地区。
人类的视觉检索至少涉及探索和开发的两种嵌套感觉。在典型的视觉检索任务中，观察者会在一系列干扰项中寻找目标。可以说观察者会开发每个场景，直到探索下一个场景。在减少刺激的条件下，观察者在场景探索和开发中接近最佳平衡。在视觉场景之间移动时会出现类似的效应。例如，放射科医生可能有许多图像要查看，必须平衡每个图像的局部探索时间与开发下一张射线照片的时间。移动到下一个图片的决定因素包括刺激的视觉特性、找到目标的概率、奖励结构、刺激中要扫描的对象数量以及错误历史记录。这些也是在其他领域中进行检索的常见因素。
探索和开发之间的平衡也是许多非空间人类行为的基础。对配偶的社会检索（婚姻和离婚）可以从本地检索（与检索者高度相似的人）进行到整体检索，随着年龄的增长调整配偶质量的阈值。人类在外部环境中检索信息——信息检索（网络或社交网络）——也会在局部和整体检索之间自适应地切换。在决策中，作为选择基础的线索通常从过去最有用的线索（局部开发）开始，然后直到找到足够多的线索来选择一个选项。这种模式也出现在问题解决中。 例如，从一组随机字母组成单词的字谜任务，人们使用过去的解决方案来确定在本地“patch”中停留多长时间。期望在发现资源的地方附近出现其他资源可能是一种广泛的认知偏差——解释了人类和非人类灵长类动物期望“streaky”结果的倾向，有时被称为hot-hand fallacy[26]。
检索可以是随机的、或以环境结构的信念为指导。前者通常称为无模型，由刺激-反应关系驱动，并将探索定义为选择任何未知结果的行为。信念引导检索，通常称为基于模型的检索，涉及对环境关系结构的认知表征。基于模型的决策可以通过将检索引导到提供更多信息的区域来提供何时何地进行检索的信息。基于模型检索的一个例子是探索蛋糕是否在经过足够长的时间后才能完成烘烤。在无模型的情况下，只是知道烘焙蛋糕需要进行检查。基于模型的检索可以通过认知表征来决定检索最有可能在何时何地获得回报，从而带来更大的长期回报；从这个角度来看，学习可以被认为是一个觅食过程。
内部和外部检索过程是否由共同的机制控制？最近的启动研究发现在空间觅食任务中的局部开发经验越多，导致被试在随后的字谜任务中更集中地产出单词。共同机制也得到了研究结果的支持，这些发现表明执行能力的测量（工作记忆跨度）与内部和外部的各个领域的检索有关，包括视觉检索。
4.认知检索的神经生物学 ¶
认知检索涉及在稳定的神经表征中保持对目标的追踪并根据需要进行表征的能力，从而为内部或外部世界的探索创造机会。这些能力使我们不仅可以检索现在，还可以检索过去和未来。神经科学的研究正在揭示核心神经架构，用于指导与检索目标相关的Exploration-exploitation权衡，及其稳定性和灵活性。
许多神经回路基于目标和动机及其实现的不确定性，来启动和控制检索。背外侧和内侧前额叶皮质存在Exploration-exploitation权衡及其必要的目标保持和更新[41,42]。这些区域与许多其他与注意力控制、动作评估和结果预测相关的大脑结构相互作用，包括前扣带回皮层、海马结构以及纹状体的背侧、腹侧、内侧、外侧。例如，在大鼠和人类的行为期间，前额叶区域与海马结构的相互作用更可预测，随着习惯的形成，纹状体的背侧和侧面会通过学习动作链，使这种相互作用减少。
尽管这些相互作用受众多神经基质的控制，但一个关键成分是多巴胺。众所周知，多巴胺可在对意外刺激做出反应时，促进注意力控制，并通过阶段性激活模式操纵目标保持和更新 。多巴胺如何调节大脑的稳定性和灵活性？多巴胺受体刺激会增加神经元发射的信噪比 。这会增加目标表征的稳健性，即使是在面对干扰物的情况下，从而保持相关目标和行动的稳定性。
除了多巴胺之外，目标表征的检索稳定性还可能涉及乙酰胆碱和去甲肾上腺素（去甲肾上腺素），它们调节与预期相关的不确定性的激活水平——也就是说，不确定性是否来自于与当前语境严重不一致的线索。去甲肾上腺素已被认为通过改变前额叶皮层神经元的活动来调节从探索到开发的转变，从而改变新目标表征竞争激活的阈值。当一项行动导致的回报低于预期时，大脑中的神经机制会降低探索替代方案的阈值。同样，血清素也可能有助于调节检索。
这些大脑区域和神经递质的作用会导致对目标导向的预测。相应的神经调节病变或功能障碍会导致检索行为出现问题。帕金森病、毒瘾、强迫症、精神分裂症、注意力缺陷障碍和抑郁症的许多症状可以解释为与检索相关的神经结构缺陷，并处于Exploration-exploitation权衡的极端状态。
5.社会物种的集体问题解决 ¶
社会系统也面临着exploration-exploitation的权衡，但以两种不同的方式调节这种权衡。一些社会生物，例如蜜蜂和蚂蚁，将Exploration和exploitation委托给不同的个体，这样个体内部就不必进行权衡。从Karl von Frisch开始，生物学家认识到社会性昆虫群落通常分为探索新食物的侦察员和开发食物资源的工人。侦察员的探索行为也受多巴胺的调节，但尚不清楚这与上述机制在多大程度上同源。个体也表现出转换角色的灵活性，如果没有足够的觅食地点供工人开发，则参与探索的侦查员比例会增加。
社会系统可以调节这种权衡的第二种方式是改变个人之间的潜在联系，从而改变个人在社会上相互影响的能力。对于单一环境的检索，人体实验和模拟发现，连接组的表现优于连接较差的组；然而，随着环境变得更加多样化，连接不好的通信网络会导致更长的探索周期和更好的长期解决方案。
在人类创新的文化系统中发现了exploration-exploitation权衡的社会认知方法——是一种混合角色：个人和个人之间的通信连接。联邦系统依赖各个州来探索新政策并利用其他州的经验。角色和连接也可以随着时间的推移而扩展，以适应不断变化的环境。在难以找到解决方案但仍有其他解决方案的环境中，模仿可以充当群体记忆的一种形式，并通过促进围绕过去找到的良好解决方案的检索来提高长期绩效。这与在鱼群中观察到的检索行为没有什么不同 。
6.结语和未来方向 ¶
这篇综述提供了一个框架，将认知设想为一个检索过程，其特征是exploration-exploitation权衡。将认知视为一个检索过程，突出了认知的许多组成部分的潜在特性和问题、共享的神经和认知机制以及同源或趋同的进化起源。此外，认知检索的某些组件似乎是跨模态通用的，可能有助于基于模型的内部检索对各种认知表征进行必要的目标保持。
社会群体参与检索，充当分布式认知系统，在某种程度上，他们共同开发了环境的认知表征，他们显然面临着同样的exploration-exploitation权衡，可以通过改变个体的探索偏好或改变个体之间的交流结构等方式来解决这个问题。个体层面的认知系统利用类似的机制。例如，个人可以在探索和开发之间交替，而大脑可以通过强直性放电的变化来调节连通性，从而在探索和开发之间交替。考虑个人和群体层面之间的联系，引发了关于exploration-exploitation权衡的社会适应在多大程度上建立在认知能力上的问题。
认知检索视角还要求我们考虑不同类型检索空间（内部和外部）的认知表征如何与不同的检索机制相互作用。某些认知表征是否遵循与物理2D或3D空间相同的规则，或者这些表征能否增加问题的维度[83]？这种增加的维度是否需要新的检索策略？
对认知检索的更完整理解需要研究控制检索的机制以及它们如何与各种内部和外部环境相互作用。我们还需要开发方法来研究检索过程中的认知表征变化。例如，与年龄相关的记忆认知衰退是检索加工问题还是记忆表征变化的结果，这可能反映退化还是进步，或两者兼而有之？
检索还用于理解分子、遗传和神经基础相关的认知问题。如上所述，个体和群体检索的适应不良状态都是因为过度检索或过度开发。了解这些极端状态是如何随着年龄、病理学、遗传学、环境和社会结构对认知科学的广泛领域构成了重大挑战——对于这些挑战，共有的概念框架提供了交流我们的想法和问题的基础。