心象*，在认知科学中意指在没有直接感官刺激下的感官信息的表征**。在日语心象風景しんしょうふうけい***也基本是在说这个意思，所以在本系列笔记中我将直接照搬这个日语词汇。

Nanay 氏在 SEP: mental imagery 中提到心象風景しんしょうふうけい先前不被行为主义当作一个主题，但在认知科学中则是个生机勃勃的研究领域，使用的方法包括

1. 现象学，即研究它们如何在内省中出现。这不是最可靠的方法，但是可以用来作为证据帮助支持其他

2. 行为主义测试。比如依据心象風景しんしょうふうけい出现与否的自述报告，测量受试在特定任务的反应时间。

3. 神经科学。比如在视觉刺激下进行核磁共振成像(MRI)。

一般说来，心象風景しんしょうふうけい被定义做

在没有直接感官刺激下却仍然产生的视觉信息的表征****。

展开来说，这个定义表示了

• 心象風景しんしょうふうけい携带感觉信息，而非不直接联系到感觉通道的其他种类的表征。

  • 关于后者，一些人会用来谈论从感觉系统中抽象而出的下游「非感觉模式（amodal）概念」。

• 心象風景しんしょうふうけい可能缺少直接刺激，比如当主体沉浸在想象中时。

* = mental imagery

** Pearson, Kosslyn. The heterogeneity of mental representation. PNAS (2015).

*** 心象風景（しんしょうふうけい）とは、現実ではなく心の中に思い描いたり、浮かんだり、刻み込まれている風景。現実にはありえない風景であることもある。（Wikipedia 百科事典）

**** Pearson, Kosslyn. The heterogeneity of mental representation. PNAS (2015).

对比语言类似物或者命题符号的表征和图像的表征是有用的。

1. 感觉。

   • 图像是特定于感觉模式的。比如视觉图像，还有听觉*、嗅觉、触觉、动觉。

   • 符号表征可以是非感觉模式的，就像在通用领域处理器中一样。比如作为符号的句子「猫躺在垫子上」不联系到特定领域感觉模式比如视觉。它可能是被听到的一个故事所 触发 的。**

2. 表征。

   • 象似性（iconicity）：图像的每个部分都表征场景的一个部分，整个图像表征整个场景。

   • 符号表征不需要象似性，也就是说句子的部分并不表征场景或者事物的部分，即便整个句子正在表征整个场景或者事物。比如汉字「在」并不能像「猫」一样单靠自己就表征猫躺在垫子上这个场景的部分。

3. 多重表征，或整体论。

   • 图像的每个部分同时表征多个性质，对不同的性质没有分别的载体。比如表征舌头的粉色跟表征舌头的触感和相对位置，在图像上是相同部分。

   • 符号表征智能典型对应到特定性质，对不同性质有分别的载体。比如汉字「粉色」不表征触感，触感需要用「粗糙」「光滑」。

* Reisberg, D. Auditory Imagery (1992).

** Barsalou. Representation and Knowledge in Long-Term Memory (2008). In: Smith, Kosslyn, eds. Cognitive Psychology: Mind & Brain. pp 164-65.

Lockes、Berkeley、Hume 诸氏的经验主义认为一切知识都从感官经验而来。经验主义者认为是感官经验导致了视觉、听觉等的图像。所以表征由图像形成。

Plato、Descartes、Lebniz 诸氏的理性主义则认为有一些知识不从感官经验而来。理性主义者认为知识比感官经验的范围更广泛。所以表征并不局限于由图像形成。比如 Descartes 提到有千面图形的概念，但是这个概念他自己并没法形成图像。

当代科学的立场

• 符号描述论（symbolic descriptionalism）：如果图像存在，那它们可以还原到以类似于语言的格式的描述。所有处理根本上都是符号处理，就像经典计算机。

• 画面论（pictorialism）：图像不能还原到类似于语言的格式的描述。有对图像的、联系到恰当的感觉模式的唯一的处理机制。

画面论只是简单拒绝了图像的所有方面都可以还原到符号的立场，所以它可以接受缝合立场，比如双重编码。在 Kosslyn 氏*看来，视觉缓冲区是一个功能上类似于空间数组（比如像素）的子系统，在之后信息才会送到长期记忆进行符号编码。

* Kosslyn. Image and Brain (1994). 又见 Kosslyn. Case for Mental Imagery (2006).

科学家们通过实证证据来比较这两种立场。

<% img %>

研究者让受试暴露在几何图形的视觉刺激下，然后询问受试两个图形是否相同*。结果显示反应时间和旋转的角度之间有对应关系：1-4s 反应时间 <-> 0-180° 旋转。画面论和双重编码论解释道

1. 图像的结构相关于出场物体的空间几何性质；

2. 图像的处理特定于感觉模式，且调用了视觉系统。

这个实验揭示了符号描述论是错误的。否则，在符号描述论看来，这些视觉图像的性质应该被符号编码，且被以相同的路径检索。但这不能解释反应时间的对应关系，除非强行解释成这涉及某种特设(ad hoc)的装配过程。

支持双重编码论的证据还有选择性交互效应（selective interference effects）**。如果一个实验要做两个言语任务或者两个视觉空间任务（也就是说调用了相同的系统），受试们的表现会显著更差。研究者们于是假设心理表征有不同的格式，且不利用相同的资源。一个经典实验由 Brooks, L.R. ***报告：受试们被给予一个句子

a bird in the hand is not in the bush

并要求给每个词按是不是名词分类。受试可以使用三种方式

1. 按词出现的顺序说 yes/no

2. 是名词拍左手，否则拍右手

3. 指向写有 Y/N 的板子

结果显示，使用言语方式(1.)的受试需要花费更多时间。选择性交互效应可能只是显示了言语和视觉任务具有分别的处理模块，即便它们有相同的内部编码。这引出了画面论立场更精细的区分

• 弱立场：两个模块，但内部都是相同编码

• 强立场：两个模块，不同编码

* Shepard, Metzler. Mental rotation of three dimensional object. Science 171 (1971). 又见 Cooper. Mental rotation of random two-dimensional shapes. Cognitive Psychology 7 (1975).

** Thomas. SEP: Dual Coding and Common Coding Theories of Memory.

*** Brooks. Spatial and Verbal Components of the Act of Recall. Canadian Journal of Psychology (1968),

一些实验似乎显示了受试行为并不被感觉刺激或者由其生成的图像所控制，而是由背景信息和问题物体的理论。Pylyshyn 氏*让受试想象将画在地板上的一幅图移动到

受试使用更长的时间来心理扫描

Thomas 氏讨论了这些主要实验效应证明了

默契知识(tacit-knowledge)假设主张收拾们使用了外部物体的性质，而不是图像自己的性质，比如使用了真是外部物理对象的距离而非内部图像的距离。

* Pylyshyn. Imagery Debate: Analog Media Versus Tacit Knowledge. In: Block, ed. Imagery (1981).

** Richman, Mirchell, Reznick. Mental Travel: Some Reservations. J. Experimental Psychology: Human Perception and Performance 5 (1979).

*** Thomas. SEP: The Quasi-Pictorial Theory of Images.

**** Thomas. SEP: Beyond Picture and Propositions.