연결주의

연결주의(Connectionism)는 연결주의 네트워크 또는 인공 신경망으로 알려진 수학적 모델을 활용하여 인간의 정신 과정과 인지를 연구하는 접근법이다.[^19]

연결주의는 그 시작 이래 여러 차례의 "물결"을 거쳐 왔다. 첫 번째 물결은 1943년에 워런 스터지스 매컬러와 월터 피츠가 형식적이고 수학적인 접근법을 통해 신경 회로를 이해하는 데 집중하면서 나타났으며,[^1] 프랭크 로젠블랫은 코넬 항공 연구소에서 근무하던 중 1958년 논문 「퍼셉트론: 뇌에서의 정보 저장과 조직화를 위한 확률적 모델」을 Psychological Review에 발표하였다.[^2] 첫 번째 물결은 마빈 민스키와 시모어 페퍼트가 저술한, 초기 퍼셉트론 개념의 한계에 관한 1969년 저서 퍼셉트론즈로 인해 막을 내렸으며, 이 책은 미국의 주요 자금 지원 기관들이 연결주의 연구에 투자하는 것을 억제하는 데 기여하였다.[^3] 몇 가지 주목할 만한 예외를 제외하면, 대부분의 연결주의 연구는 1980년대 중반까지 침체기에 접어들었다. 연결주의 모델이라는 용어는 1982년 제롬 펠드먼과 대나 밸러드가 학술지 Cognitive Science에 발표한 논문에서 다시 도입되었다.

두 번째 물결은 1980년대 후반에 꽃을 피웠는데, 이는 1987년 제임스 L. 매클렐런드, 데이비드 E. 루멜하트 등이 저술한 병렬 분산 처리라는 책이 계기가 되었다. 이 책은 단순 퍼셉트론 개념에 대한 몇 가지 개선 사항을 소개하였는데, 입력 및 출력 유닛과 함께 중간 처리기(현재 "은닉층"으로 알려진)를 도입하고, 기존의 "전부 아니면 전무" 함수 대신 시그모이드 활성화 함수를 사용하였다. 이들의 연구는 시그모이드 활성화 함수의 수학적 특성을 연구한 핵심 인물인 존 홉필드의 업적을 기반으로 하였다.[^2] 1980년대 후반부터 1990년대 중반까지, 슈나이더,[^4] 테렌스 호건과 티엔슨이 연결주의가 심리학과 이른바 "전통적 인공지능"(GOFAI)에서의 근본적인 패러다임 전환을 나타내는지에 대한 문제를 제기하면서, 연결주의는 거의 혁명적인 분위기를 띠게 되었다.[^2] 두 번째 물결 연결주의 접근법의 장점으로는 광범위한 기능에 대한 적용 가능성, 생물학적 뉴런에 대한 구조적 근사성, 선천적 구조에 대한 낮은 요구 사항, 그리고 점진적 성능 저하 능력 등이 있었다.[^5] 단점으로는 인공 신경망이 정보를 처리하는 방식이나 정신적 표상의 구성성을 설명하기 어렵다는 점, 그리고 그로 인해 더 높은 수준의 현상을 설명하는 데 어려움이 있다는 점이 포함되었다.[^6]

현재의 (세 번째) 물결은 딥러닝의 발전으로 특징지어지며, 이를 통해 대규모 언어 모델의 생성이 가능해졌다.[^2] 지난 10년간 딥러닝 네트워크의 성공은 이 접근법의 인기를 크게 높였지만, 이러한 네트워크의 복잡성과 규모는 해석 가능성 문제의 증가를 수반하였다.[^7]

기본 원리

연결주의의 핵심 원리는 정신 현상이 단순하고 종종 균일한 단위들의 상호 연결된 네트워크로 설명될 수 있다는 것이다. 연결과 단위의 형태는 모델마다 다를 수 있다. 예를 들어, 네트워크의 단위는 뉴런을 나타낼 수 있고, 연결은 인간의 뇌에서처럼 시냅스를 나타낼 수 있다. 이 원리는 GOFAI 및 기호 연산에 기반한 고전적 마음 이론의 대안으로 여겨져 왔지만, 두 접근법이 얼마나 양립 가능한지는 그 시작 이래로 많은 논쟁의 주제가 되어 왔다.[^7]

활성화 함수

모든 네트워크의 내부 상태는 시간이 지남에 따라 변화하는데, 이는 순방향 네트워크의 경우 뉴런이 다음 층의 뉴런에 신호를 보내거나, 순환 네트워크의 경우 이전 층에 신호를 보내기 때문이다. 비선형 활성화 함수의 발견은 연결주의의 두 번째 물결을 가능하게 했다.

기억과 학습

신경망은 두 가지 기본 원리를 따른다:

1. 모든 정신 상태는 네트워크 내 신경 단위들에 대한 수치적 활성화 값의 n차원 벡터로 설명될 수 있다.
2. 기억과 학습은 신경 단위들 간의 연결 '가중치'를 수정함으로써 생성되며, 일반적으로 n×m 행렬로 표현된다. 가중치는 헵 학습과 같은 학습 규칙이나 알고리즘에 따라 조정된다.[^20]

모델 간 다양성의 대부분은 다음에서 비롯된다:

• 단위의 해석: 단위는 뉴런 또는 뉴런 집단으로 해석될 수 있다.
• 활성화의 정의: 활성화는 다양한 방식으로 정의될 수 있다. 예를 들어, 볼츠만 머신에서 활성화는 활동 전위 스파이크를 생성할 확률로 해석되며, 단위에 대한 입력의 합에 대한 로지스틱 함수를 통해 결정된다.
• 학습 알고리즘: 서로 다른 네트워크는 연결을 다르게 수정한다. 일반적으로 시간에 따른 연결 가중치의 수학적으로 정의된 모든 변화를 "학습 알고리즘"이라고 한다.

생물학적 사실성

연결주의 연구는 일반적으로 생물학적으로 사실적일 필요가 없다.[^21][^22][^8][^23][^9][^24][^25] 연결주의 모델이 생물학적으로 비현실적이라고 여겨지는 한 가지 영역은 학습을 지원하는 데 필요한 오류 역전파 네트워크에 관한 것이지만,[^26][^10] 오류 역전파는 N400 및 P600과 같은 사건 관련 전위에서 두피에서 관찰되는 생물학적으로 생성된 전기 활동의 일부를 설명할 수 있으며,[^27] 이는 연결주의 학습 절차의 핵심 가정 중 하나에 대한 생물학적 근거를 제공한다. 많은 순환 연결주의 모델은 또한 동역학 시스템 이론을 포함한다. 연결주의자 폴 스몰렌스키를 비롯한 많은 연구자들은 연결주의 모델이 완전히 연속적이고, 고차원적이며, 비선형적이고, 동적인 시스템 접근법을 향해 진화할 것이라고 주장해 왔다.

선구자

연결주의 원리의 선구자는 윌리엄 제임스의 연구와 같은 심리학의 초기 연구로 거슬러 올라갈 수 있다.[^28] 인간의 뇌에 대한 지식에 기반한 심리학 이론은 19세기 후반에 유행했다. 이미 1869년에 신경학자 존 휴글링스 잭슨은 다층적이고 분산된 시스템을 주장했다. 이러한 선도적 연구에 이어, 허버트 스펜서의 심리학의 원리 제3판(1872)과 지그문트 프로이트의 과학적 심리학을 위한 프로젝트(1895년 집필)는 연결주의적 또는 원시 연결주의적 이론을 제시했다. 이러한 이론들은 대체로 사변적이었다. 그러나 20세기 초에 에드워드 손다이크는 연결주의 유형의 네트워크를 가정하는 인간 학습에 관한 글을 쓰고 있었다.[^29]

홉필드 네트워크는 빌헬름 렌츠(1920)와 에른스트 이징(1925)에 의한 이징 모델에서 선구자를 가지고 있었지만, 그들이 구상한 이징 모델은 시간을 포함하지 않았다. 이징 모델의 몬테카를로 시뮬레이션은 1950년대 컴퓨터의 출현을 필요로 했다.[^11]

제1의 물결

제1의 물결은 1943년 워런 스터지스 매컬록과 월터 피츠가 신경 회로를 형식적이고 수학적인 접근법을 통해 이해하는 데 집중하면서 시작되었다. 매컬록과 피츠는 신경 시스템이 어떻게 1차 논리를 구현할 수 있는지를 보여주었다: 그들의 고전적 논문 「신경 활동에 내재하는 관념의 논리적 계산」(1943)은 이 발전에서 중요한 위치를 차지한다. 그들은 1930년대 니콜라스 라셰프스키의 연구와 수학 원리의 양식에 따른 기호 논리학의 영향을 받았다.[^1][^2]

헵은 신경 기능에 관한 추론에 크게 기여했으며, 헵 학습이라는 학습 원리를 제안했다. 래슐리는 수년간의 병변 실험에서 국소화된 엔그램과 유사한 것을 찾지 못한 결과로서 분산 표상을 주장했다. 프리드리히 하이에크는 이 모델을 독자적으로 구상했는데, 처음에는 1920년 짧은 미발표 원고로,[^30][^31] 이후 1952년에 책으로 확장하였다.[^32]

퍼셉트론 기계는 프랭크 로젠블랫이 제안하고 제작하였으며, 그는 코넬 항공 연구소에서 근무하는 동안 1958년 논문 「퍼셉트론: 뇌에서의 정보 저장 및 조직화를 위한 확률적 모델」을 심리학 리뷰에 발표했다. 그는 헵, 하이에크, 어틀리, 애시비를 주요 영향으로 인용했다.

연결주의 모델의 또 다른 형태는 1960년대에 언어학자 시드니 램이 개발한 관계 네트워크 프레임워크였다.

위드로가 이끄는 연구 그룹은 2층 ADALINE 네트워크(MADALINE)를 훈련하기 위한 방법을 경험적으로 탐색했으나, 성공은 제한적이었다.[^33][^34]

임의의 수준의 훈련 가능한 가중치를 가진 다층 퍼셉트론을 훈련하는 방법은 1965년 알렉세이 그리고레비치 이바흐넨코와 발렌틴 라파에 의해 발표되었으며, 데이터 처리 그룹 방법이라 불렸다. 이 방법은 회귀 분석에 기반한 점진적 층별 훈련을 사용하며, 은닉층의 불필요한 유닛은 검증 세트의 도움으로 가지치기된다.[^12][^13][^14]

확률적 경사 하강법으로 훈련된 최초의 다층 퍼셉트론은[^15] 1967년 아마리 슌이치에 의해 발표되었다.[^16] 아마리의 학생 사이토가 수행한 컴퓨터 실험에서, 두 개의 수정 가능한 층을 가진 5층 MLP는 비선형적으로 분리 가능한 패턴 클래스를 분류하기 위한 유용한 내부 표상을 학습했다.[^13]

1972년, 아마리 슌이치는 자기 조직화 네트워크의 초기 사례를 만들어냈다.[^35]

신경망의 겨울

신경망이 무엇에 유용한지에 대해 인공지능 연구자들 사이에 다소 갈등이 있었다. 1960년대 후반 무렵, 신경망에 대한 연구와 출판에 광범위한 침체기가 있었는데, 이른바 "신경망의 겨울"로 1970년대까지 지속되었으며, 이 기간 동안 인공지능 분야는 기호적 방법론으로 전환되었다. 퍼셉트론즈(1969)의 출판은 통상적으로 이 사건의 촉매제로 간주된다.[^36][^37]

제2의 물결

제2의 물결은 1980년대 초에 시작되었다. 주요 출판물로는 홉필드 네트워크를 대중화한 (존 홉필드, 1982)[^38], 역전파를 대중화한 1986년 논문[^39], 그리고 제임스 L. 맥클렐런드, 데이비드 E. 루멜하트 등이 저술한 병렬 분산 처리(PDP)에 관한 1987년 2권짜리 저서가 있다. 이 저서는 단순 퍼셉트론 개념에 입력 및 출력 유닛과 함께 중간 처리기(현재 "은닉층"으로 알려진)를 도입하고, 기존의 '전부 아니면 전무' 함수 대신 시그모이드 활성화 함수를 사용하는 등 여러 가지 개선점을 소개하였다.

홉필드는 통계역학의 관점에서 이 분야에 접근하여 수학적 엄밀성의 초기 형태를 제시함으로써 이 분야의 인지된 신뢰성을 높였다.[^2] 또 다른 중요한 일련의 출판물들은 신경망이 보편적 함수 근사기임을 증명하여 수학적 신뢰성을 더해 주었다.[^40]

이 시기에 몇 가지 초기 대중적 시연 프로젝트가 등장하였다. NETtalk(1987)는 영어 문자를 발음하는 법을 학습하였다. 이 프로젝트는 투데이 쇼에 출연하며 대중적 성공을 거두었다.[^17] TD-Gammon(1992)은 백개먼에서 최고 수준의 인간 실력에 도달하였다.[^41]

연결주의 대 계산주의 논쟁

1980년대 후반 연결주의가 점차 인기를 얻게 되자, 일부 연구자들(제리 포더, 스티븐 핑커 등)은 이에 반발하였다. 그들은 당시 발전하고 있던 연결주의가 계산주의의 고전적 접근법을 통해 인지과학과 심리학 분야에서 이루어지고 있다고 그들이 간주한 진전을 무너뜨릴 위험이 있다고 주장하였다. 계산주의는 정신 활동이 계산적이라고, 즉 마음이 튜링 기계처럼 기호에 대해 순수하게 형식적인 연산을 수행함으로써 작동한다고 주장하는 인지주의의 특정 형태이다. 일부 연구자들은 연결주의의 흐름이 연상주의로의 회귀와 사고 언어라는 개념의 포기를 나타내며, 이것이 잘못된 것이라고 주장하였다. 반면에, 바로 그러한 경향이 다른 연구자들에게는 연결주의를 매력적으로 만들었다.

연결주의와 계산주의가 반드시 대립할 필요는 없지만, 1980년대 후반과 1990년대 초반의 논쟁은 두 접근법 사이의 대립으로 이어졌다. 논쟁이 진행되는 동안 일부 연구자들은 연결주의와 계산주의가 완전히 양립 가능하다고 주장하였으나, 이 문제에 대한 완전한 합의에는 이르지 못하였다. 두 접근법 사이의 차이점은 다음과 같다:

• 계산주의자들은 기저의 뇌 구조와 구조적으로 유사한 상징적 모델을 상정하는 반면, 연결주의자들은 "저수준" 모델링에 참여하여 자신들의 모델이 신경학적 구조와 유사하도록 보장하려 한다.
• 계산주의자들은 일반적으로 명시적 기호(심적 모델)의 구조와 그 내부 조작을 위한 통사적 규칙에 초점을 맞추는 반면, 연결주의자들은 환경 자극으로부터의 학습과 이 정보를 뉴런 간 연결의 형태로 저장하는 것에 초점을 맞춘다.
• 계산주의자들은 내적 정신 활동이 명시적 기호의 조작으로 구성된다고 믿는 반면, 연결주의자들은 명시적 기호의 조작이 정신 활동의 좋지 못한 모델을 제공한다고 믿는다.
• 계산주의자들은 흔히 인지의 특정 영역(예: 언어, 지향성, 수)에서의 학습을 지원하도록 설계된 영역 특수적 상징 하위 체계를 상정하는 반면, 연결주의자들은 하나 또는 소수의 매우 일반적인 학습 메커니즘을 상정한다.

이러한 차이에도 불구하고, 일부 이론가들은 연결주의 구조가 단순히 유기적 뇌가 기호 조작 체계를 구현하는 방식일 뿐이라고 제안하였다. 이는 논리적으로 가능한데, 연결주의 모델이 계산주의 모델에서 사용되는 종류의 기호 조작 체계를 구현할 수 있다는 것이 잘 알려져 있으며,[^18] 인간의 기호 조작 과제 수행 능력을 설명하려면 실제로 그러할 수 있어야 하기 때문이다. 기호 조작적 구조와 연결주의적 구조를 모두 결합한 여러 인지 모델이 제안되었다. 그중에는 폴 스몰렌스키의 통합 연결주의/상징적 인지 구조(ICS)[^7][^42]와 론 선의 CLARION(인지 구조)이 있다. 그러나 이 논쟁은 이러한 기호 조작이 일반적으로 인지의 기초를 형성하는지 여부에 달려 있으므로, 이것이 계산주의의 잠재적 옹호가 되지는 않는다. 그럼에도 불구하고, 계산적 기술은 예를 들어 논리의 인지에 대한 유용한 고수준 기술이 될 수 있다.

이 논쟁은 주로 연결주의 네트워크가 이러한 종류의 추론에서 관찰되는 통사적 구조를 생성할 수 있는지에 대한 논리적 논증을 중심으로 이루어졌다. 이는 이후에 달성되었으나, 연결주의 모델에서 표준적으로 가정되는 것 이외의 빠른 변수 결합 능력을 사용하였다.[^18][^43]

계산적 기술의 매력 중 일부는 해석이 비교적 쉽다는 것이며, 따라서 특정 정신 과정에 대한 우리의 이해에 기여하는 것으로 볼 수 있다. 반면에 연결주의 모델은 일반적으로 더 불투명하여, 매우 일반적인 용어(학습 알고리즘, 유닛 수 등을 명시하는 것과 같은)로만 기술할 수 있거나, 도움이 되지 않을 정도로 저수준의 용어로만 기술할 수 있는 정도이다. 이러한 의미에서, 연결주의 모델은 모델링되고 있는 특정 과정에 대한 유용한 이론을 제시하지 않으면서도, 인지에 대한 광범위한 이론(즉, 연결주의)을 구현하고 이에 대한 증거를 제공할 수 있다. 이러한 의미에서, 이 논쟁은 어느 정도 특정 이론들이 구성되는 분석 수준의 단순한 차이를 반영하는 것으로 간주될 수 있다. 일부 연구자들은 이 분석의 격차가 연결주의 메커니즘이 계산적 용어로 기술할 수 있는 창발적 현상을 발생시킨 결과라고 제안한다.[^44]

2000년대에는 심리철학에서 역학 체계의 인기가 이 논쟁에 새로운 관점을 더하였으며,[^45][^46] 일부 저자들은 이제 연결주의와 계산주의 사이의 분리가 계산주의와 역학 체계 사이의 분리로 더 결정적으로 특징지어진다고 주장한다.

2014년, 알렉스 그레이브스와 딥마인드의 다른 연구자들은 테이프에서 기호를 읽고 기억에 기호를 저장할 수 있는 신경 튜링 기계[^47]라는 새로운 심층 신경망 구조를 설명하는 일련의 논문을 발표하였다. 딥마인드가 발표한 또 다른 심층 네트워크 모듈인 관계 네트워크는 객체와 유사한 표상을 생성하고 이를 조작하여 복잡한 질문에 답할 수 있다. 관계 네트워크와 신경 튜링 기계는 연결주의와 계산주의가 반드시 대립할 필요가 없다는 추가적인 증거이다.

상징주의 대 연결주의 논쟁

스몰렌스키의 하위상징 패러다임[^48][^49]은 현대 연결주의에서 설득력 있는 인지 이론을 위해 고전적 상징 이론이 제기한 포더-필리신 도전[^50][^51][^52][^53]에 대응해야 한다. 적절한 대안적 인지 이론이 되려면, 스몰렌스키의 하위상징 패러다임은 인지 과정이 정신 표상의 고전적 구성 구조에 인과적으로 민감하다는 가정 없이 언어 인지에서 체계성 또는 체계적 관계의 존재를 설명해야 한다. 따라서 하위상징 패러다임, 또는 일반적으로 연결주의는 고전적 인지 구조의 단순한 구현에 의존하지 않으면서 체계성과 합성성의 존재를 설명해야 한다. 이 도전은 하나의 딜레마를 내포한다: 하위상징 패러다임이 정신 표상의 체계성과 합성성에 아무런 기여를 할 수 없다면, 대안적 인지 이론의 기반으로는 불충분할 것이다. 그러나 하위상징 패러다임의 체계성에 대한 기여가 정신 표상의 고전적 구성 구조에 기반한 정신 과정을 필요로 한다면, 그것이 발전시키는 인지 이론은 기껏해야 상징 이론의 고전적 모델의 구현 구조에 불과할 것이며, 따라서 진정한 대안적(연결주의적) 인지 이론이 아닐 것이다.[^54] 상징주의의 고전적 모델은 (1) 정신 표상의 조합적 구문론과 의미론, 그리고 (2) 포더의 "사고의 언어(LOT)"[^55][^56]에서 사용되는 정신 표상의 구문적·의미적 구성 구조라는 근본 원리에 기반한 구조 민감적 과정으로서의 정신 작용으로 특징지어진다. 이를 통해 인간 인지의 밀접하게 관련된 다음 속성들, 즉 (1) 생산성, (2) 체계성, (3) 합성성, (4) 추론적 일관성을 설명할 수 있다.[^57]

이 도전은 현대 연결주의에서, 예를 들어 스몰렌스키의 "통합 연결주의/상징주의(ICS) 인지 구조"[^58][^59]뿐만 아니라 베르닝과 마예의 "진동 네트워크"[^60][^61][^62]에 의해서도 대응되었다. 이에 대한 개관은 예를 들어 Bechtel & Abrahamsen,[^63] Marcus,[^64] Maurer[^65]에 의해 제공된다.

최근 Heng Zhang과 그의 동료들은 주류 지식 표현 형식주의가 동등한 표현력을 갖추고 있을 경우 실제로 재귀적으로 동형임을 입증했다.[^66] 이 발견은 인공 일반 지능(AGI)의 실현을 위해 상징적 또는 연결주의적 지식 표현 형식주의를 사용하는 것 사이에 근본적인 차이가 없음을 시사한다. 더 나아가, 재귀적 동형의 존재는 서로 다른 기술적 접근법이 상호 간에 통찰을 이끌어낼 수 있음을 시사한다.

같이 보기

• 연합주의
• 인공지능
• 행동주의
• 파국적 간섭
• 관계의 미적분
• 사이버네틱스
• 딥러닝
• 제거적 유물론
• 특징 통합 이론
• 유전 알고리즘
• 조화 문법
• 기계 학습
• 판데모니움 구조
• 자기 조직화 지도

참고 문헌

• Feldman, Jerome and Ballard, Dana. Connectionist models and their properties(1982). Cognitive Science. V6, Issue 3, pp205–254.
• Rumelhart, D.E., J.L. McClelland and the PDP Research Group (1986). 병렬 분산 처리: 인지의 미세구조 탐구. 제1권: 기초, Cambridge, Massachusetts: MIT Press,
• McClelland, J.L., D.E. Rumelhart and the PDP Research Group (1986). 병렬 분산 처리: 인지의 미세구조 탐구. 제2권: 심리학적 및 생물학적 모델, Cambridge, Massachusetts: MIT Press,
• Pinker, Steven and Mehler, Jacques (1988). 연결과 기호, Cambridge MA: MIT Press,
• Jeffrey L. Elman, Elizabeth A. Bates, Mark H. Johnson, Annette Karmiloff-Smith, Domenico Parisi, Kim Plunkett (1996). 본유성의 재고: 발달에 대한 연결주의적 관점, Cambridge MA: MIT Press,
• Marcus, Gary F. (2001). 대수적 마음: 연결주의와 인지과학의 통합 (학습, 발달, 그리고 개념적 변화), Cambridge, Massachusetts: MIT Press,
• • Maurer, Harald (2021). 인지과학: 현대 연결주의의 인지 신경구조에서의 통합적 동기화 메커니즘, Boca Raton/FL: CRC Press, https://doi.org/10.1201/9781351043526,

외부 링크

• 연결주의에 대한 철학적 마음 사전 항목
• • 상호작용 활성화 및 경쟁 네트워크 시연
• • 연결주의 비판

---

참고 문헌

[^1]: McCulloch, Warren S.. 신경 활동에 내재된 관념의 논리적 계산. (1943-12-01)

[^2]: Berkeley, Istvan S. N.. 연결주의의 흥미로운 사례. (2019)

[^3]: Boden, Margaret. 기계로서의 마음: 인지과학의 역사. Oxford U.P

[^4]: Schneider, Walter. 연결주의: 심리학의 패러다임 전환인가?. (1987)

[^5]: Marcus, Gary F.. 대수적 마음: 연결주의와 인지과학의 통합 (학습, 발달, 그리고 개념적 변화). MIT Press

[^6]: Smolensky, Paul. 문법 기반 연결주의적 언어 접근법. (1999)

[^7]: Garson, James. 스탠퍼드 철학 백과사전. Metaphysics Research Lab, Stanford University. (27 November 2018)

[^8]: cite journal title=유기체에서 영감을 받은 로봇공학: 폐쇄 감각운동 루프를 넘어선 항상성 적응과 목적론 author=Di Paolo, E.A url=https://users.sussex.ac.uk/~ezequiel/dp-erasmu

[^9]: cite journal title=분석철학과 대륙철학, 과학, 그리고 세계 철학 author=Tieszen, R. url=https://scholarworks.sjsu.edu/cgi/viewcontent.cgi?referer=&httpsredir=1&article=1015&co

[^10]: Rumelhart, David E.. 오류 역전파를 통한 표현 학습. (October 1986)

[^11]: Brush, Stephen G.. 렌츠-이징 모델의 역사

[^12]: Ivakhnenko, A. G.. 사이버네틱스와 예측 기법. American Elsevier Pub. Co.

[^13]: Schmidhuber, Jürgen. 현대 AI와 딥러닝의 주석 달린 역사. (2022)

[^14]: Ivakhnenko, A. G.. 사이버네틱 예측 장치. CCM Information Corporation

[^15]: Robbins, H.. 확률적 근사 방법

[^16]: Amari, Shun'ichi. 적응형 패턴 분류기 이론. (1967)

[^17]: Sejnowski, Terrence J.. 딥러닝 혁명. The MIT Press. (2018)

[^18]: Chang, Franklin. 상징적으로 말하기: 문장 생성의 연결주의 모델. (2002)

[^19]: 인터넷 철학 백과사전

[^20]: Novo, María-Luisa. 아동 수학 교육을 위한 연결적 지능. (2017)

[^21]: 엔세팔로스 저널

[^22]: Wilson, Elizabeth A.. 신경 지리학: 페미니즘과 인지의 미세구조. Routledge. (2016-02-04)

[^23]: Zorzi, Marco. 심층 비지도 학습을 통한 언어 및 인지 모델링: 튜토리얼 개요. (2013-08-20)

[^24]: Browne, A.. 인지 및 적응형 로봇공학에 대한 신경망 관점. CRC Press. (1997-01-01)

[^25]: Pfeifer, R.. 연결주의의 전망. Elsevier. (1989-08-23)

[^26]: Crick, Francis. 신경망에 대한 최근의 흥분. (January 1989)

[^27]: Fitz, Hartmut. 언어 ERP는 예측 오류 전파를 통한 학습을 반영한다. (2019-06-01)

[^28]: Anderson, James A.. 신경컴퓨팅: 연구의 기초. A Bradford Book. (1989)

[^29]: [[Edward Thorndike]] (1931) [http://hdl.handle.net/2027/mdp.39015010306069 ''인간 학습''], 122쪽

[^30]: Hayek, Friedrich A. [1920] 1991. Beiträge zur Theorie der Entwicklung des Bewusstseins [의식 발달 이론에 대한 기여]. 원고, Grete Heinz 번역.

[^31]: Caldwell, Bruce. F.A. 하이에크의 감각 질서에 대한 몇 가지 고찰. (2004)

[^32]: Hayek, F. A.. 감각 질서: 이론 심리학의 기초에 대한 탐구. The University of Chicago Press. (2012-09-15)

[^33]: pp 124-129, Olazaran Rodriguez, Jose Miguel. ''[https://web.archive.org/web/20221111165150/https://era.ed.ac.uk/bitstream/handle/1842/20075/Olazaran-RodriguezJM_1991redux.pdf?sequence=1&isAllowed=y A

[^34]: Widrow, B. (1962) ''ADALINE "뉴런" 네트워크에서의 일반화와 정보 저장''. In M. C. Yovits, G. T. Jacobi, & G. D. Goldstein (Ed.), Self-Organizing Svstems-1962 (pp. 435-461). Washi

[^35]: Amari, S.-I.. 자기조직화 임계 요소 네트워크에 의한 학습 패턴 및 패턴 시퀀스. (November 1972)

[^36]: Olazaran, Mikel. 컴퓨터의 발전 제37권. Elsevier. (1993-01-01)

[^37]: Olazaran, Mikel. 퍼셉트론 논쟁의 공식 역사에 대한 사회학적 연구. (August 1996)

[^38]: Hopfield, J J. 창발적 집단 계산 능력을 가진 신경망과 물리적 시스템.. (April 1982)

[^39]: Rumelhart, David E.. 오류 역전파를 통한 표현 학습. (October 1986)

[^40]: Cybenko, G.. 시그모이드 함수의 중첩에 의한 근사. (1989-12-01)

[^41]: TD-개먼. Springer US. (2010)

[^42]: Smolensky, Paul. 텐서곱 변수 결합과 연결주의 시스템에서의 기호 구조 표현. (1990)

[^43]: Shastri, Lokendra. 단순 연합에서 체계적 추론까지: 시간적 동기화를 이용한 규칙, 변수, 동적 결합의 연결주의적 표현. (September 1993)

[^44]: Ellis, Nick C.. 창발주의, 연결주의와 언어 학습. (1998)

[^45]: Van Gelder, Tim. 인지과학에서의 역학적 가설

[^46]: Beer, Randall D.. 인지과학에 대한 역학적 접근. (March 2000)

[^47]: Graves, Alex. 신경 튜링 기계

[^48]: P. Smolensky: 연결주의의 적절한 취급에 대하여. In: Behavioral and Brain Sciences. Band 11, 1988, S. 1-74.

[^49]: P. Smolensky: 연결주의적 정신 상태의 구성 구조: Fodor와 Pylyshyn에 대한 답변. In: T. Horgan, J. Tienson (Hrsg.): Spindel Conference 1987: Connectionism and the Philosophy of M

[^50]: Fodor, Jerry A.. 연결주의와 인지 구조: 비판적 분석. (March 1988)

[^51]: J.A. Fodor, B. McLaughlin: 연결주의와 체계성의 문제: Smolensky의 해결책이 작동하지 않는 이유. Cognition. Band 35, 1990, S. 183-184.

[^52]: 영혼을 얻기 위한 연결주의/고전주의 전쟁

[^53]: B. McLaughlin: ICS 구조가 체계성과 생산성의 도전을 충족할 수 있는가? In: P. Calvo, J. Symons (Hrsg.): The Architecture of Cognition. Rethinking Fodor and Pylyshyn's Systematicity

[^54]: J.A. Fodor, B. McLaughlin: 연결주의와 체계성의 문제: Smolensky의 해결책이 작동하지 않는 이유. Cognition. Band 35, 1990, S. 183-184.

[^55]: J.A. Fodor: 사고의 언어. Harvester Press, Sussex, 1976, ISBN 0-85527-309-7.

[^56]: J.A. Fodor: LOT 2: 사고의 언어 재고. Clarendon Press, Oxford, 2008, ISBN 0-19-954877-3.

[^57]: J.A. Fodor, Z.W. Pylyshyn (1988), S. 33-48.

[^58]: P. Smolenky: 답변: 통합된 연결주의/기호주의 인지 구조에서의 구성 구조와 설명. In: C. MacDonald, G. MacDonald (Hrsg.): Connectionism: Debates on psychologi

[^59]: P. Smolensky, G. Legendre: 조화로운 마음: 신경 계산에서 최적성 이론 문법까지. Vol. 1: 인지 구조. A Bradford Book, The MIT Press, Cambridge, London, 2006a, ISBN 0-

[^60]: M. Werning: 신경 동기화, 공변량, 그리고 구성적 표현. In: M. Werning, E. Machery, G. Schurz (Hrsg.): The compositionality of meaning and content. Vol. II: Applications t

[^61]: M. Werning: 비기호적 구성적 표현과 그 신경적 기초: 모방적 의미론을 향하여. In: M. Werning, W. Hinzen, E. Machery (Hrsg.): The Oxford Handbook of Compositionalit

[^62]: A. Maye und M. Werning: 신경 동기화: 역학적 특징 결합에서 구성적 표현까지. Chaos and Complexity Letters, Band 2, S. 315-325.

[^63]: Bechtel, W., Abrahamsen, A.A. ''연결주의와 마음: 병렬 처리, 역학, 그리고 네트워크의 진화.'' 제2판. Blackwell Publishers, Oxford. 2002

[^64]: G.F. Marcus: 대수적 마음. 연결주의와 인지과학의 통합. Bradford Book, The MIT Press, Cambridge, 2001, ISBN 0-262-13379-2.

[^65]: H. Maurer: 인지과학: 현대 연결주의의 인지 신경구조에서의 통합적 동기화 메커니즘. CRC Press, Boca Raton/FL, 2021, ISBN 978-1-351-04352-6. https://doi.or

[^66]: Zhang, Heng. 지식 표현을 위한 형식 체계 이론. (2025-04-11)