과제-09 기말과제 최종본 013-13 윤현철

제목: AI가 만들어내는 결과물은 인간이 받아들이고 이해하지 못하는 경우 과학의 지식으로서 인정되기 어렵다.

서론

과거의 과학자들은 이론이나 가설을 제시하고, 그것을 입증하기 위해서 실험을 통해 검증을 하며 과학적 지식을 발전시켜왔다. 그러나, 최근에는 머신러닝과 AI가 자연속에 존재하는 패턴들을 찾아 인간들(과학자들)보다 더 빠르고 정확하게 자연에 존재하는 법칙들을 귀납적인 과정을 통해서 찾아내고 있다. 즉, 이러한 기계학습 및 딥러닝에 관한 기술들은 과학에 대한 발견과 과학의 발견에 따른 해석, 과학적 지식에 대한 생각을 다시 해보게 하고 있는 상황이다. 실제로 과학자들의 연구에 따르면 동역학적 실험의 데이터를 AI가 분석하여 세상에 존재하지 않는 새로운 물리법칙을 유도할 수 있다고 한다.1 즉, 현재 사회는 인공지능이 과학적인 이론조차 유도를 해버리는 시대가 된것이다. 위와 같은 변화들은 과학에 대한 탐구로서 효율적인 측면을 증가시킨다는 점에서 긍정적인 평가를 해볼 수 있지만, 이런 창발적인 생각에 대해서 비판적인 시각에서의 검토 역시 함께 필요성이 제기되고 있는 상황이다. 그렇다면 과연 AI가 만들어내는 결과는 과학적인 지식으로 이해 및 인정할 수 있을까?

과학적인 지식이 무엇인지, 위 개념은 어떤 조건들을 통해서 성립되는지에 대해서 이해가 우선시 된다. 과학적인 지식은 과학철학의 기본 개념 및 논리에 의거하여 4가지 조건이 만족될 경우 존재의 여부가 성립된다. 첫째, 설명 가능성이 존재해야 한다. 둘째, 이해의 가능성 (intelligibility). 셋째, 검증의 가능성 여부, 넷째, 과학계의 합리적인 수용의 가능성. 이 네가지 조건이 만족하게 될 경우 과학적인 지식으로 주어진 지식의 내용을 인정하게 된다.2 즉, 다시 말해 단순하게 어떤 자연 현상 속에서 성립하는 숫자의 나열을 통한 예측은 과학의 목적을 만족시키지 않으며 얻게되는 예측의 결과를 인간이 해석하고 의미를 부여할 수 있어야한다. 단순한 예측이 아닌 의미의 해석이라는 점이 중요하다.

추가적으로 단순한 사실(fact)를 기반으로 쌓기만 한 축적된 정보는 과학적 지식이라고 할 수 없으며 과학계가 수용하는 이론적인 어떤 구조의 형태나 원리, 과학자들이 공유하는 설명의 틀등 여러가지 과학계의 중요한 요소들이 혼합되어 조화롭게 사용되어야지 성립될 수 있다는 점이 중요한 사실이다. 즉, 지식의 정의는 단순하게 다른 사람이 알려주는 데이터의 형태가 아니라, 과학자나 연구인들이 이해하고, 해석하고 변형하여 확장해 이용할 수 있는 어떠한 ‘의미 network’의 일부 형태라고 할 수 있다. 의미의 네트워크의 형태로서 이해가 가능한 것이다. 실제로 설명적 지식이나 구조의 실재론, 양상적 지식과 같은 철학적인 논점 혹은 관점들은 과학적 지식 뿐만 아니라 어떠한 형태의 지식이라도 이를 입력에 따른 출력의 결과물로 받아들이지 않는다. 따라서 인공지능이 자연에 존재하는 방대한 데이터들을 분석하여 새로운 인간이 범접할 수 없는 어떤 패턴 혹은 규칙 수열을 발견하더라도, 예측의 가능성에 대한 확장을 하더라도 인간의 이해와 해석이 함께 이루어지지 않는다면 인공지능이 얻어낸 이 패턴은 결국 functional predictor인 성능이 좋은 예측장치가 될 뿐이다.

논의하고자 하는 논제는 다음과 같다.

논제 : 인공지능이 만들어내는 결과는 인간이 해석할 수 없는 경우 과학적 지식으로 인정하기에는 어렵다. 나는 이 논제를 (1) 과학적인 지식의 성립 요건에 대한 분석, (2) 인공지능을 통해 얻어낸 결과물의 구조적인 한계점들, (3) 반론의 검토와 재반박과 같은 순서로 논증하고자 한다.

본론

(1) 과학적인 지식은 설명과 이해가 가능해야 인정될 수 있다.

단순한 숫자의 나열, 혹은 반복으로 인한 패턴은 과학적인 지식과는 다르다. 과학자들의 과학적 지식에 의하면 인간이 봤을때 의미가 있는 구조여야하며, ‘설명의 가능성’이 존재해야 한다.2 이는 비과학적인 단순 패턴형 데이터와 설명과 이해가 가능한 데이터를 구분하는 방법이다.

예를 들면, F = ma의 뉴턴 법칙을 생각해봤을 때, 이는 자연에 존재하는 데이터의 패턴을 정확히 표현하기도 하지만, F, m, a가 변화함에 따라 일어나는 물리현상들을 정성적인 이유, 즉 개념적인 답안 역시 존재하게 된다. 하지만, 인공지능을 통해 구한 패턴 데이터가 자연현상의 예측값을 정확히 도출한다고 해서 규칙과 개념적 해석을 인간이 하지 못한다면 단순하게 계산적인 값들 일 뿐이고, 지식의 지위를 갖지 못한다고 할 수 있다.

더 나아가, 카를-헴펠의 ‘설명-예측 가능성’의 이야기에 의하면, ‘설명의 가능성’은 과학에 있어서 핵심이 되는 기준이 된다. 다시말해 ‘과학적’ 이론이라는 것은 단순하게 미래에 대한 예측을 성공시키는 것 뿐만 아니라 구조적이나 원리적인 발생 원인에 대해서 특정 현상을 해석할 수 있어야 한다는 것이다. 인공지능은 숫자와 자연어를 기반으로 모델을 설계하지만, 이 모델이 기계적이나 인과적인 설명에 대한 해석을 하지 못한다면 위에서 언급한 과학의 ‘설명’이라는 요소를 만족시키지 못한다고 할 수 있는 것이다. 자연에 존재하는 어떤 자연 현상의 이면에 존재하는 구조적인 요소들을 제시하는 능력을 갖추지 못한 예측은 결국 ‘이해’라는 과학이 바라보는 요소에 부합하기에는 어려운 것이다.

하지만, 위의 논문은 과학적인 지식의 절대적 측면에서의 조건을 설명과 이해가 아닌, 현대의 사회 속에서 보편적으로 요구되는 규범적인 기준이 된다고 이해를 한다. 따라서 위와 같이 인간의 해석과 이해가 없다면 과학지식은 정의가 될 수 없다. 이해와 설명의 가능성이 결여되며 단순한 패턴으로 환원되는 지식은 과학적인 정보, 지식으로서의 기능을 할 수 없기에, 이해와 설명의 가능성은 과학적 지식의 필수적 요건이다.

(2) 인공지능을 통해 산출한 결과물의 블랙박스적인 구조는 이해의 가능성을 제한한다.

머신러닝, 딥러닝을 통한 인공지능의 알고리즘이나 탐색과정은 세상에 존재하는 다차원, 대규모의 데이터들에서 인류는 찾을 수 없는 규칙을 찾아낸다. 그러나, 머신러닝과 딥러닝 모델이 위의 예시와 같이 데이터 탐색을 상당히 잘하지만, 이러한 높은 성능을 보임에도 딥러닝 내부의 구조는 인간이 이해할 수 없는 어떠한 ‘블랙박스’의 형태로 주어진다고 주장한다. 3

위에서 언급했던 과학자들의 연구에서도 인공지능이 동역학적 물리법칙을 찾아냈지만, 찾는 과정은 인간에게 알려주지 않은 상태로 결과만 알려준점을 생각해볼 수 있다.1

현재 존재하는 , 그리고 상용화 되어 많은 사람들에게 알려진 머신 러닝 모델 같은 경우에는 parameter(변수와 비슷한 말)가 수십억개가 되어있고 실제로 상호작용을 하며, 각 단위, 혹은 층에 따라서 측정되는 feature, 특징은 인간이라는 개념군과 맞지 않는다. 다시말해, model의 중간에 존재하는 어떠한 표현들이 물리적인 개념이나 과학적인 측량값중 어떤 것과 대응하는지에 대한 분석이 불가능한 상황이다. 인공지능과 머신 러닝 모델을 통해 딥러닝을 수행해도 예측에 대한 결과가 아닌 예측에 대한 과정에 대한 추론이 상당히 어렵고 복잡해지기 때문에 과학자들이 이를 해석하는 것, 혹은 해석하기 위한 어떠한 토대를 없애버린다고 할 수 있는 것이다.

예를 들면, 인공지능이 딥러닝을 통해 자연에서 발생하는 현상들을 예측할 수 있는 999차 다항식이나 기존 수학체계에 존재하지 않는 벡터 공간에 대한 패턴을 찾아냈다고 해볼 때, 인류와 과학자들은 왜 그 패턴이 생겨나는지, 어떤 수학적이나 과학적인 개념들을 통해서 유도한건지 인간은 해석과 이해를 할 수 없다. 즉, 인공지능 모델은 ‘인간이 설명, 혹은 해석할 수 없는 형태의 공식’을 제공하기 때문에 이 정보 뭉탱이를 과학적인 지식으로 인정하고 사용하기에는 어렵다는 점이 존재한다.

따라서, 자연의 미래 상태를 예측하는 도구의 형태로서는 작용할 수 있지만 과학적인 지식으로 보는 것은 타당하지 않다. 최종적으로 인공지능이 자연속에서 발견하는 패턴은 지식이 아닌, 어떠한 후보군이며 인간의 이해와 해석과정을 통해 지식이 되는 것이다.

(3) 예측을 성공한다고 해서 과학적 지식이 반드시 성립하는 것은 아니다.

‘예측은 과학의 본질적인 요소이며 인간이 이해를 하지 못한다고 해도 그것은 과학적 지식이라고 할 수 있다.’ 라는 형태의 예상 반론이 가능하다. 하지만, 이 주장은 과학이라는 학문은 핵심적인 목표를 한개의 단편적인 기준으로서 요약하여 사용한다는 오류를 갖게 된다.

지금까지 다양한 과학 철학자들은 설명이라는 개념과 예측이라는 개념에 대해서 두 가지의 다른 점과 구분점들을 정확하게 잡아왔고, 예측이라는 개념만 사용한다면 ‘지식’이라는 개념 자체가 확정될 수 없다는 논점을 지난 수세기에 걸쳐 반복적으로 주장해왔다. 과거에는 실제로 베이컨이라는 과학 철학자가 주장한 경험주의에 대해서, 이러한 경험 주의가 자연 현상에서 패턴이라는 것의 발견에 대한 중요성을 강조했지만, 현대의 과학자들은 단순하게 어떠한 ‘귀납적인 사고’를 통한 발전이 아닌, ‘이론적인 사고’를 바탕으로 둔 토대에서 발전을 해왔다. F = ma와 같은 뉴턴의 역학 이론, -dB/dt = curl E와 같은 맥스웰 방정식, -hbar^2/2mpi^2 + Upi = E*pi의 슈뢰딩거 방정식등은 모두 단순하게 예측의 성공만이 아닌, 과학적인 이론을 바탕으로한 ‘설명력’이 존재하며 자연에 존재하는 다양한 현상들에 대한 1가지의 통일된 구조적 형태로 묶어버릴 수 있는 어떤 이론적 관점에서의 일관론적인 성격을 갖췄기 때문이라고 할 수 있다.

‘예측’은 과학의 중요한 부분으로서 작용되지만, ‘지식’의 측면에서는 완벽하지 않다. 예를 들어, 우주선을 발사할 때, 999번의 발사가 성공적이였다고 해서 100번때의 발사를 발사가 성공할 것이라는 예측을 바탕으로 진행할 수는 없는 것이다. 즉, 귀납적인 과학적 성공 확률이 높아진다고 해서 원리를 바탕으로 하는 근거가 없다면 판단의 기준으로서 작동할 수는 없다.

여기서 중요한 요소는 인공지능이 모든 상황에 대한 예측을 모두 성공한다고 했을 때, 그 결과가 인간에게 해석되지 않는 형태라면, 여전히 지식으로서 인정되기에는 힘들다는 것이다. 기술적 한계의 문제점에 정해지는 것이 아닌, 지식의 개념적인 측면에 대한 문제가 되는 것이다.

따라서 인공지능과 머신 러닝의 기술이 매우 뛰어나 자연 현상에 대한 예측력이 대단히 뛰어나다고 해도, 주어진 예측에 대한 배후, 즉 원리와 구조적 관점을 해석할 수 없다면 단순한 ‘블랙박스와 같은 예측기’에 해당하는 도구에 준하게 된다. 과학의 최종적인 목적이나 목표가 자연이 설계 되어있는 방식이나 구조를 해석하고 이해하는 것이라면 예측만 하는 것은 충분하지 않다고 할 수 있다.

인공 지능을 통한 모델이 자연에 존재하는 현상에 대한 예측을 완벽하게 한다고 해도 그 예측에 대응하는 근거가 없다면 그것 역시 과학적 ‘지식’의 형태로는 받아들이기 어려운 것이다. 이는 ‘설명력’의 결핍성을 의미하고 학계의 합리적인 수용조건 부분을 만족하지 못한다. 즉, 예측에 대한 능력만으로 인공지능을 통해 도출한 결과가 과학적인 지식의 직위를 얻어내는 것은 불가능하다.

뿐만 아니라, ‘예측의 범용성’이라는 주요한 기준점이 과학적 지식의 요건에는 존재한다. 이러한 ‘예측의 범용성’은 다양한 상황들에 대해서 같은 원리를 토대로 결과를 얻어낼 수 있어야 한다는 것이다. 하지만 인공지능 model은 실제로 OOD(out of distribution)과 같은 데이터가 범위를 벗어난 경우에는 예측이 완전히 붕괴하며 신뢰도가 급격히 떨어지는 현상이 발생한다. 따라서 인공지능이 얻어낸 결과물은 자연에 존재하는 보편적인, 일반적인 법칙 보다는 특징적인 데이터 셋의 범위에 대해서 존재하는 통계적인 단순한 규칙에 불구하다는 사실을 알 수 있고 이러한 점들에 의해서도 과학적 지식으로서 인정되기에는 어렵다.

(4) 인공지능을 통해 얻어낸 산출물은 인간의 해석과 이해가 도입되면 과학적 지식으로 인정할 수 있다.

과학자들에 의하면 과학적인 model과 simulation이 지식으로서 작용하기 위해서는 연구를 하는 과학자가 그 model의 기초적인 원리와 구조를 이해하고 있어야 한다고 한다.4

이러한 관점은 instrumental AI, 즉 도구적인 인공지능이라는 개념과 직결된다. 인공지능이나 딥 러닝, 머신 러닝 같은 경우에는 결국 과학자들이 과학적 탐구의 과정에 있어서 수치적이나 정량적인 계산을 도와주는 보조자로서의 역할을 하는 것 뿐이며 이 계산 도구가 만들어내게 되는 다양한 결과들이 지식의 형태로 인정되기 위해서는 필연적으로 인간이라는 연구자, 과학자들의 개념에 대한 정리나 그들의 개념을 토대로한 정리와 해석이 필요하다. 인공지능이 자연현상에 대한 다양한 패턴들을 제공하고, 이것이 인간 과학자가 만들어내는 이론적 과학의 내용과 합쳐지게 된다면 주어진 정보의 결과물인 패턴 공식은 과학적인 연구의 이론적 요소로서 일부분이 편입되는 것이라고 할 수 있다.

인공지능은 지식에 대한 ‘창출’이 아닌, ‘제공’으로서의 역할을 하기 때문에 결국 지식은 인간이 정당화 과정과 이해 과정, 설명 과정을 통해 진행했을 경우만 가능한 것이다. 따라서 인공지능 및 AI는 과학적인 지식을 대체하는 것이 아닌, 과학자의 보조자로서의 역할을 하며, 인간이 중심이 되는 과학적 체계성 속에서 인간의 설명과 이해를 벗어난다면 지식으로서 동의되는 것은 불가능하다.

결론

과거, 현재, 그리고 미래까지도 과학에서 인공지능이 주는 긍정점들은 너무나 많다. 자연에 존재하는, 혹은 인간이 연구하고자 하는 영역의 데이터를 정말 빠른 속도로 분석하고 결과에 대한 인사이트의 방향성을 제공한다. 하지만, 과학적인 지식은 해석과 이해를 통해서 본질적인 완전성을 이루게 되며, 인간의 능력이 없다면 가능하지 않다는 점이 중요하다. 따라서 인공지능이 자연 현상을 만들어내는 결과는 인간이 해석 혹은 이해할 수 없다면 과학적인 지식으로서 인정하기에는 어렵다. 인공지능 및 AI, 머신러닝 기술들은 과학자의 조력자일 뿐, 지식을 만들어내는 행위는 할 수 없다. 과학적인 직위와 지식은 인간의 이해와 해석에 의해 완결된다.

최종적으로 과학이라는 학문의 중심점에는 ‘해석하고 이해하는 것이 가능한 세계’를 설계하고자 하는 인간의 지적인 목표의식이 들어난다. 인공지능이라는 도구는 이 활동을 정리하는 것을 빠르게, 정확하게 더 가속시키는 조력자로서의 역할을 수행하는 것이고, ‘지식’이라는 개념 자체가 되는 것은 불가능한 이야기 이다. 인공지능이 자연현상을 통해 만들어내는 산출된 결과물은 인간, 과학자가 이해하고 해석하여 직접 설명할 수 있을 때만 과학적인 지식으로서 사용되는 것이 가능하며, 인간의 해석이나 이해의 범주를 벗어난 정보들은 인류가 만들어낸 ‘과학의 체계’ 속에서 정당성을 가질 수 없다고 생각한다.

여기에 추가적인 내용을 덧 붙이자면, 과학적인 연구가 이루어지고 있는 현재 상황에서 인공지능은 앞으로 과학 연구에 더 깊이 있게 스며들 것이 확실하다. 이러한 상황 일수록, 나는 오히려 과학자들의 단체, 공동체가 ‘어떤 것을 과학적인 지식으로서 인정할 수 있는가, 그 선은 어디까지 인가’에 대한 기준점에 대해서 엄중하게 잡아야 한다는 생각이다. 기존에 존재하지 않던 새로운 형태의 신문물, 도구가 생겼다고 해서 과학적인 지식으로서의 인정 범위를 느슨하게 잡아버린다면 결국 나중에는 과학이 그저 예측을 위한 수단의 형태로 전락해버릴 수 있는 것이다. 자연에 존재하는 현상들을 단순하게 예측하는 도구와 우리가 수호하고자 하는 과학적 지식이라는 범주와 혼용되어 버릴 것이다. 즉, 과학적인 지식의 본질인 진정한 이해와 기술적인 자연 현상의 예측과 효율성과의 경계가 모호해지는 것이다. 인공지능과 딥러닝과 같은 method는 분명하게 과학자들이 연구를 앞으로 진행함에 있어서 많은 영감과 아이디어, 해결 방안들을 제공할 것 이다. 그러나, 이러한 과학적 아이디어들에 대한 단서가 과학계가 인정하고 모두가 사용할 수 있는 정립된 하나의 이론으로 만들어지기 위해서는 인간 과학자, 연구자들이 공동체 내부에서 비판과 토론, 재현의 가능성에 대한 검증, 타 이론과 의 교차검증과 같은 점검 과정들이 반드시 이어져야 한다. 이 process가 진행 되어야지만 인공지능이 자연에서 찾아낸 ‘패턴’이 과학계와 인류가 인정하는 ‘지식’의 형태로 승화되는 것이다.

인공지능, AI를 통해 얻어낸 결과를 우리가 그냥 받아들이고 사용하는 것에 대한, 이런 무비판적인 태도는 결국 과학적 자기 비판성의 측면에서도 바람직하지 않다고 생각한다. 과학이라는 학문은 본질적으로, 그리고 발전 과정의 역사적으로 계속해서 이전에 만들어졌던 다양한 개념들과 공식들에 대한 비판과 의문, 수정과 토의, 토론, 교차검증, 반례 발견과 같은 발전된 설명을 얻기 위한 과학자들의 태도를 통해서 이루어진다. 우리가 계속 논의하고 있는 이 러한 인공지능들은 결국 우리가 내부 구조를 이해하지 못한채 나오게 되는 출력의 결과값을 바탕으로 과정 없이 결과만 받아들이기 때문에 ‘이건 인공지능이 만든 결과이기 때문에 오류가 없을 것이다.’라는 생각에 갇혀 잘못된 전제에 대한 과학적 비판 사고력을 약화시키며 과학의 발전을 퇴행시킬 것이다. 우리는 인공지능이 만들어내는 결과물에 대해 ‘어떤 데이터 셋과 환경, 가정에 의거해 이 결과가 등장하게 된거지?’, ‘왜 이런 결과가 출력된 것이지?’, ‘어떤 환경이나 조건일 때 성립하지 않는 것이지?’와 같이 끊임 없이 질문들을 제공하는 태도를 항상 겸비하고 있어야 하며, 이러한 질문들을 바탕으로 인공지능은 단순한 자연어, 숫자 출력 기기를 넘어 지식의 주체자로서의 역할을 수행할 수 있다.

최종적으로, 위에서 논의한 과학적 지식과 인공지능의 관계점들에 대해서 이야기 하는 것은 단순하게 철학적으로 두 가지 부류의 사람들을 나누어 취향을 가르기 위한 것이 아닌, 실제 존재하는 사회적이나 윤리적인 책임들과도 관계성이 존재한다는 점을 밝히고 싶다. 인공지능이나 딥러닝 모델을 통한 예측을 신약 개발이나 재난을 예측, 기후나 의료에 적용하는 인간의 생명과 직접적으로 연관되는 내용에 대해서 사용하는 경우, ‘이러한 결정을 우리는 왜 내렸는가’라는 질문은 결국 ‘누가 책임을 지는가’에 대한 논의로 넘어가게 된다. 만약 우리가 인공지능이 예측한 결과에 맞게 인간의 생명에 대한 결정을 내렸는데, 인간이 생명과 관련된 피해를 봤다고 생각해보면, 책임을 지는 인간은 없기 때문에 인간이 기계에게 이러한 중요한 문제들에 대한 책임을 떠넘긴 것이라고 할 수 있다. 만약에 과학적인 지식을 근거로 인간이 살아가는 사회 속에서 윤리적인 관점의 판단이나 정책에 대한 판단을 내리게 된다면, 이 지식은 인간이 토의하고 논의할 수 있어야 하는 형태로 존재해야 하는 것이다. 위 관점에서 생각을 해봤을 때, 인공지능의 자연물에 대한 산출 결과를 인간이 이해하지 못했을 때 이것은 수정과 재검토가 항상 필연적으로 필요한 ‘가설적 측면에서의 도구’의 형태로만 두고 평가를 진행하는 것이 바람직한 방법이다.

향후의 과제로서, 인공지능을 통해 얻게되는 결과물들에 대한 해석을 어떻게 가능케 할것인지, 과학계가 어떤 기준으로 이 결과물들을 받아들일 것인지는 추가적인 논의점들이 필요할 것이라고 생각한다. 현재의 인공지능 시대에 있어서, 과학적 지식에 대한 개념을 확립해나가는 핵심적인 철학적 과제가 될 것이다.

참고문헌 (References)

Boge, F. (2022). The epistemology of machine learning. Synthese, 200, Article 189. https://doi.org/10.1007/s11229-022-03692-9

Humphreys, P. (2019). Models, simulations, and the reduction of complexity. In C. A. Hooker (Ed.), Philosophy of complex systems (pp. 483–513). Elsevier.

Lipton, Z. C. (2018). The mythos of model interpretability. Communications of the ACM, 61(10), 36–43. https://doi.org/10.1145/3233231

Schmidt, M., & Lipson, H. (2009). Distilling free-form natural laws from experimental data. Science, 324(5923), 81–85. https://doi.org/10.1126/science.1165893

  1. Schmidt, M., & Lipson, H. (2009). Distilling free-form natural laws from experimental data. Science, 324(5923), 81–85. https://doi.org/10.1126/science.1165893 ↩ ↩2

  2. Boge, F. (2022). The epistemology of machine learning. Synthese, 200, Article 189. https://doi.org/10.1007/s11229-022-03692-9 ↩ ↩2

  3. Lipton, Z. C. (2018). The mythos of model interpretability. Communications of the ACM, 61(10), 36–43. https://doi.org/10.1145/3233231 ↩

  4. Humphreys, P. (2019). Models, simulations, and the reduction of complexity. In C. A. Hooker (Ed.), Philosophy of complex systems (pp. 483–513). Elsevier. ↩