(최종본) 과제-09 기말과제 011-27 김가희

콘텐츠를 넘어 구조로: 온라인 플랫폼의 구조적 해악과 기여자 책임

1. 서론

온라인 플랫폼은 이제 단순한 앱이나 사이트가 아니다. 우리는 뉴스를 보고, 물건을 사고, 친구를 만나고, 공부하고, 심지어 위로를 받기까지 플랫폼 안에서 한다. 그래서 플랫폼은 정치적 의견 형성, 경제 활동, 친밀한 관계 형성까지 넓은 영역을 연결하는 사회적 인프라가 되었다.

그런데 플랫폼에서는 반복적으로 문제가 생긴다. 혐오 표현이 퍼지고, 허위 정보가 확산되고, 특정인을 대상으로 한 집단 괴롭힘이 이어진다. 자해·자살을 부추기거나 위험 행동을 부추기는 콘텐츠도 논란이 된다. 이런 일은 한두 번의 사고처럼 보이지만, 비슷한 형태로 자주 반복된다. 그래서 “그때그때 삭제하면 되지”라는 방식만으로는 부족하다는 느낌이 남는다.[^DPREG2023]

이때 자주 등장하는 설명은 “나쁜 이용자 때문이다”라는 말이다. 물론 이용자의 악의는 중요하다. 하지만 그것만으로는 반복성을 설명하기 어렵다. 왜냐하면 플랫폼에서는 이용자들이 그냥 스크롤하고, 클릭하고, 공유하는 평범한 행동만 해도 문제가 커질 수 있기 때문이다. 예를 들어 어떤 콘텐츠가 분노를 자극하면 댓글이 많이 달리고 공유가 많이 된다. 그러면 플랫폼은 “인기 있는 콘텐츠”로 판단해 더 많은 사람에게 노출할 수 있다. 그 결과 특정 집단을 겨냥한 조롱이나 공격이 빠르게 확산될 수 있다. 여기서 중요한 것은, 개별 이용자들이 “엄청난 악의”를 갖고 있지 않아도, 플랫폼 구조가 그런 흐름을 증폭시킬 수 있다는 점이다.

플랫폼 책임 논쟁은 종종 두 극단을 오간다.
첫째는 플랫폼을 “그냥 중개자”로 보는 입장이다. 플랫폼은 이용자가 올린 글을 전달할 뿐이고, 책임은 글을 쓴 사람에게 있다는 주장이다. 이 입장은 표현의 자유를 보호하는 장점이 있지만, 문제가 반복될 때 책임이 비어 보인다.
둘째는 플랫폼을 “출판자처럼 전면 책임자”로 보는 입장이다. 플랫폼이 올려진 콘텐츠를 관리하고 돈을 벌기 때문에 모든 문제에 책임져야 한다는 주장이다. 이 입장은 문제를 강하게 잡을 수 있지만, 기업이 위험을 피하려고 과잉 차단을 택하면 표현의 자유가 위축될 수 있다.

이 딜레마는 전통적인 책임론으로 풀기 어렵다. 전통적인 책임론은 대체로 “누가 무엇을 의도했고, 어떤 행위로 어떤 피해가 발생했는가”를 중심으로 한다. 하지만 플랫폼 문제는 사람과 콘텐츠가 너무 많고, 영향 경로도 복잡하다. 그래서 단일 행위자와 단일 인과관계를 찾는 방식은 현실과 잘 맞지 않는다.[^Young2006]

이 글의 논제는 다음과 같다.

논제: 온라인 플랫폼은 자신이 설계·운영하는 구조가 반복적으로 만들어 내는 해악에 대해, 단순 삭제를 넘어 구조를 완화·조정할 책임을 진다.

여기서 “구조”는 단지 기술이 아니다. 추천 방식, 화면 설계, 기본 설정, 신고 절차, 수익 모델, 운영 정책처럼 이용자의 행동을 유도하고 결과를 바꾸는 요소들을 뜻한다. 이 글에서는 플랫폼 책임을 “개별 게시물” 수준에서만 보지 말고, “구조” 수준에서 함께 보자고 주장한다.

글의 흐름은 다음과 같다. 2장에서는 구조적 해악이 무엇인지 정의한다. 3장에서는 Young의 사회적 연결 모델을 소개하고 장단점을 정리한다. 4장에서는 플랫폼을 “구조적 기여자”로 이해하는 관점을 제안한다. 5장에서는 플랫폼 구조가 왜 문제를 반복시키는지 설명한다. 6장에서는 반론을 제시한 뒤 재반박한다. 마지막 결론에서는 적용 범위와 실천적 함의를 정리한다.

2. 구조적 해악이란 무엇인가

우리는 보통 해악을 개인의 행위로 떠올린다. 예를 들어 누군가가 누군가를 때리면 피해가 생긴다. 이때 책임은 비교적 명확하다. 누가 가해자인지, 무엇을 했는지, 결과가 무엇인지가 뚜렷하기 때문이다.

하지만 현대 사회에는 그렇게 단순하지 않은 해악이 많다. 누가 “나쁜 의도”를 가지고 한 행동이 아니어도, 어떤 집단이 계속 불리해지는 경우가 있다. 규칙과 관행이 누적되면서 특정 집단이 반복적으로 손해를 보는 경우도 있다. 이런 해악은 한 사람의 악의로 설명하기 어렵다.[^Young2006]

이 글에서 말하는 구조적 해악(structural harm)은 대략 다음과 같다.

1) 사회에는 규칙·제도·관행·기술 구조가 있고
2) 많은 사람들이 그 안에서 일상적으로 행동하는데
3) 그 결과 특정 개인이나 집단에게 예측 가능한 불이익과 손상이 반복해서 생기는 현상[^Young2006]

여기서 중요한 것은 “반복”과 “예측 가능성”이다. 우연한 사고가 아니라, 특정 조건이 반복될 때 비슷한 피해가 계속 나타난다. 또 이 구조는 사람들에게 “정상”으로 느껴질 수 있다. 참여자 입장에서는 “그냥 하던 대로 했을 뿐”인데, 전체적으로는 누군가에게 피해가 집중될 수 있다.

플랫폼에서도 비슷한 일이 일어난다. 이용자는 보통 “그냥” 행동한다. 좋아요를 누르고, 댓글을 달고, 공유하고, 시청 시간을 늘린다. 그런데 플랫폼의 구조가 그런 행동에 어떤 보상을 주느냐에 따라, 결과는 크게 달라진다. 분노를 부르는 콘텐츠가 더 잘 퍼지도록 구조가 짜여 있으면, 이용자의 일상적 반응은 공격과 혐오 확산의 연료가 된다. 반대로 신뢰도 높은 정보가 더 보이도록 구조가 짜여 있으면, 같은 이용자 행동도 다른 결과를 만들 수 있다.

그래서 플랫폼 해악은 “특정 게시물 하나”만의 문제가 아니다. 같은 종류의 문제가 계속 다시 생긴다면, 그 반복성을 만드는 구조를 함께 봐야 한다. 구조적 해악 관점은 바로 이 지점을 잡아준다.

3. 구조적 해악에 대한 책임: Young의 사회적 연결 모델

구조적 해악에서는 책임을 어떻게 말할 수 있을까. “가해자 한 명”을 찾기 어렵다. 그렇다고 “모두가 책임”이라고만 하면 아무도 행동하지 않게 된다. Young은 이 문제를 다루면서 사회적 연결 모델(social connection model)을 제안했다.[^Young2006]

Young의 핵심 생각은 비교적 간단하다. 구조적 해악에서 책임은 과거의 잘못을 처벌하는 책임만이 아니라, 구조를 바꾸기 위한 미래지향적 책임이어야 한다. 즉 “누가 벌받아야 하나”보다 “누가 구조를 바꿀 수 있나”가 중요하다.

Young은 책임의 정도를 판단할 때 몇 가지 요소를 본다. 예를 들어 구조에 더 깊게 연결되어 있고, 그 구조로부터 이익을 얻고, 문제를 더 잘 알 수 있고, 바꿀 힘이 큰 사람일수록 책임이 크다.[^Young2006] 이 모델의 장점은 명확하다. 구조적 해악에서 흔히 생기는 “책임 공백”을 줄이고, 변화의 가능성이 있는 주체를 찾아내려 한다는 점이다.

하지만 비판도 있다. 사회적 연결 모델은 책임 범위를 넓게 잡기 때문에, 책임이 얇아질 수 있다. “우리 모두 연결되어 있다”는 말이, 실제로는 “결국 아무도 구체적으로 책임지지 않는다”로 이어질 위험이 있다.[^Gunnemyr2020] 플랫폼에서도 그런 문제가 생길 수 있다. 이용자도 연결되어 있으니 이용자도 책임, 정부도 책임, 광고주도 책임이라고 말하다 보면, 정작 구조를 설계하는 플랫폼 기업에게 요구되어야 할 책임이 흐려질 수 있다.

그래서 Young의 장점을 살리되, 플랫폼처럼 구조 설계와 운영 권한이 집중된 경우에는 책임을 더 두껍게 말할 기준이 필요하다고 본다. 다음 장에서 이를 “구조적 기여자”라는 개념으로 정리한다.

4. 플랫폼을 ‘구조적 기여자’로 보기

플랫폼을 무조건 “가해자”라고 부르는 것은 조심스럽다. 플랫폼이 어떤 해악을 직접 만든 것이 아닐 수도 있기 때문이다. 하지만 플랫폼을 완전히 “중립”이라고 부르는 것도 맞지 않는다. 플랫폼은 구조를 설계하고, 노출을 조정하고, 수익 모델로 이익을 얻는다. 나는 이 중간 지점을 잡기 위해 플랫폼을 구조적 기여자(structural contributor)로 이해하자고 제안한다.

구조적 기여자는 대략 다음 네 조건을 강하게 갖는 행위자다.[^Zheng2019;Phillips2022]

1) 바꿀 권한: 규칙·알고리즘·설계를 바꿀 수 있다
2) 알 수 있는 위치: 문제가 반복되는 걸 관찰할 수 있다(데이터, 신고, 내부 보고 등)
3) 이익: 그 구조로 돈이나 영향력을 얻는다
4) 능력: 조직·기술·자원이 있어 실제로 개입할 수 있다

이 네 조건은 “플랫폼이 책임을 져야 한다”는 주장을 조금 더 구체화한다. 특히 플랫폼은 구조를 바꾸는 권한과 능력이 크다. 또 이용자의 행동 데이터와 신고 데이터를 통해 문제가 반복된다는 사실을 알 수 있다. 그리고 그 구조에서 수익을 얻는다. 그래서 플랫폼은 단지 “상황을 구경하는 참여자”가 아니라, 구조를 설계·운영하는 핵심 행위자로 볼 수 있다.

그렇다면 구조적 기여자에게 어떤 책임을 말할 수 있을까. 여기서 중요한 건 “개별 게시물의 진실/거짓을 다 판단하라”가 아니다. 그 방식은 오히려 표현의 자유 문제를 키울 수 있다. 대신 구조적 책임은 더 현실적인 형태로 정리될 수 있다. 예를 들면 “확산이 너무 빨라지는 경로를 완화하라”, “피해자가 신고하고 빠져나올 수 있게 하라”, “설계 변경의 위험을 점검하라” 같은 방향이다. 즉 책임은 콘텐츠 검열을 강하게 하라는 명령이라기보다, 위험을 키우는 구조를 조정하라는 요구가 된다.

하지만 여기에는 큰 질문이 남는다. “바꿀 수 있다”는 사실만으로 “강한 책임”이 바로 나오는가?

5. 플랫폼 구조는 무엇이고, 왜 문제가 되는가

플랫폼 구조는 보통 네 가지로 정리할 수 있다. (1) 추천·랭킹, (2) 인터페이스·기본 설정, (3) 광고·데이터 중심 수익 구조, (4) 모더레이션 정책이다.[^DPREG2023] 이 문단은 플랫폼이 어떤 요소로 운영되는지 설명하기 위한 정리다.

첫째, 추천·랭킹은 “무엇이 보이는가”를 정한다. 같은 글이라도 누군가에게는 계속 뜨고, 누군가에게는 보이지 않는다. 둘째, 인터페이스는 행동을 유도한다. 자동재생, 무한 스크롤, ‘추천 피드 기본값’은 이용자가 멈추지 않고 계속 소비하게 만든다. 셋째, 수익 구조는 목표를 만든다. 체류 시간과 참여가 돈이 되면, 자극적인 콘텐츠가 유리해질 수 있다. 넷째, 모더레이션은 마지막 조정 장치지만, 신고 절차가 복잡하거나 대응이 느리면 피해자는 계속 노출된다.

이 네 요소가 결합되면, 해악은 “개별 사건”이 아니라 “경로”가 된다. 예컨대 누군가를 놀리는 영상이 올라오고, 사람들이 웃으며 공유하고, 댓글로 더 심해지고, 알고리즘이 참여를 보고 더 추천하고, 피해자는 신고해도 늦게 처리되고, 결국 비슷한 사건이 반복된다. 이때 핵심은 “나쁜 사람 한 명”이 아니라, 문제가 커지는 흐름이다. 그래서 책임도 그 흐름을 끊는 방식으로 말해야 한다.

6. 반론 : “책임은 통제를 전제한다”

전제 : 플랫폼이 권한·인식·이익·능력을 가지면, 플랫폼에게 강한 구조적 책임(재설계·완화·투명성·구제)을 부과하는 것이 정당화된다.

그런데 철학에서는 오래전부터 “책임은 통제를 전제한다”는 생각이 강하다. Fischer & Ravizza는 책임을 말할 때, 행위자가 결과에 대해 어떤 방식으로든 통제(control)를 가져야 한다고 본다.[^FischerRavizza1998] 핵심은 “바꿀 수 있었음”이 단지 말이 아니라, 실제로 이유(위험·피해)에 반응하며 행동을 조정할 수 있는 통제여야 한다는 점이다.

이 통제 원리를 플랫폼 책임에 적용하면 문제가 생긴다. 플랫폼이 설계를 바꿀 수 있다는 사실은 인정할 수 있다. 하지만 그것이 곧바로 “플랫폼이 해악을 통제한다”는 뜻은 아니다. 플랫폼 해악은 통제가 어렵게 되는 특징을 여러 개 가지고 있다.

첫째, 원인이 너무 많다. 온라인 괴롭힘은 알고리즘만으로 생기지 않는다. 사회적 갈등, 정치 이슈, 특정 사건, 외부 커뮤니티의 조직적 행동, 개인의 악의가 함께 얽힌다. 플랫폼은 그 여러 원인이 섞이는 장소일 수 있다. 그렇다면 “플랫폼이 핵심 원인이다”라고 말하기 어렵다. 원인이 복수이고 외생 요인이 큰 경우, 플랫폼의 통제는 제한적일 수 있다.

둘째, 예측이 어렵다. 어떤 설계 변화가 어떤 해악을 줄일지 단정하기 어렵다. ‘비슷한 기능’을 넣어도 나라와 문화에 따라 결과가 달라질 수 있다. 악의적 이용자는 규칙을 우회한다. 측정도 어렵다. 신고 수가 줄어도 실제 피해가 줄었다고 말하기 어렵고, 반대로 신고 수가 늘어도 피해가 늘었다고만 말하기 어렵다. 이런 상황에서 플랫폼이 해악에 대한 충분한 통제를 갖고 있다고 말하기는 어렵다.

셋째, 완화의 효과가 불안정하다. 플랫폼이 노출을 줄이면 해악이 사라질까? 오히려 다른 곳으로 이동할 수 있다. 공개 피드에서 줄어든 공격이 폐쇄 커뮤니티로 옮겨갈 수 있다. 텍스트 규제가 강화되면 이미지·밈으로 바뀔 수 있다. 한 플랫폼에서 막히면 다른 플랫폼으로 이동할 수도 있다. 그러면 “설계를 바꾸면 해악이 의미 있게 줄어든다”는 말은 안정적으로 성립하지 않는다.

넷째, 과잉 차단 유인이 생긴다. 불확실성이 큰데 책임을 강하게 부과하면, 기업은 위험을 줄이기 위해 보수적으로 움직이기 쉽다. 즉 “혹시 문제 될까 봐” 더 많이 차단할 수 있다. 이렇게 되면 표현의 자유 위축 문제가 커질 수 있다. 통제 원리 관점에서는 이런 위험 때문에 책임을 강하게 부과하기 전에 “정말 통제가 가능한가”를 엄격히 따져야 한다.

이 반론은 더 강해진다. 플랫폼은 한 개인이 아니라 복잡한 조직이다. 책임이 여러 부서와 시스템에 흩어진다. 이때 “누가 무엇에 책임지는가”가 흐려지는 문제가 생긴다. 이것이 many hands 문제다.[^Thompson2017;vanDePoel2012] 책임을 “플랫폼 전체”에 강하게 걸어버리면, 내부에서는 책임이 문서와 절차로만 남을 수 있다. 보고서, 체크리스트, 위원회는 늘어나는데, 실질 위험은 줄지 않을 수도 있다. 그러면 책임을 강하게 부과하는 것이 오히려 책임 공백을 만들 수 있다는 비판이 가능하다.

따라서 반론의 결론은 이렇게 정리된다.

권한·이익·능력이 있다고 해서 곧바로 통제가 있다고 말하기 어렵다.
통제와 인과가 불안정하면, 강한 책임 정당화는 약해진다.
복잡 조직에서는 강한 책임 귀속이 오히려 책임 공백을 만들 수 있다.

즉 전제 P는 논리적 비약일 수 있다.

7. 재반박: “결과 통제”가 아니라 “위험 경로 통제”로 책임을 다시 세운다

이 반론은 강하다. 그래서 내 모델은 여기서 더 정교해져야 한다. 핵심은 플랫폼 책임의 목표를 “모든 해악 결과를 통제하라”로 잡지 않는 것이다. 나는 플랫폼에게 결과 통제가 아니라 위험 경로 통제를 요구한다.

쉽게 말해 이런 뜻이다.

플랫폼이 세상의 모든 악을 없앨 수는 없다.
하지만 플랫폼은 자신이 만든 구조 때문에 위험이 커지는 경로를 줄일 수는 있다.
그래서 플랫폼 책임은 “완전 제거”가 아니라 “증폭을 줄이고, 피해자를 보호하고, 회복을 돕는 것”이 된다.

이렇게 정리하면 통제 원리와도 충돌이 줄어든다. Fischer & Ravizza식으로 말하면, 플랫폼은 자신의 메커니즘(추천·기본 설정·신고 구조)이 위험을 키우지 않도록 이유(피해·위험)에 반응하는 방향으로 조정할 책임을 가진다고 말할 수 있다.[^FischerRavizza1998] 즉 플랫폼은 “해악이 아예 안 생기게” 할 책임이 아니라, “내 구조가 위험을 키우는 방식으로 작동하지 않게” 할 책임을 가진다.

Many hands 문제도 마찬가지다. Many hands가 있다는 것은 “책임이 불가능하다”는 뜻만은 아니다. 오히려 “책임이 실제로 작동하도록 조직을 설계해야 한다”는 요구가 될 수 있다.[^Thompson2017] 그래서 플랫폼의 구조적 책임은 단지 도덕적 선언이 아니라, 조직 내부 설계로 이어져야 한다. 예를 들면 다음 같은 책임이 가능하다.

위험 평가가 언제, 어떤 기준으로 이루어졌는지 남기기
안전 목표가 수익 목표에 항상 밀리지 않도록 내부 절차 만들기
신고 처리 과정과 결과를 피해자가 이해할 수 있게 하기
위험이 큰 상황(표적 괴롭힘, 급속 확산 등)에서 확산을 완화하는 장치 마련하기
실험이나 정책 변화가 위험을 늘리지 않는지 점검하기

이렇게 책임을 “검열 강화”로 좁히지 않고, “위험 경로 관리”로 넓히면, 표현의 자유와의 긴장도 완화할 수 있다. 왜냐하면 핵심이 “내용을 많이 삭제”가 아니라 “확산의 방식과 보호 장치”이기 때문이다.

이 지점에서 “구조적 기여자”라는 용어도 의미가 생긴다. 공범이나 방조 같은 법적 개념은 보통 ‘의도’나 ‘직접 기여’를 강하게 요구한다. 반면 구조적 기여자 모델은 “증폭 구조의 운영자”라는 위치를 잡아준다. 즉 이 모델은 법적 책임을 그대로 가져오는 것이 아니라, 철학적 책임 개념(구조적 해악, 연결 책임, 통제 원리)을 플랫폼 상황에 맞게 조정한 것이다. 그래서 “새 용어를 굳이?”라는 질문에 답하자면, 이 용어는 플랫폼 책임을 “중립 vs 전면 책임” 이분법에서 벗어나게 하는 역할을 한다고 말할 수 있다.

8. 결론

이 글은 플랫폼 책임 논쟁을 “개별 콘텐츠” 차원에서 “구조” 차원으로 이동해야 한다고 주장했다. 플랫폼에서 반복되는 해악은 단지 이용자 일부의 악의로만 설명되기 어렵다. 플랫폼 구조는 이용자의 행동을 특정 방향으로 조직하고, 해악이 커지는 경로를 만들 수 있다.

Young의 사회적 연결 모델은 구조적 해악에서 책임을 말하는 중요한 틀을 제공한다.[^Young2006] 다만 플랫폼처럼 설계 권한과 이익이 집중된 경우에는 책임이 희석되지 않도록, 플랫폼을 구조적 기여자로 이해하는 관점이 유용하다.[^Zheng2019;Phillips2022]

동시에 “책임은 통제를 전제한다”는 강력한 반론도 중요하다.[^FischerRavizza1998] 플랫폼이 권한과 능력을 가진다고 해서, 모든 해악을 통제할 수 있다고 말할 수는 없다. many hands 문제도 실제로 책임 공백을 만들 수 있다.[^Thompson2017;vanDePoel2012] 그래서 내 주장은 플랫폼에게 “모든 결과를 통제하라”가 아니라, “내 구조가 위험을 키우는 경로를 줄이고, 피해자를 보호하고, 회복을 돕는 방식으로 운영하라”는 형태로 정리된다.

마지막으로 적용 범위를 정리하자. 이 모델은 모든 온라인 서비스에 똑같이 적용되기보다, 특히 영향력이 큰 거대 플랫폼에 우선 적용되는 것이 타당하다. 왜냐하면 거대 플랫폼은 추천·노출 통제력이 크고, 사회적 영향이 크며, 위험 관리 자원도 상대적으로 많기 때문이다.[^Zheng2019] 반면 소규모 서비스는 같은 수준의 의무를 요구하기 어렵다. 책임의 강도는 권한과 능력에 따라 차등화되어야 한다.

정리하면, 플랫폼 책임은 “개별 게시물 삭제” 중심의 논쟁만으로는 부족하다. 구조가 위험을 증폭시키는 경로를 어떻게 관리할 것인지가 핵심이다. 구조적 기여자 모델은 이 질문을 철학적으로 정리하는 하나의 방식이 될 수 있다.

참고문헌

Digital Platform Regulators Forum (DP-REG). 2023. Working Paper 1: Literature Summary—Harms and Risks of Algorithms.
Fischer, John Martin, and Mark Ravizza. 1998. Responsibility and Control: A Theory of Moral Responsibility. Cambridge: Cambridge University Press.
Gunnemyr, Mattias. 2020. “Why the Social Connection Model Fails: Participation is Neither Necessary nor Sufficient for Political Responsibility.” Hypatia 35(4): 567–586.
Phillips, Robert, and Judith Schrempf-Stirling. 2022. “Young’s Social Connection Model and Corporate Responsibility.” Philosophy of Management 21: 315–336.
Thompson, Dennis F. 2017. “Designing Responsibility: The Problem of Many Hands in Complex Organizations.” In The Design Turn in Applied Ethics, edited by Jeroen van den Hoven, Seumas Miller, and Thomas Pogge, 32–56. Cambridge: Cambridge University Press.
van de Poel, Ibo, Jessica Nihlén - Fahlquist, Neelke Doorn, Sjoerd D. Zwart, and Lambèr Royakkers. 2012. “The Problem of Many Hands: Climate Change as an Example.” Science and Engineering Ethics 18(1): 49–67.
Young, Iris Marion. 2006. “Responsibility and Global Justice: A Social Connection Model.” Social Philosophy and Policy 23(1): 102–130.
Zheng, Robin. 2019. “What Kind of Responsibility Do We Have for Fighting Injustice? A Moral-Theoretic Perspective on the Social Connection Model.” Ethical Theory and Moral Practice 22(4): 869–885.