1. 연구의 배경
1.1 건축학과 설계 스튜디오 수업에서 과제평가의 중요성
1.2 건축 공모전과 현상설계 심사과정의 문제점
1.3 공정성과 전문성이 겸비된 건축디자인 평가 시스템 구축의 필요성
2. 이론적 배경
2.1 크라우드소싱을 이용한 디자인 평가방식 제안
2.2 크라우드소싱의 확장
2.3 건축과 크라우드소싱
3. 연구방법
3.1 프라우드소싱
3.2 프라우드소싱 실험
4. 결론
4.1 프라우드소싱 실험결과
4.2 실험의 결과 분석
5. 고찰
1. 연구의 배경
1.1 건축학과 설계 스튜디오 수업에서 과제평가의 중요성
건축학과에서 설계수업은 가장 중요한 부분이다(Salama, 1995). Lee et al.(2007)에 따르면 설계 스튜디오 수업내용 영역에 있어서 학생들이 가장 중요하게 생각할 뿐만 아니라 가장 만족하지 못하는 사항이 학생 과제물 평가에 관한 것임을 알 수 있다. ‘다양한 관점 : 설계교수, 건축가, 이론교수 참여에서 과제물 평가가 이루어진다.’를 314명의 학생, 교수 그리고 실무자가 가장 중요한 항목으로 선택하였다. 또한, 86명의 학생, 74명의 실무자와 43명의 교수가 ‘과제물 평가시 객관적인 평가기준을 작성하여 활용한다’을 중요한 항목으로 선택하였다. 이 항목에 대한 학생과 교수의 결과차이가 2배정도인 것으로 보아 객관적 평가기준에 대한 서로의 인식차이가 클 것으로 예상된다. 따라서, 담당 설계 교수 1인에 의한 전통적인 평가 방식에서 벗어나 객관적 평가기준의 마련을 위하여 실험 참여자 모두가 가장 중요하다고 평가한 ‘설계 교수, 건축가, 이론교수가 참여한 다양한 관점에서의 학생 과제물 평가’가 필요하다.
설계교수의 효율적이고 지속적인 설계과제 진행과 관리는 학생들의 수행능력과 학습의욕에 큰 영향을 미친다. 따라서, 대학 설계수업 현장에서 과제관리는 매우 중요하게 고려되어야한다(Lee et al., 2007).
1.2 건축 공모전과 현상설계 심사과정의 문제점
건축학과 학생들이 많이 참여하는 건축 공모전이나 실무자들이 참여하는 현상설계에서도 평가의 객관성에 관한 문제점이 제기된다. Kang (2017)에 따르면 대부분의 기존 연구에서 설계경기의 문제점으로 지적하고 있는 것은 불완전한 설계지침의 제시와 주관적인 심사과정에 관한 것이다. 공모설계 지침의 경우 참가자들에게 제시되는 건축설계의 목적, 특화방안, 공간계획 등의 세부지침의 작성과 관련 법규 및 기술적 검토 등의 기본적이고 필수적인 사항이 사전에 제대로 검토되지 않거나 비전문가들에 의해 작성되는 경우가 매우 빈번하다는 것이다. 이를 보완하기 위해서는 관련 분야의 전문가들이 모여 관련 법규, 기술 및 경제성, 사회 문화적 영향력 등에 대해 면밀한 사전 검토를 마친 후 관련자들과 함께 설계지침을 작성하는 과정이 필요하다. 또한, 좋은 설계안을 선정하겠다는 이해관계자들의 의지와 공정한 심사과정, 교육을 통한 인식의 향상이 필요하다(Kang, 2017). 좋은 설계안만큼 중요한 것이 우수한 설계안이 그 수준에 맞는 합당한 결과를 받을 수 있는 심사제도와 운영방식이다. 아무리 우수한 설계안이라도 심사과정에서 선정되지 않으면, 사회적 비용을 높이는 반면 건축물의 질을 낮추는 결과를 초래할 것이기 때문이다(Kwon & Yuh, 2009).
1.3 공정성과 전문성이 겸비된 건축디자인 평가 시스템 구축의 필요성
앞의 서론에서 지적한 문제점들이 발생하는 근본적 이유는 건축설계라는 것, 즉 디자인 평가라는 것이 명확한 기준이 존재하지 않기 때문이다(Thurston, 1991). 대부분의 건축설계과정은 명확히 정의할 수 있는 수치자료보다는 규정하거나 정의할 수 없는 무형의 설계자료를 주로 다루게된다(Jung, 1997). 이 때문에 디자인 평가를 두고 서로 다른 이해관계에 있는 사람들이 제각기 불만을 가지게 되며, 평가과정에 의문이나 의심이 생겨도 명확한 증거가 없어 문제제기를 하기 어렵다. 건축교육에서 특히 디자인 과정은 다소 주관적인 관점에서 평가가 이루어지거나, 디자인을 만들어내는 창조적 능력이 건축가 혹은 학생 개인의 예술적 능력에 달려있다는 인식이 강한 것이 사실이다(Choi, 2011). 그럼에도 불구하고 건축 설계분야의 교육자들은 디자인 과정에서 구체적인 방법론의 필요성을 인식하고 있으며, 다른 예술 분야와 달리 건축 디자인 교육은 개인의 능력이나 주관적 가치판단에만 의존할 수 없다고 주장한다. 따라서, 건축디자인이라는 것이 명확한 평가기준을 세우기는 어려우나 그 평가결과에 있어서는 많은사람들이 인정할 수 있는 객관적인 결과를 필요로 한다는 것을 알 수 있다. Figure 1의 다양한 객관화 방법을 통하여 건축디자인의 이러한 특성을 고려하여 모든 사람들이 신뢰할 수 있는 공정성과 전문성이 겸비된 디자인 평가 시스템을 구축하는 것이 필요하다.
2. 이론적 배경
2.1 크라우드소싱을 이용한 디자인 평가방식 제안
크라우드소싱이란, 대중 또는 군중이라는 뜻의 ‘Crowd’와 외부자원활용이라는 뜻의 ‘Outsourcing’의 합성어로 불특정 다수의 대중이 참여하여 문제를 효율적으로 해결하는 방법이다(Howe, 2006). 온라인 기술이 발달하여 아마추어도 정보에 대한 접근성이 높아지면서 프로와 비슷한 아마추어들이 탄생한 것이 크라우드소싱의 탄생배경이다(Yoo, 2010). Surowiecki(2004)에 따르면 대중들의 지혜는 보다 빠르게 형성되고, 더 믿을만하고, 덜 주관적이며, 전문가 지성의 오류를 보다 빠르게 지적할 수 있다는 점에서 그 유용성이 분명하다. 이와 반대로 전문가는 자신과 다른 주장을 하는 전문가와 배치할 경우 소통을 거부하는 경향이 크며, 이러한 페쇄적 경향은 전문가들의 집단 지혜가 쉽고 빠르게 형성되는 것을 저해한다. 또 전문가는 자신이 속한 집단의 이해를 수호하려는 성향이 강하며, 이 과정에서 어떠한 상황에 대한 판단을 내릴 때 종종 객관적이지 못하다는 것이다. 따라서 이러한 입장에 처하지 않은 독립적 개인들의 판단이 더 믿을만하고 객관적일 수 있다고 주장한다(Choi, 2009). 하지만, Surowiecki(2004)는 비전문가들의 집단적 판단이 반드시 전문가들의 판단보다 우월하다고는 보지 않는다. 그가 중요하게 여기는 것은 판단의 주체가 비전문가이냐 전문가이냐가 아니라 집단이 판단하느냐 개인이 판단하느냐 인 것이다. 즉 소수의 판단보다는 다수의 판단이 더 정확할 가능성이 높다는 것이다. 건축 설계 디자인 평가에서 크라우드소싱을 제안하는 이유는 디자인 평가의 특성상 객관적인 기준이 있다기 보다는 평가자 개인마다 모두 다른 평가기준을 가질 수 있기 때문이다. 하지만, 크라우드소싱과 같이 아주 많은 개인들이 모여 집단이 된다면 디지인 평가가 더 객관적일 수 있으며 소수의 전문가가 평가과정에서 범할 수 있는 실수를 막을 수 있다(Choi, 2009).
2.2 크라우드소싱의 확장
하지만 Surowiecki(2004)에 의하면 대중의 지혜는 다양성, 극단에 대한 거부, 이성의 회복, 개인의 독립성이 확보될 때 얻어야한다. 왜냐하면 대중지성은 검증되지 않은 정보를 생산하거나 유통하며, 감성적이고, 다수에 쏠림현상을 보이기 때문이다. 이러한 조건들이 제대로 충족되지 않으면 대중지성이 아니라 집단적 우중화로 전락할 수도 있다는 것이다. 대중이 지혜를 가지기 위해서는 어느 집단에 소속되어 소속감을 느끼는 상태가 아니라 자신이 속한 집단 속에서도 개별지성들이 독립적으로 사고하여 다양한 목소리를 낼 수 있는 상태여야한다. 또한, 대중의 지혜를 얻기위해서는 독립적인 사고를 하는 개인들이 다양하게 구성되어야한다. 그렇지않으면 대중지성의 객관성확보와 개인들의 지적협업을 기대하기 어렵다. 흔히 집단지성을 비전문가인 대중의 지성을 의미하는 대중지성이라고 여긴다. 하지만, 집단지성은 원어로 표현할 때 군중, 대중, 보다 주체적인 다중(다수)을 의미하는 개념을 사용한다. 따라서 “intelligence of crowd, intelligence of mass, intelligence of multitude”라고 표현하는 것이 더 적절하다(Choi, 2009).
2.3 건축과 크라우드소싱
Burke (2000)에 의하면 대중이 생산하는 지식은 대부분 개인들의 체험이나 경험에 근거하여 그 구체성과 실용성은 높다. 하지만, 추상화의 수준에는 이르지못하여 과학적 사실로 받아들이기는 어려운 ‘부드러운 지식’(soft knowledge) 혹은 ‘약한 지식’(weak knowledge)이다. 반면 전문가들이 생산하는 지식은 관찰과 실험을 통해 수집한 데이터를 근거하여 이론화와 추상화된 지식이다. 그래서 이해하기 어렵고 당장 실용적이지는 않지만, 인류의 지식발전에 분명 기여하는 지식이다. 대중의 지식과 전문가의 지식은 쓰임이 다를 뿐 모두 인류에게 가치가 있는 지식이라는 것이다.
이는 건축에도 적용된다. 건축물을 매일 사용하고 보는 것은 대중이다. 그들은 전문가보다 건물에 대해 더 실용적이고 구체적인 사항을 알 수 있다. 따라서, 다수의 대중들에게 건축물과 건축디자인에 대한 평가를 맡기는 것이 옳을 수도 있다. 하지만, 건축 설계는 겉으로 보이는 것이 전부가 아니다(Crinson & Lubbock, 1994). 한 건물을 설계하기 위해서는 주변 대지 분석, 도면에 대한 이해와 분석, 구조, 에너지, 건축법 등 다방면으로 전문적인 능력이 필수적이다. 이러한 능력은 수년간에 걸친 교육과 실무경험의 결과로서 이루어진다(Lee, 1994). 따라서, 건축설계를 평가하는데에 있어서 건축 비전문가라면 아무리 현명한 다수의 대중이라 할지라도 잘못된 결과를 도출할 수 있음을 의미한다. 그렇다고 디자인 평가가 지금껏 유지되어온 것처럼 소수의 전문가에 의해서만 이루어진다면, 지금껏 발생되어온 문제점들을 해결하기는 어려울 것이다. 따라서 본고에서는 크라우드소싱의 주체를 비전문가의 대중지성이 아니라 다수의 지성, 그 중에서도 다수의 전문가 지성으로 개념을 확장하려 한다.
3. 연구방법
3.1 프라우드소싱
3.1.1 프라우드소싱의 정의
다수의 대중을 활용한 평가방식은 건축 설계안 등의 전문적 영역의 평가에 적합하지 않다. 그리고 소수의 전문가를 활용한 평가 역시 그 결과가 자칫 소수의 주관에 의해 좌지우지 될 수 있다는 지적이 많았다. 이에 본 연구는 새로운 평가의 패러다임으로 프라우드소싱(prowdsourcing)을 제안한다. 이는 본고에서 처음 언급하는 용어로 다수의 전문가를 뜻하는 professional과 군중을 의미하는 crowd, 그리고 아웃소싱을 의미하는 outsourcing의 합성어로 Figure 2에서와 같이 크라우드소싱의 범주안에서 다수의 전문가만을 활용한 축소된 개념으로 정의한다. 특히 이러한 제안은 최근 SNS를 비롯하여 손쉽게 소통할 수 있는 네트워크 수단의 발달로 다수의 전문가를 비교적 손쉽게 참여할 수 있는 기술적 발전과 사회적 공감대 속에서 구축이 가능하다고 판단하였다. 프라우드소싱은 소수의 전문가 집단 내에서 발생할 수 있는 객관성 결여의 문제점과 임의대 대중의 참여를 통한 평가에서 일어날 수 있는 전문성 결여의 문제점을 보완해줄 수 있을 것으로 기대한다. Figure 3은 기존의 평가방식들과 새로 제안하는 프라우드소싱의 개괄적 구조에 대한 이미지로 다수의 전문가 참여를 통해 객관성과 전문성을 가질 수 있는 평가시스템을 제안한다.
3.1.2 프라우드 소싱의 기본 운영방식
다수의 전문가를 같은 시간, 같은 장소에 모으는 것을 결코 쉬운 일이 아니다. 이를 실현하기 위해 인터넷 네트워크를 이용한 플랫폼의 구축이 필요하다. 인터넷 네트워크를 통한 플랫폼 구축의 장점은 어떤 누구든 원하기만 하면 언제나 네트워크상의 특정대상의 커뮤니케이션이 가능하다는 것이다. 이 과정에서 네트워크는 시간과 공간, 내용 및 용량의 제약을 최소한도만 요구한다. 또한, 인터넷은 문자, 음성 영상 등 다양한 표현양식을 지원하는 통합적 종합매체이기에 사람과 사람이 만나 대화하는 면 대 면(face-to-face)의 커뮤니케이션에서 발생하는 정보 전달 및 교환의 효과를 인터넷상에서 얻을 수 있다(Lee, 1997).
학생들은 이제껏 평가를 받는 입장에 있어서 수동적 입장 이었지만, 프라우드소싱을 이용한 디자인 평가 방식에 있어서는 평가의 주체가 된다. 학생들은 자신의 생각을 가장 잘 전달할 수 있는 수단을 이용하여 작품을 표현한고, 전문가는 다양한 인터페이스를 활용하여 학생들의 작품에 코멘트를 한다. 전문가들은 일정한 수준을 갖추어야 프라우드소싱에서 평가자로 활동 할 수 있다. 학생들은 다수의 전문가들에게 평가를 받아 볼 수도 있고, 본인이 원하는 전문가에게 평가를 요청해서 받아볼 수도 있다. 또한, 자신에게 코멘트를 남긴 전문가들에 대한 학생들의 평가도 가능하다. 이와 같은 시스템 관리는 전문가와 학생들간 평가의 신뢰로 이어질 것이다. 학생들의 작품평가는 일회성이 아니라 디자인의 디벨롭 과정동안 계속 이루어질 것이다.
프라우드소싱은 기존의 온라인 소통방식을 활용한 경량화된 운영을 목적으로 한다. 이를 위해서는 평가자와 피평가자에게 공히 익숙한 기존의 온라인웹을 적극 활용하였다. 프라우드소싱의 시스템은 건축학과 학생 혹은 건축 심의 등을 받는 피평가자의 경우 이미지와 글을 일반적인 블로그 방식의 게시판을 통하여 작성하여 정보전달을 하였고, 평가자를 희망하는 전문가의 경우는 기존의 온라인 투표 혹은 설문의 방식을 활용하여 구성을 하였다. 이러한 매우 경량화된 평가방식은 프라우드소싱의 또 다른 특징으로, 경량화를 추구하면서 높은 수준의 평가를 위한 도구로써 활용이 가능할 것으로 기대한다. 하지만 보다 전문적인 온라인 인터페이스 연구를 통해 프라우드소싱을 위한 전용 플랫폼의 개발은 후속 연구로 매우 유용할 것으로 판단된다. 이러한 플랫폼은 Figure 4와 같이 학생들은 완성된 작품만 올리는 것이 아니라, 디자인 컨셉부터 결과물에 이르기까지 전반적인 디자인 과정을 평가를 받아볼 수 있게 구성할 수 있으며, 지속적으로 업로드한 작품은 학생의 포트폴리오로 작동하여 손쉬운 경력 관리가 가능할 것으로 보인다. 이러한 일련의 과정에서 수집된 많은 학생들의 작품과 전문가의 코멘트는 건축교육의 빅데이터로 활용이 가능하다. 작금의 무성루 정도로 빠른 인공지능 기술의 발달은 데이터 마이닝과 머신러닝을 통해 가치있는 정보로 가공될 수 있을 것이다. 이는 다시 건축 스튜디오 교육환경의 개선과 학생들의 학습을 돕는 데이터로 재생산 될 것으로 기대한다.
3.1.3 프라우드소싱의 예시
현재 인터넷 상에서 네트워크를 통해 다수의 전문가를 활용하는 기업들을 찾아볼 수 있다. 대표적인 예로, LOUD는 72,204명의 디자인 전문가에게 개인이 디자인을 의뢰할 수 있도록 연결해주는 플랫폼이다. 고객이 자신의 상표나 간판을 만들기 위해 인터넷 홈페이지에 구체적인 정보와 가격을 제시하면 일주일 동안 원하는 디자이너들이 그 콘테스트에 참여하는 것이다. 고객들은 직접 여러 디자인 회사를 찾아다니지 않고도 디자이너들이 제시한 다수의 시안을 보고 우승작을 결정할 수 있다. LOUD는 기존에 고객들이 직접 전문가들을 찾아다니고 의뢰해야하는 방식에서 벗어나, 고객들이 한 자리에서 여러 전문가를 비교하고 선택할 수 있는 시스템을 운영한다. 또 다른 예로, 온라인 R&D 문제해결 기업인 이노센티브(InnoCentive)가 있다. 이노센티브에 모인 ‘크라우드’는 대부분 과학자들로, 문제해결자(solver)로 불린다. 이들은 기업들이 자체적으로 해결하지 못하는 문제를 의뢰하면 약 150,000명의 과학자들이 자신들의 해결방법을 기업에 제시한다. 기업은 과학자들의 솔루션 중 가능성 있는 답변을 채택하고 이에 대해 1만 달러에서 10만 달러 정도의 비용을 지불한다. 이노센티브에 의하면 기업들이 의뢰한 문제 중 약 40% 정도가 해결된다. InnoCentive는 다양한 분야의 과학 전문가들이 한 자리에 모여있어, 기업이 문제를 의뢰하기 쉬울 뿐만아니라 더 효율적이고 창의적인 해결방법을 얻을 수 있다(Yoo, 2010).
3.1.4 프라우드소싱의 보완
대부분의 전통적인 건축디자인 스튜디오는 학생들과 교수의 의사소통과 평가시에 면 대 면(face-to-face) 방식을 이용한다. 따라서, 프라우드소싱과 같은 인터넷 기반의 평가 및 교육 시스템은 작품을 만든 학생과 평가자 사이의 의사소통의 효율성과 정확성이 면대면 커뮤니케이션보다 떨어질 것이라는 우려가 있을 수 있다. 단서 여과 관점(cues-filtered-out perspective)에서 논의된 초기 컴퓨터 매개 커뮤니케이션(CMC, Computer Mediated Communication) 이론들은 CMC가 면 대 면(face-to-face) 커뮤니케이션에 비해 상대방을 인지할 수 있는 단서들이 부족하며, 이러한 특성이 대인관계의 발전을 방해한다고 보았다(Jablin et al., 1987; Short et al., 1976; Sproull and Kiesler, 1986; Lee et al., 2012). 매체 풍부성 이론(Media Richness Theory)은 매체에 따라 전달되는 정보의 풍부성 차이를 지적하며, CMC 환경에서도 오디오/비디오 인터페이스를 이용한 커뮤니케이션은 텍스트 기반 인터페이스보다 표현적이고 풍부한 단서들을 전달함으로써 어느 정도 면대면 커뮤니케이션의 특성을 가지고 있는 반면(Daft & Lengel, 1983), 문자 중심의 CMC 커뮤니케이션은 비언어적 요소의 부재로 인해 정보의 풍부성이 적을 수 밖에 없으며, 비대인적 (impersonal) 성격을 지닌다고 주장한다(Lee et al., 2012). 프라우드소싱을 이용한 디자인 평가 방식은 위의 다양한 이론들에서 주목한 대화자들의 친밀한 관계 형성이나 감정적 교류보다는, 정보전달의 측면이 강함으로 분리하다고 판단된다. 하지만 최근 온라인에서도 보편화되고 있는 이미지, 음성녹음, 동영상, 실시간 라이브 등의 다양한 소통방식의 활용을 통하여 보완이 가능하다고 판단되다. 가상현실(VR)과 증강현실(AR)을 이용한 소통은 면대면 커뮤니케이션에서도 구현하지 못한 새로운 교육환경으로 확장 가능할 것으로 기대한다(Figure 5). 이에 대한 보다 구체적인 논의는 마지막 장의 고찰을 통해서 구체화하였다.
3.2 프라우드소싱 실험
3.2.1 실험방법
프라우드소싱의 유용성과 전통적인 설계 스튜디오의 면대면 크리틱 방식을 비교하기 위해 실험을 진행하였다. 실험방법은 다음과 같다. 한 학기 동안 학생이 설계 스튜디오에서 수행한 과정을 포토폴리오로 만든 후 인터넷을 통해 배포하였다. 포토폴리오에는 학생의 개인정보는 작성하지않고, 사이트 분석, 컨셉표현, 디벨롭 과정, 최종 표현 등의 내용이 그림과 도면으로만 구성되었다.
3.2.2 설문지 형식
설문지 형식은 객관식 10문항과 서술형의 종합평가로 구성하였다. 객관식 항목의 경우 한국건축학교육인증원(KAAB)의 학생평가기준을 참고하여 선정하였다. 한국건축학교육인증원은 국내 유일의 건축학교육 인증기관으로 건축교육의 질적 수준을 국제수준으로 높이기 위해 설립되었다. KAAB는 자체적인 학생 수행평가기준을 가지고 있는데, 건축적 사고, 설계, 기술, 실무 파트로 나뉘어 총 26가지의 세부 항목이 있다. 설문지 문항을 구성할 때에는 객관적 평가가 어렵거나 중복되는 문항을 제외하였다. 또한, 저학년부터 고학년까지 모든 학년을 평가할 설문지임을 고려하여 기술과 실무파트를 대다수 제외하고 설계 디자인 평가에 있어 가장 기본이 되는 내용으로 문항을 선별하였다. 커뮤니케이션 20점, 이해 20점, 설계 50점 기술 10점으로 설계 스튜디오 진행과정에 따라 항목을 구성하되 설계 부문을 가장 큰 비중으로 구성하여 총 100점 만점으로 구성하였다(Table 1). 객관식 평가기준의 경우 점수를 자유롭게 기재할 수 있으나, 10점 : 아주 높은 성취를 보임, 8점 : 높은 성취를 보임, 6점 : 보통의 성취를 보임, 4점 : 낮은 성취를 보임, 2점 : 아주 낮은 성취를 보임 등의 구분을 두어 평가의 기준이 되도록 하였다. 주관식 설문문항에는 객관식에서 평가하지 못한 사항들에 대하여 자유롭게 기술할 수 있도록 하였다.
Table 1.
Work evaluation questionnaire
4. 결론
4.1 프라우드소싱 실험결과
실험에 참여한 전문가는 총 5명으로, A, B, C, D, E로 구성되어 있다. A 전문가는 현재 대학교에서 건축학과 설계스튜디오에서 학색들을 지도하고 있는 교수로 오랜 실무경험 및 심의 평가 등에서 경험이 많은 전문가로 실험의 비교군으로 구성하였다. 그리고 B, C, D, E 전문가 역시 설계 전문가로 실무 경험이 풍부하며, 학생지도 및 공히 설계사무소를 운영 중이며 심의 등의 경험이 많은 소장들로 구성되어 있다. B, C, D, E 전문가들은 특정설계분야가 아닌 다양한 설계분야에 대한 전문가들로 객관적 평가가 가능한 전문가들로 구성하였다.
실험 결과, A, B, C, D, E 전문가들의 각각의 평가결과는 Figure 6과 같다. 평균점수와 각각의 평가 결과를 5개의 표로 나타내었다. Table 2은 평가자들의 총점을 보여주고 있다. 평가자들 사이의 편차는 예상보다 크게 나타났으며, 점수와 항목 간의 상관관계(Figure 7)는 크게 발견되지 않았다. 서술형 종합평가에서는 하나로 정의하기 힘든 다양한 의견을 제시하였다. 그러나 Figure 8의 그래프를 통해 프라우드소싱에 참여한 전문가들(B, C, D, E)이 채점한 점수의 평균과 비교군으로 설정한 설계전문 교수(A)의 점수를 비교하였을 때 유의미한 차이가 없음을 확인할 수 있었다.
이러한 결과는 프라우드소싱에 참여한 전문가들 각자의 평가 기준이 존재하여 점수의 편차가 클 수 있음에도 불구하고, 다수의 평가자가 모였을 때 그 결과는 비교군의 점수와 근사해진다는 것을 추론해 볼 수 있다.
B, C, D, E 전문가들의 평가는 항목별로 다소 엇갈리는 부분이 있었지만 평균적인 수치에서는 실제 스튜디오를 지도한 교수와의 평가와 유사해 지는 결과를 볼 수 있다. 보기에 따라 프라우드소싱을 통한 평가 결과와 기존의 방식이 대한 결과가 유사하여 프라우드소싱의 의미를 감소시키는 요인으로도 볼 수 있다. 하지만 개별적인 평가를 살펴보면 흥미로운 점을 찾을 수 있다. B, C, D, E 전문가들의 개별 평가는 전문가들에 따라 상이한 부분이 다수 존재한다. 설계 창작물은 주관적인 의견이 반영될 수 있음을 유추해 볼 수 있으나, 다수의 의견 종합을 통하여 그러한 주관성을 보완할 수 있어 프라우드소싱은 객관성을 부여하는 좋은 도구가 될 수 있는 의미 있는 결과로 보여진다. 나아가 그러한 주관적 평가로 인한 다양한 의견의 수렴이 가능한 수단으로 활용이 가능할 것으로 판단된다.
4.2 실험의 결과 분석
이번 실험결과에서는 설계스튜디오와 프라우드소싱의 평균값 간의 점수차이가 많이 나지않았지만, 전문가들의 점수 편차가 큰 것으로 보아 다른 프로젝트를 통해 실험이 이루어질 경우 설계스튜디오의 성적과 프라우드소싱의 점수가 크게 달라질 수도 있을 것이라 예측하였다. 이번 실험의 경우 평가에 참여한 전문가의 수가 많지않아 아주 많은 다수의 전문가가 필요한 프라우드소싱의 실험결과라고 단정짓기 어렵다는 한계점이 있다. 또한, 객관식 평가에 사용된 설문문항이 작품을 평가하는 적절한 기준인지에 대한 심화된 연구가 필요하다.
5. 고찰
앞서 서론에서 우리는 건축디자인 스튜디오에서 학생들의 불만사항과 공모전 심사과정에서의 문제점을 살펴보았다. 이 두가지의 문제점을 통해 학생들은 다양하고 객관적인 관점에서 작품이 평가되고, 그 평가과정과 결과는 모두가 인정할 수 있는 디자인 평가방법을 원한다는 것을 알 수 있었다. 또한 건축디자인은 명확한 평가기준이라는 것을 세우는 것은 어려우나 많은 학생들이 객관적 평가기준을 요구하고 있었다. 따라서 본 연구에서는 이를 근본적인 문제점을 해결하기 위해 다수가 평가에 참여하여 나름의 기준을 만들고자 크라우드소싱을 제안하였다. 하지만, 건축분야는 피난, 소방, 구조, 법규 등 전문성이 필수적인 분야이기에 비전문가인 대중이 아닌 다수의 건축 전문가 참여로 개념을 확장하고 프라우드소싱이라는 새로운 단어를 제시하였다. 프라우드소싱은 다수의 건축 전문가 집단이 평가자로 활동하여 객관성과 전문성을 동시에 가질 수 있다.
프라우드소싱을 통해 다수의 전문가의 코멘트를 제공하여 학생들이 소수의 전문가들에게 받은 평가 안에서만 정답을 찾고 따라가는 것이 아니라 건축디자인에 있어서 다양한 관점의 평가를 듣고 사고와 가능성을 넓혀나가도록 돕는다.
또한, 디자인평가의 객관적 기준을 만들 수는 없지만 다수의 평가를 종합하고 분석하여 객관성을 확보하고자 한다.
이를 통해 학생들은 보다 전문적이고 객관적인 평가를 다양하게 받아볼 수 있기에 점차 자신의 프로젝트를 발전시켜가는데 큰 도움이 될 것이다. 또한 다수의 건축 전문가의 의견을 종합하여 평가결과를 도출하기 때문에 어느한쪽에 치우치거나 소수 전문가의 주관성이 들어가지않은, 모두가 인정할 수 있는 건축디자인 평가가 될 것이라 기대한다.
본 연구는 소수의 전문가에 의해 결정되는 설계 디자인 평가 방식에 대한 의문을 던지고 이에 대한 대안을 제시했다는 의의를 지닌다. 특히, 학생들의 설계 디자인 평가에 있어 점수가 모든 것의 판단기준이 될 수는 없으나 모두가 인정할 수 있는 기준과 결과는 학생들의 도전의지를 더욱 고취시키고 투명한 경쟁구도를 만들 것이다.
또한, 프라우드소싱에서 지원할 다양한 매체의 활용은 기존 건축적 표현의 정석인 판넬과 모델로만 이루어지던 표현방식에서 벗어나게 할 것이다. 3d 모델링, AR. VR 등의 사용은 건축분야에도 점차 다가올 변화에 적절한 대응이 될 것이라 기대한다. 최종적으로는 프라우드소싱이 건축계에 점차 공정하고 투명한 심사의 장을 마련하여 우리 사회에 더 가능성 있고 좋은 설계안이 많이 선정되어 건축시장의 다양성 확보와 발전의 밑거름이 될 것이라고 생각한다.
실험을 진행하는 동안 몇몇 전문가들이 온라인상으로 평가를 진행하는 것에 대한 이의를 제기하였다. 아직 온라인 평가에 대한 인식이 건축분야에서 일반적이지 않다는 것을 보여준다. 실제로 대부분의 건축교육은 학생과 교수자간의 크리틱이라고 통칭되는 1:1 수업방식이 적극적으로 활용되고 있다. 그리고 이러한 오프라인에서 이루어지는 교육은 직접적인 대화와 토론, 및 실시간으로 이루어지는 스케치 등의 오프라인기반의 소통과 나아가 친밀한 관계 형성이나 감정적 교류 역시 중요한 요소를 차지하고 있다.
반면 본 연구에서 제안하고 있는 프라우드소싱을 이용한 디자인 평가 방식은 기본적으로 온라인 매체를 통한 소통을 취하고 있어 다수의 전문가의 평가를 받아볼 수 있는 장점이 있지만, 앞서 언급한 친밀한 관계 형성이나 감정적 교류를 통한 소통에는 상대적으로 불리하다고 볼 수 있다. 하지만 본 연구가 문제해결의 목적으로 하는 것은 온라인 소통으로 오프라인 소통의 효과를 누리는 방법에 대한 접근이라기 보다는 기준이 명확하지 않은 건축 작품에 대한 평가의 객관성을 어떻게 높일 수 있을까? 에 대한 방법론적인 해결책에 대한 제안이다.
다행이도 현재의 온라인 소통은 점차 오프라인의 소통에서의 단점을 점차적으로 극복하는 방향으로 발달하고 있다. 온라인 상에서도 이미지와, 음성 등을 통한 소통이 보편화되고 있으며 동영상, 실시간 라이브 등의 다양한 소통방식이 보편화 되고 있다. 나아가 메타버스(Metaverse)혹은 가상현실(Virtual Reality: VR)과 증강현실(Augmented Reality : AR)을 이용한 온라인의 오프라인화를 통하여 점차적으로 그 단점을 극복할 수 있을 것으로 기대한다.
본연구는 프라우드소싱의 개념을 새롭게 제안하고 프로토타이핑 모델을 통하여 실험한 것에 그 의의를 둘 수 있다. 웹 기반의 온라인 기술을 활용하여 경량화 된 환경구축이 가능하며 작품의 온라인 전시와 평가가 가능한 환경의 구축은 좀더 폭넓은 사용이 가능한 환경으로 확장이 가능할 것으로 보인다. 앞서서 제시한 새로운 건축 교육 환경과, 학생들의 자동화된 포트폴리오 저작 도구로써 활용이 가능하다. 이를 위해선 전문적인 플랫폼으로의 구축이 필요하며 이러한 교육 자료 및 결과물의 공유환경 구축은 최근의 빅데이터 기술을 활용하여 다양한 서비스 역시 가능할 것으로 판단된다. 실제로 이러한 온라인을 통한 중간과정의 기록과 결과물에 대한 평가 및 빅데이터 환경 구축은 과거 건축의 이러닝(e-learning)관련 연구에서 유사한 개념으로 제안되었던(Masud & Huang, 2012) 다수의 연구와도 맥을 같이 한다고도 볼 수 있다. 이러닝 교육환경 구축은 사실상 고려할 사항이 많은 방대한 개발요구로 인해 실효성 있는 결과물을 얻지 못하였지만 프라우드소싱이 제안하는 경량화 된 평가방식으로 시작하여 응용범위를 확장하는 방법은 보다 현실적인 개발 방법에 대한 좋은 아이디어를 제공할 것으로 기대한다.
후속연구로 실제로 다수의 전문가들을 모으고 학생들의 작품을 다양한 형태로 업로드 할 수 있는 플랫폼에 대한 연구를 진행하고 있으며 AR, VR 등을 활용한 추가적인 인터페이스 역시 고려하고 있다.
