1. 서론
1.1 연구의 배경 및 목적
1.2 연구의 범위 및 방법
2. 이론적 고찰
2.1 생성형 AI 기반 건축 시각화에 관한 선행연구
2.2 생성형 AI기반 이미지 생성 도구
2.3 건축가 스타일의 정의
3. 생성형 AI 기반 시각화
3.1 생성형 AI 기반 이미지 생성 방법
3.2 프롬프트 엔지니어링
3.3 추가학습
4. 생성형 AI 기반 건축 외관 시각화 방안
4.1 텍스트 기반 건축 외관 시각화
4.2 이미지 기반 건축 외관 시각화
5. 결론
1. 서론
1.1 연구의 배경 및 목적
건축 설계 분야에서 투시도 및 조감도를 포함한 다양한 시각화 자료는 매우 복합적인 설계 정보를 직관적이고 효과적으로 전달한다(Greenberg, 1974). 이러한 시각화 자료를 통해 건축물의 규모, 종류, 구조뿐만 아니라 건물의 형태, 자재, 색감, 장식 등의 디자인 요소가 특정한 조합으로 어우러진 건축가의 스타일 또한 파악할 수 있다. 즉, 이러한 시각 자료는 건축 단계에 참여하는 비전문가를 포함한 다양한 이해관계자들이 시공 전 설계 디자인 대안을 보다 포괄적이고 정확하게 이해하고 평가할 수 있도록 돕는 중요한 역할을 수행한다(Lee, 2018).
현대의 시각화 기법은 수작업으로 제작하는 스케치 및 모형과 같은 가장 전통적인 기법부터, 정확도가 높은 3D 모델링 도구, 렌더링 엔진, 이미지 편집 도구와 같은 디지털 기반의 도구를 활용한 시각화 기법까지, 다양한 선택지가 존재하며, 이러한 선택지는 점 더 효율적으로 발전하는 동시에 넓어지고 있다. 후자의 경우, 더욱 사실적으로 디자인 대안을 시각화할 수 있으며, 동시에 자료의 제작 및 수정뿐만 아니라 관리가 더욱 편리하다는 장점이 있다(Chiu, 1995; Eastman, 2009; Lee et al., 2022). 실제로, Enscape (2015), Lumion (2010), Twinmotion (2005)과 같은 GPU 기반 렌더링 엔진을 BIM (Building Information Modeling) 기반 3D 모델링 도구에 동기화하여 실시간으로 모델을 렌더링할 수 있다.
하지만, 여전히 각각의 건축 시각화 기법은 고도의 숙련도, 모델링과 같은 사전 작업단계 및 많은 작업시간이 요구된다(Azhar, 2011). 이에 다양한 대안을 탐색하고 최적의 대안을 찾는 과정이 한정된 시간과 자원으로 인해 축소 및 생략되기도 한다. 따라서, 효율적인 시각화 기술에 대한 연구개발이 지속적으로 필요하다. 최근에는 생성형 AI의 발전으로, 더욱 안정적인 텍스트 기반의 이미지 생성기술이 등장하였으며 이는 하나의 효율적인 시각화 기술 대안으로 대두되고 있다(Saharia et al., 2022). 현재, 사진 편집 및 그래픽 제작 도구에도 생성형 AI 기반 생성기술을 적극적으로 적용하는 추세이며, 건축 분야에서도 Veras (Evolvelab, 2023)와 같이 BIM 기반 모델링 도구에 연동하여 시각화 이미지를 생성하는 서비스가 도입되는 등, 생성형 AI의 설계 분야 활용 가능성이 주목된다.
본 연구는 기존의 여러 단계에 걸쳐 오랜 시간 동안 제작되었던 건축 시각화 단계를 단순화하고 초기 설계 단계의 업무의 효율성을 개선하기 위하여 건축가 고유의 디자인 특징을 반영한 생성형 AI 기반 외관 디자인 시각화 접근방안을 제안하고자 한다(Figure 1). 이에 유명 건축가의 스타일을 대상으로 생성형 AI 추가학습을 기반으로, 더욱더 효율적이고 창의적인 생성형 AI 활용 방향을 제시하는 것을 목적으로 한다.
1.2 연구의 범위 및 방법
본 연구는 건축가 스타일을 반영한 설계 대안 시각화에 생성형 AI의 활용성을 검토하고 활용 방안을 제시한다. 이에 국제 건축상을 받거나 세계적인 영향력을 끼친 유명 건축가 중 20인을 무작위로 선정하여 해당 건축가의 스타일 기반 시각화를 통해 생성형 AI의 활용도를 평가한다. 이때, 결과물 이미지 간의 스타일 반영도를 보다 균등하게 비교하기 위해 시각화 대상을 주거 건물의 외관으로 한정한다. 또한, 본 연구의 건축가 스타일의 반영도는 건축 관련 시각적 요소에 한하여 정성적 및 정량적으로 평가한다.
본 연구의 방법은 다음과 같다. 첫째, 문헌 고찰을 통해 건축 시각화에 활용 가능한 생성형 AI 모델을 탐색하고, 건축가 스타일의 구성요소를 분석한다. 둘째, 생성형 AI 기반의 시각화 방법 및 세부 조정 요소를 모색하고, 효과적인 시각화 방법을 상세하게 소개한다. 특히, 추가학습모델 구축을 통해 해당 시각화 접근방안의 활용도 및 정확도를 높이는 방법을 제시하고, 추가학습 모델의 효과는 Clipscore (Hessel et al., 2022)를 통해 정량적으로 평가한다. 셋째, 건축가의 관점에서 생성형 AI 및 추가학습 모델기반 이미지 생성기술별 건축 시각화 활용방안을 모색하고 생성 시연을 통해 해당 방안의 활용성을 검토한다. 활용성은 AI 모델의 정확도에 초점을 맞춰 요구사항과 결과물 간의 일치도를 정성적으로 채점하여 평가한다.
2. 이론적 고찰
2.1 생성형 AI 기반 건축 시각화에 관한 선행연구
생성형 AI는 학습된 내용을 기반으로 새로운 콘텐츠를 생성한다. 이러한 AI의 등장은 단순한 데이터 분석 및 예측과 같은 기존의 데이터 처리업무를 넘어서 ‘창의성’에 대한 논의를 다루는 예술 및 건축 분야를 포함한 다양한 분야의 변화를 가져왔다. 특히, Generative Adversarial Networks (Goodfellow et al., 2014; 이하 GAN)과 Diffusion Model (Sohl-Dickstein et al., 2015)을 중심으로 텍스트 기반의 이미지 생성 및 이미지 처리 기술이 발전하면서, 건축 분야에서도 관련 연구가 활발히 진행되고 있다.
Cho & Lee (2021)는 ConditionalGAN을 활용하여 도면 스케치를 RGB 색상 기반의 메타 도면으로 변환하는 연구를 진행했으며, Han & Shin (2021)은 스케치 Pix2Pix 알고리듬을 기반으로 건축 스케치를 구체화하는 기술에 대한 기초연구를 수행하였다. Choi & Lee (2022)은 CycleGAN을 기반으로 사진 내 인테리어 스타일 변환 용도의 활용 가능성을 확인하였으며, Cheon et al. (2022)은 StyleGAN을 이용해 한국의 전통 건축양식과 모더니즘을 융합하여 새로운 타이폴로지를 제안하였다. 최근에는, Diffusion 모델을 활용하여 추가학습을 통한 건축도면 및 시각화 이미지를 자동 생성하는 기술에 관한 연구가 진행되고 있다(Choi & Lee, 2023; Jeong & Lee, 2023). 또한, Jo et al. (2024)은 건물의 입면과 특정 지역 스타일을 기반으로 건물 시각화를 위한 추가학습 모델 구축 방안에 관한 연구를 수행하였다.
초기 이미지 생성 기술인 GAN의 경우, 결과물의 품질 및 사용 방법에 있어 실제 활용 시 많은 제약이 있었다. 하지만, 생성형 AI 기술의 발전으로 이미지 생성기술의 정확도 및 성능은 지속해서 향상되었다. 특히, Diffusion model의 경우, 더욱 안정적인 결과물을 생성하는 것을 볼 수 있다. 이로 인해 건축 분야에서의 생성형 AI 적용 연구가 확대되고 있다. 하지만, 현재의 연구는 주로 특정한 각도나 스타일에 한정된 시나리오를 중점으로 이미지 생성기술의 상세화와 고도화에 초점을 맞추고 있다. 따라서, 건축가의 관점에서 AI 기반 시각화 기술의 다양한 활용 방안을 모색하고, 이에 관한 구체적인 사례 및 응용 연구가 필요하다.
2.2 생성형 AI기반 이미지 생성 도구
2020년부터 다양한 생성형 AI 기반 이미지 생성 플랫폼이 공개되었으며, 이를 통해 이미지 생성 및 처리 서비스가 제공되고 있다. 대표적인 플랫폼은 DALL-E (Ramesh et al., 2022; Betker et al., 2023)와 Midjourney (Oppenlander, 2022), Stable Diffusion (Rombach et al., 2022)이 있다. 해당 플랫폼들은 각각의 고유한 방법으로 사전 학습된 생성 AI 모델을 활용하여 텍스트 기반 이미지 생성(Text-to-Image), 이미지 기반 이미지 생성(Image-to-Image), 이미지 내 일부 편집(Inpaint), 이미지 경계 확장(Outpaint), 추가학습(Fine-tuning)과 같은 기능을 제공하고 있다(Table 1).
Table 1.
Available functions of generative AI-based Image generation platforms
| AI based-image generation platforms | Model type | Available functions | ||||
| Txt- to- Img | Img- to- Img | Inpaint | Outpaint | Fine- tuning | ||
|
DALL-E 2 (Ramesh et al., 2022) |
Transformer-based neural network | ● | ● | ● | ● | ○ |
|
DALL-E 3 (Betker et al., 2023) |
Transformer-based neural network | ● | ○ | ○ | ○ | ○ |
|
Midjourney (Oppenlaender, 2022) |
Transformer/deep learning model | ● | ● | ● | ● | ◐ |
|
Stable Diffusion (Rombach et al., 2022) | Diffusion model | ● | ● | ● | ● | ● |
각 플랫폼은 이러한 기능들을 자체적인 방식으로 제공하며, 이에 따라 다양한 장단점이 존재한다. 따라서 사용자는 자신의 목적에 맞게 가장 적합한 플랫폼을 선별하여야 한다. 그 중, 공개 모델인 Stable diffusion은 사용자 맞춤형 모델을 구축할 수 있는 추가학습 기능을 제공함으로써, 건축가의 개별적 스타일에 맞는 맞춤형 이미지 생성과 다양한 활용 및 시연을 가능하게 한다. 따라서, 해당 모델은 로컬환경에서 생성형 AI 기반 이미지 생성기술의 확장된 활용 방안을 모색하기에 적합하다.
2.3 건축가 스타일의 정의
Schapiro (1961)에 따르면, 스타일은 일관된 형태, 요소, 특성, 그리고 표현을 바탕으로 구성된다. 이러한 요소들의 조합이 특정 스타일을 형성하며, 이를 통해 시대, 디자이너 그룹 또는 개인 간의 차이를 구별할 수 있다(Chan, 1992). 또한, 이러한 특성들이 다수의 작품 간에 반복되는 빈도수가 높을수록 해당 스타일의 인식률은 강화된다. 이에 따라, 최소 세 작품에서 네 가지의 특징이 관찰되면, 하나의 스타일로 간주할 수 있다(Chan, 1994). 결과적으로, 스타일은 반복되어 나타나는 단순한 특징들로 간략화하여 정의할 수 있다.
건축가의 스타일은 다양한 시각적 특징을 포함하는데 (Moussavi, 2021), 이러한 특징들을 모두 고려하여 스타일을 정의하는 것은 매우 복잡하며 까다롭다. 그러나 최소한의 특징만으로도 충분히 스타일을 구별할 수 있으므로, 모든 요소를 포함하는 것은 불필요하다. 그렇기에 Chan (1994) 역시 Frank Lloyd Wright의 건축 스타일을 정의할 때, 창문의 모양, 우진각지붕, 갓돌, 대칭, 기단(基壇)과 같이 몇 가지 시각적 요소의 유무를 기반으로 해당 스타일을 정의하였다.
본 연구에서는 이러한 개념을 바탕으로 건축가의 스타일을 형태(Form), 자재(Materiality), 구조(Structure)의 세 가지 주요 특성에 초점을 맞추어 구분한다. 여기서 형태는 곡선과 직선의 특성(Ching, 2023), 자재는 시각적으로 두드러지는 외장재(Hartoonian, 2016), 구조는 건축의 골조 및 구조에 따른 공간의 연결성(Sandaker et al., 2022)을 의미한다. 본 연구에서 스타일의 구분체계를 AI 기반으로 생성된 이미지의 정확도와 활용성을 비교 및 평가하는 데 활용하며, 이때, 스타일의 본질보다는 스타일이 수반하는 시각적 특성에 중점을 둔다.
3. 생성형 AI 기반 시각화
3.1 생성형 AI 기반 이미지 생성 방법
Diffusion 기반 생성형 AI는 사전 학습된 데이터를 기반으로 한 잠재공간에서 노이즈를 추가하고 제거하는 과정을 반복하여 주어진 텍스트 데이터에 부합하는 이미지를 점진적으로 생성한다. 이러한 이미지 생성과정에서 AI 모델, 파라미터, 그리고 프롬프트가 필수적이며, 사용자가 AI 모델에 프롬프트를 입력하면 설정된 파라미터에 따라 최종 이미지가 형성된다. 단순히 프롬프트를 통해 텍스트 기반으로 이미지를 생성하는 방식을 Text-to-image 생성이라 칭하며, 시드 이미지(Seed image)와 프롬프트를 함께 입력하여 해당 이미지를 텍스트에 부합하도록 변형하여 새로운 이미지를 생성하는 방식을 Image-to-image 생성이라고 한다.
프롬프트는 사용자의 요구사항을 자연어로 기술하는 명령어로, 이미지 생성 AI 모델에서 원하는 결과물을 얻는 데 매우 중요한 역할을 한다. 예를 들어, “A residential house (주택)”이라고 입력하면, AI 모델은 학습된 데이터에 한해서 주택에 해당하는 이미지를 생성할 것이다. 파라미터는 결과물에 대한 조건을 결정하는 변수들로, 생성할 이미지의 크기 및 화질, 이미지를 추출하는 방식과 결과물을 추출하기까지 거치는 이미지 추론단계의 수, AI 모델에 대한 의존도 등을 포함한다(Table 4). 이미지를 추출하는 방식에 따라 결과물의 표현방식이 달라지고, 이미지 추론단계의 수가 높아질수록 이미지가 더욱 상세해지는 등, 구체화 되는 정도가 달라지기 때문에, 필요한 용도와 목적에 가장 적합한 값을 선정해야 한다. Figure 2는 “A residential house” 프롬프트와 4.1절의 파라미터에 비교 대상 파라미터만 변경하여 생성한 이미지들이다. 해당 결과물을 통해 각각의 파라미터가 생성에 어떠한 영향을 주는지 관찰할 수 있다.
3.2 프롬프트 엔지니어링
이미지 생성 AI는 입력된 프롬프트에 기반하여, 그에 해당하는 이미지를 생성한다. 이때, 입력하지 않은 사항에 대해서는 AI 모델이 임의로 생성한다. AI 모델은 사용자가 부가 설명을 제외하고 “A residential house”만 프롬프트로 입력하여도 주택에 해당하는 이미지를 생성할 것이다. 하지만, 건물의 양식, 재질, 구조, 창호의 모양 등, 주택 외관을 이루는 여러 가지 디자인 요소와 배경은 기존 학습 내용에 한해 무작위로 생성할 것이다. 즉, 프롬프트를 간략하고 모호하게 입력할수록, 결과물을 추출하기까지 변수가 많아지고, 사용자의 요구사항에 정확히 일치하는 결과물을 획득할 확률은 낮아진다. 그러므로 사용자가 원하는 기준을 충족하는 결과물을 얻기 위해서는 입력 프롬프트가 상세하고 명확해야 한다.
프롬프트를 체계적으로 구성하는 기술을 프롬프트 엔지니어링(Prompt engineering)이라고 하며, 이를 활용하여 사용자는 자신의 요구사항에 충족하는 결과물을 쉽게 얻을 수 있다. 해당 기술을 바탕으로, 고품질의 건물 외관 시각화 이미지를 얻기 위한 프롬프트는 Table 2와 같이 구성된다. Scene Description Prompts (SDP)는 주요 묘사내용(Main subject), 묘사내용을 담아내는 표현방식(Graphic style)과 구도(Composition)와 관련된 프롬프트를 포함하며, Resolution Prompts (RQP)는 해당 결과물의 화질과 관련된 모든 프롬프트를 포함한다. 각각의 프롬프트를 입력할 때, 반영하고자 하는 요소는 Positive prompt로, 오류 사항과 같이 제외하고 싶은 요소는 Negative prompt로 입력한다.
Table 2.
Composition of prompts with an example for photorealisitc rendering of residential house
Figure 3은 프롬프트의 구조와 상세한 정도에 따른 주택 외관 이미지의 품질 차이를 나타내며, 이를 통해 프롬프트 엔지니어링의 중요성을 확인할 수 있다. Figure 3의 모든 이미지는 주택건물의 정면 투시도를 목표로 하였으며, 동일한 파라미터를 바탕으로 생성되었다. 하지만, 주요 묘사내용(Main subject)만 입력하였을 때와 결과물의 표현방식(Graphic style), 구도(Composition) 및 화질(Resolution)에 관련된 프롬프트를 입력하였을 때, 생성된 이미지 품질은 확연히 차이가 난다. 단순히 주요 묘사내용만 입력하였을 때는 정면에 해당하는 이미지를 획득하기 어려웠을 뿐만 아니라 이미지 속 주택의 질감 표현과 명암의 표현이 다소 단순하였다. 반대로, 구도와 표현방식에 대해 입력한 경우, 목표에 가까운 결과물을 비교적 쉽게 획득할 수 있었으며, 화질에 대한 프롬프트로 더욱 선명한 이미지를 얻을 수 있었다. 이처럼, 이미지를 생성할 때, 프롬프트 엔지니어링을 바탕으로 원하는 요구사항을 구조적이고 명확하게 입력하는 것이 필요하다.
3.3 추가학습
프롬프트가 원하는 바를 명료하게 묘사하여도, 해당 AI 모델이 그와 관련된 데이터가 없거나 올바르게 인식하지 못한다면, 해당 요구사항을 반영한 이미지를 생성하기 어렵다. 기존 모델 성능의 사전 테스트 결과, 대부분의 건축가 스타일을 인식하고 해당 스타일의 시각적인 특징을 올바르게 반영한 이미지를 생성하지만, 일부 건축가들에 대한 인식률은 현저히 낮은 것으로 나타났다. 특정 건축가 스타일을 인식하지 못하는 경우 서양식 주택 외관 이미지를 생성하였으며, 해당 스타일의 특징과 관련된 키워드를 추가로 입력하여도 해당 스타일을 정확하게 구현하는 데 한계가 있었다. 이러한 경우, 해당 건축가 스타일과 관련하여 추가학습을 통해 기존 모델의 성능을 향상시킬 필요가 있다.
추가학습모델은 LoRA (Low Rank Adaptation) 학습 방법(Hu et al., 2021)을 통해 소량의 학습 데이터셋으로도 구축할 수 있으며, 이를 위해서는 학습대상 모델과 하이퍼파라미터, 그리고 고품질의 데이터셋이 필요하다. 학습 데이터셋은 학습 내용을 담은 이미지 데이터와 해당 이미지를 묘사하는 텍스트 데이터로 구성되며, 두 종류의 데이터를 한 세트로 학습한다. 추가학습은 세 단계로 이루어져 있으며, 학습 데이터의 수집 및 구축, 학습 데이터 전처리, 그리고 추가학습 순으로 진행된다(Yoo & Lee, 2023). 추가학습이 완료되면 한 개의 추가학습모델 파일이 생성되며, 이를 기존 모델에 추가 적용하여 학습된 요구사항을 반영한 이미지를 생성할 수 있다.
본 연구를 위해, 기존 모델이 인식하지 못하던 건축가 스타일을 대상으로 추가학습을 진행하였다. 학습대상마다 160-200여 개의 데이터셋을 수집 및 전처리를 통해 구축하였고, 이를 Table 3에 명시된 하이퍼파라미터를 기반으로 학습시켜 총 8개의 추가학습 모델을 구축하였다. 추가학습모델은 적용 강도를 조절하여 사용할 수 있는데, 이때, 적용 강도의 최솟값은 0으로, 추가학습 모델을 전혀 적용하지 않는 것을 의미하며, 1은 모델을 100%로 적용하는 것을 의미한다. Figure 4에서 적용 강도가 1에 가까워질수록 점차 해당 건축가 스타일에 유사한 이미지를 생성하는 것을 볼 수 있으며, 이를 통해 기존 모델을 사용했을 때(a)와 비교하여 추가학습 모델의 효과를 확인할 수 있다.
Table 3.
Hyperparameters used for fine-tuning
동시에, 추가학습 모델의 효과를 이미지와 텍스트 간의 일치도를 계산하는 Clipscore를 기반으로 정량적으로 평가하였다(Hessel et al., 2022). 공개 모델 CLIP ViT-B/32를 기반으로 건축가의 실제 건축물 사진과 기존 모델 및 추가학습 모델로 생성한 이미지를 동일한 건축가 스타일의 특징 키워드와 비교하여 일치도를 평가였으며, 결과는 Figure 5와 같다. 추가학습 모델의 적용 강도가 높아질수록, 실제 사진의 일치도 평균 값과 유사해지는 것을 볼 수 있으며, SANAA 스타일의 경우, 기존 모델과 추가학습 모델의 효과의 차이는 약 47.02%이었다. 이는 비교적 적은 데이터셋 만으로도 효과적인 학습효과를 기대할 수 있음을 나타낸다.
4. 생성형 AI 기반 건축 외관 시각화 방안
4.1 텍스트 기반 건축 외관 시각화
건축가는 Text-to-image 기법을 활용하여, 초기 설계 단계에서 외관 디자인에 대한 아이디어를 텍스트로 묘사한 후, 이를 기반으로 수많은 레퍼런스 이미지를 생성할 수 있다. 특히, 앞선 추가학습 방법을 기반으로 사용자 본인의 설계 스타일 혹은 선호하는 스타일을 학습한 모델을 구축할 수 있으며, 해당 추가학습 모델을 활용하여, 더욱 편리하게 개인의 미적 요구사항에 구체적으로 부합하는 레퍼런스 이미지를 획득할 수 있다. 본 절에서는 무작위로 선정한 유명 건축가 20인을 대상으로 Text-to-image 기반 이미지 생성 시연을 통해 해당 시각화 기법의 활용성을 검토한다. 이를 위해 각 건축가 스타일을 적용한 일반주택 외관 이미지를 생성하였으며, 생성 결과물을 각 건축가의 시각적 특징 반영 여부 및 시각화 이미지의 품질을 정성적으로 평가하였다.
Table 5의 결과물 이미지는 ‘Architect-inspired residential house’와 건축 시각화 이미지에 보편적으로 사용되는 사실적인 렌더링 투시도를 위한 프롬프트(이하 Photorealistic rendering prompt set)를 사용하여 생성한 예시다. 결과물 간의 정확한 비교분석을 위하여 건축가의 이름 외에 해당 스타일에 대한 부가 설명을 입력하지 않았으며, 파라미터도 Table 4의 값을 일괄적으로 사용하였다. 인식률이 낮은 일부 건축가(Ando Tadao, I.M. Pei, Le Corbusier, Louis Kahn, Luis Barragan, Renzo Piano, SANAA, Shigeru Ban)의 경우, 3.3절의 방법론을 활용하여 구축한 모델을 0.9 강도로 적용하여 시각화를 진행하였다.
Table 4.
Parameters used for text-to-image visualization
해당 방법을 통해 약 15,000장의 이미지를 생성하였으며, Table 5는 생성된 이미지의 일부 예시이다. 생성된 이미지는 각 건축가의 스타일 특징 반영 정도와 특정 건물 유형의 특징 반영 정도, 그리고 렌더링 이미지의 품질을 종합적으로 평가하였다. 이를 위해 건축가마다 해당하는 특징을 키워드(Keywords for Evaluation)로 추출하였으며, 해당 키워드 목록을 결과물 이미지와 비교하여 해당 특징의 반영 여부를 채점하였다. 평가 결과, 대다수의 결과물 이미지가 건축가 스타일의 특징 키워드에 해당하는 시각적 요소를 올바르게 묘사하였다. 예를 들어, I.M.Pei의 경우, 기하학적인 형태와 유리 및 철제 재질을 통해 투명성을 강조한 건물의 이미지를 생성하였고, Zaha Hadid의 경우, 미래지향적이고 유동적인 형태와 재질을 강조한 건물 외관 이미지를 주로 생성하였다.
Table 5.
Generated images based on text-to-image method for single architects’ styles
또한, 다양한 방법으로 건축가 스타일을 조합하여 새로운 스타일의 건물 외관 이미지를 생성할 수 있다. 스타일 조합(Fusion)을 통해 두 가지 스타일의 특징들을 융화(Merge)하거나, 반대로 하나의 스타일에서 다른 스타일의 특징을 제거(Subtract)할 수 있다. 스타일 조합을 기반으로 한 이미지 생성 시연 시, 결과물의 일관적인 평가를 위해 앞선 단일 스타일 기반 이미지 생성과 동일한 파라미터를 사용하였다. 프롬프트의 경우, 주요 묘사내용(Main subject)을 Table 6과 같이 조정하였으며, 스타일에 대한 추가적인 상세 묘사 프롬프트는 제외하였다.
Table 6.
Main subject prompts for architect’s style fusion
| Fusion type | Positive prompt | Negative prompt |
| Merge (A+B) | Architect A and architect B-inspired residential house | - |
| Subtract (A－B) | Architect A-inspired residential house | Architect B’s design features |
단일 스타일 기반 이미지 생성 결과, 개인의 특징이 비교적 일관되고 뚜렷한 7인의 건축가 스타일을 기반으로 스타일 혼합을 진행하였으며, 이 과정에서 약 5,000장의 이미지를 생성하였다. 그중 조형적으로 유의미한 변화가 관찰된 4가지 스타일 조합을 발견하였으며(Table 7), 이러한 결과물에서 나타난 스타일 조합 패턴은 다음과 같다. 두 가지 스타일을 결합할 때는 서로 다른 특징들을 포괄적으로 반영되며, 특징이 상반될 경우, 해당 특징이 완화되어 묘사된다. 한 스타일에서 다른 스타일을 제외할 경우, 두 스타일 간 중복되는 특징이 주로 제거되고, 이때 다른 재질 또는 반대의 형태 등이 반영된다. 예를 들어, Antoni Gaudi와 Frank Lloyd Wright 스타일을 결합하였을 때, Gaudi의 곡선적인 형태와 Lloyd Wright의 수평적으로 길게 뻗은 지붕을 동시에 반영하여, 상반된 형태적 특징이 완화되어 나타났다. SANAA 스타일에서 Zaha Hadid의 스타일을 제거했을 때는, 두 건축가가 공통적으로 가진 곡선적인 형태와 하얀 색상이 제외되어 그 외의 SANAA 다른 특징만 반영되었다.
Table 7.
Generated images based on text-to-image method for multiple architect’s style fusion
설계 초기 단계에서 건축가는 설계에 참고할 레퍼런스 이미지를 인터넷 또는 잡지 등에서 검색하는 대신, 텍스트 기반 시각화를 통해 직접 생성할 수 있다. 제안된 방법은 모호한 디자인 컨셉을 직관적으로 표현할 뿐만 아니라 각 프로젝트의 특성 및 환경을 고려한 맞춤형 레퍼런스 이미지를 더욱 짧은 시간 내에 제공한다. 이로써, 레퍼런스 이미지를 탐색 및 구체적 아이디어 도출 과정을 간소화할 수 있다. 더불어, 학습된 단일 스타일을 구현하는 데에 국한되지 않고 사용자의 활용 방법에 따라 다양한 스타일 조합으로 더욱 창의적인 아이디어를 탐색하는 데에도 유용할 것으로 사료된다.
4.2 이미지 기반 건축 외관 시각화
Image-to-image 생성기법을 통해 스케치, 사진, 캡쳐 이미지를 포함한 다양한 이미지를 입력 프롬프트에 맞게 수정할 수 있으며, 이는 간략한 디자인 대안이 수시로 수정되고 바뀌는 초기 설계 단계에서 사실적인 시각화 자료를 제작하는 데 유용하다. 해당 기법을 통해 건축가는 디자인 아이디어를 실제 진행 중인 디자인 대안에 입혀 상세하고 직관적인 렌더링 이미지를 얻을 수 있다. 본 절에서는 Image-to-image 기법 기반의 이미지 생성 시연을 통해 해당 기술의 건축 렌더링 기반 시각화에서의 활용성을 정성적으로 탐색한다.
초기 설계 단계에서 자주 사용되는 매스 모델링의 특정 구도로 캡처한 이미지를 바탕으로 이미지 생성을 수행하였다. 이미지 생성에 사용한 파라미터와 프롬프트는 앞서 텍스트 기반 건축 외관 시각화에서 사용한 값을 일관되게 사용하였으며, 프롬프트의 경우 캡쳐한 각도에 따라 ‘Frontal view’ 또는 ‘Isometric view’와 같이 구도(Composition)와 관련된 프롬프트를 일부 수정하였다. 또한, 시드 이미지의 구도를 일관되게 유지하기 위해, ControlNet 이미지 프로세싱 기법(Zhang & Agrawala, 2023)을 추가로 사용하였으며, 해당 프로세서를 사용하는데 설정한 파라미터는 Table 8과 같다.
Table 8.
Parameters for seed image used in image-to-image visualization
제안된 방법을 통해 각각 단일 스타일 및 4.1절의 Table 6에 기술된 프롬프트를 기반의 스타일 조합으로 생성한 렌더링 이미지 예시는 Table 9에 제시되어 있다. 대부분의 이미지 결과물은 입력된 시드 이미지의 건축적 외형을 보존하면서도 특정 건축가의 스타일을 유사하게 반영하였다. 전반적으로 4.1절의 Table 5 및 Table 7과 비슷한 양상의 단일 스타일과 창의적인 스타일 조합 반영 결과를 관찰할 수 있다.
Table 9.
Generated images with image-to-image method
Image-to-image 생성기법을 이용한 생성과정은 기본적으로 시드 이미지의 윤곽을 기반으로 하지만, 창문과 같이 본래 명시되지 않았던 요소가 새롭게 구현되거나, 텍스트 프롬프트와의 일치성을 높이기 위해 실제 윤곽선에 일부 변형을 가하는 때도 있다. 특히, Zaha Hadid과 Antoni Gaudi와 같이 곡선이 두드러지는 스타일을 가진 경우, 스타일 반영에 중점을 두어 기존 시드 이미지 구조에서 변형된 결과물을 생성하였다. 이러한 변형은 Control Weight 파라미터를 낮게 조정함으로 발생하며, 해당 파라미터를 높게 조절할 경우, 시드 이미지의 윤곽을 더욱 정확하게 반영하는 이미지를 생성할 수 있다. 또한, 시드 이미지가 실제 건축 사진이나 명확한 예시 그림일 경우, 더욱 우수한 결과를 얻을 수도 있다. 즉, 이미지 기반 시각화 기법은 사용자의 목적과 그에 따른 시드 이미지의 종류 및 세밀한 파라미터 조정에 맞추어 다양하게 활용될 수 있다.
본 절에서 시연된 접근법은 건축 초기 설계 단계에서 기존 건물의 사진에 리모델링 아이디어를 탐색하거나, 대략적인 건물의 형태에 대한 디자인 대안을 모색하고, 최종 모델의 시각화 이미지를 제작하는 등, 다양한 목적의 시각화에 사용할 수 있다. 이미지 생성에 소요되는 시간은 일반적으로 5-10초 정도로 매우 짧으며, 기존 렌더링 엔진과 달리 고도의 숙련도가 필요하지 않다. 따라서, 이미지 기반 시각화 기술은 설계과정에 드는 시간과 자원을 절약할 수 있는 하나의 효율적인 렌더링 도구로 사료된다.
특히, 정보 중심적인 BIM 환경 내에서도 해당 접근법을 활용하여 실시간으로 설계 모델을 심미적이고 구체적으로 렌더링할 수 있다. 이는 건축 정보뿐만 아니라 심미적 시각 정보를 제공함으로써 비전문가에게도 설계 의도를 명확히 전달하여 원활한 의사소통을 지원할 것이다. 또한, BIM 사용자로 더욱더 통합된 설계를 가능하게 하여 설계과정의 일관성과 작업 효율 및 품질을 높일 수 있을 것이다.
5. 결론
본 논문은 초기 설계과정에서 건축가의 스타일을 반영한 건축 외관 디자인 시각화를 위한 생성형 AI의 활용 방안을 제안하고, 이를 통해 건축 분야에서의 적용 가능성을 실증적으로 탐구하였다. 건축가 스타일이란 제한된 범위의 주거 건물 외관 사례를 통해 시연하였지만, 생성형 AI 기술의 적용 가능성과 더욱 다양한 활용 방향을 제시한 것에 의의가 있다. 본 연구에서 도출된 주요 시사점은 다음과 같다.
첫째, 생성형 AI 기반의 시각화 기술을 활용하면 수초 내에 다양한 디자인 대안을 시각화할 수 있으며, 이는 초기 디자인 과정에서 다양한 아이디어를 빠르게 탐색하고, 상세 모델링 과정 없이도 렌더링하는 데 유용하다. 이는 디자인 대안의 빠른 변경과 평가가 필요한 상황에서 직관적인 이미지를 통해 사용자가 더 효율적으로 의사결정을 할 수 있도록 지원하며 디자인 과정을 효율화할 수 있다.
둘째, 생성 결과물의 품질은 정교한 프롬프트 엔지니어링과 적절한 파라미터 설정을 통해 개선될 수 있다. 본 연구에서 사용된 프롬프트는 기존 모델의 성능을 파악하기 위해 부가 설명 프롬프트는 제외한 것으로, 사용자는 요구사항을 상세하게 포함하여 더욱 구체적인 결과물을 얻을 수 있다. 또한, 추가학습을 통해 기존 모델의 성능을 향상시키고, 사용자의 디자인 스타일을 학습하여 목적에 더욱 맞춤화된 사용이 가능하며, 학습 범위는 다양한 시대, 장소, 문화로 확장될 수 있다.
생성형 AI 기반 시각화 기술은 디자인 대안을 신속하게 생성하는 유용한 도구이지만, 결과물이 비트맵 이미지로 제한된다. 이미지 역시 설계과정에서 유용하게 사용되지만, 디자인 과정을 매끄럽게 이어가는 데에는 한계가 있다. 따라서, 생성된 시각화 이미지가 실질적인 모델링으로 이어질 수 있는 3D 시각화 기술로의 확장을 위한 후속 연구를 진행할 계획이다.
