1. 서론
1.1 연구의 배경 및 목적
1.2 연구의 범위 및 방법
1.3 문헌조사
2. IoT 데이터수집 프로세스 및 아키텍처 디자인
2.1 유스케이스와 프로세스 디자인
2.2 시스템 아키텍처 디자인
3. 환경데이터 예측 및 이상패턴 검출 모델설계
3.1 데이터 예측모델 디자인
3.2 이상패턴 검출모델 디자인
4. 프로토타입 구현 및 성능 분석
4.1 프로토타입 구현
4.2 프로토타입 실행 및 성능 확인
5. 결론
1. 서론
1.1 연구의 배경 및 목적
딥러닝 기반 이상탐지기술은 컴퓨터 비전, 음성 인식, 자연어 처리 등 다양한 분야에서 사용되고 있다. 이 기술은 예상되는 패턴이 있는 데이터셋을 기반으로 한 학습 모델을 이용해, 현장에서 입력되는 데이터셋의 특징을 학습모델과 비교하여 이상값을 탐지할 수 있다. 최근 딥러닝 기반 이상탐지 기술은 제조 장비 이상 모니터링, 금융 사기 탐지, 네트워크 해킹 탐지, 의료 영상에서의 이상감지 등 다양한 분야에서 응용되고 있다.
하지만, 건설·건축 분야는 늦은 디지털 전환으로 인한 도메인 지식 디지털화 부족, 학습 데이터 부족, 현장 데이터 실시간 수집·처리의 어려움으로 인해 딥러닝 기반 데이터 이상탐지기술에 대한 국내 연구가 많지 않은 상황이다. 딥러닝 기반 이상탐지기술은 정확성과 효율성 측면에서 이점을 제공한다.
딥러닝 모델은 대량의 데이터를 학습하고 패턴을 인식하는 능력이 있으며, 이를 통해 일반적인 패턴과 비정상적인 패턴을 식별할 수 있다. 또한, 딥러닝은 데이터 특징을 사전에 정의하지 않고, 자동으로 이상패턴을 추출할 수 있으므로, 기존의 규칙 기반 방법보다 노이즈에 강건하고, 유연성이 높다.
건축물 관리 관점에서, 인간이 거주하는 건축공간은 환경 요소들과 상호작용을 통해, 쾌적성과 효율성을 만족도록 관리되어야 한다. 건축공간의 환경을 효과적으로 관리하고 유지하기 위해서는 정확한 환경 상태를 실시간으로 모니터링할 필요가 있다. 건축공간의 온도, 습도, 조도와 같은 환경요소를 모니터링하여, 이를 예측하고, 이상패턴을 자동으로 식별할 수 있다면, 효과적인 환경관리가 가능할 것이다.
이 연구는 건축공간 환경관리를 위한 모니터링 관점에서 필요한 데이터를 IoT(Internet of Things)로 획득하고 이를 데이터베이스화하여, 딥러닝을 학습한 후 이상패턴을 지원하는 AI (Artificial Intelligence) 딥러닝 기반 이상탐지 구현 프로세스를 제안한다.
본 연구의 결과는 건축공간 환경관리에 대한 효과적인 환경 이상패턴감지 솔류션 프로세스와 아키텍처를 제시하여, 이의 활용 가능성을 입증한다. 제안된 방법은 IoT로부터 수집되는 실시간 데이터 처리와 분석을 통해 빠른 대응이 가능하도록 한다. 제안한 효과를 확인하기 위해 프로토타입 구현을 통한 성능 분석을 수행하여 결과를 도출한다.
1.2 연구의 범위 및 방법
건축공간 환경관리 지원을 위한 AI·IoT 기반 이상패턴 검출에 관한 연구를 위해, 다음과 같은 방법으로 연구를 진행한다.
∙연구 목표 및 범위 정의
∙관련 문헌 및 연구 사례 조사
∙건축공간 환경모니터링 유스케이스 정의
∙프로세스 및 아키텍처 디자인
∙환경데이터 예측모델 디자인
∙환경데이터 이상패턴 검출모델 디자인
∙프로토타입 개발 및 성능 분석
∙결론 도출
Figure 1은 본 연구 방법을 정의한 흐름도이다.
연구 목표 및 범위는 건물환경 이상패턴검출에 필요한 IoT 데이터 수집·저장·처리 방법, 딥러닝 모델 학습·훈련· 예측·이상패턴 검출에 한정한다. 연구 목적 상 이상패턴 검출 모델 개발을 위한 프로세스와 아키텍처에 초점을 맞추고 있으므로, 효과적인 연구를 위해 학습할 환경모니터링 데이터셋은 운영 중인 N대학 건축물 오피스 공간에서 실시간으로 수집한 시계열 온도 데이터를 활용한다.
1.3 문헌조사
효과적인 건축공간 환경관리·모니터링을 위한 IoT 기반 이상패턴 감지 방법에 관한 연구를 살펴보고, 이를 통해, 모델 개발을 위한 고려사항을 확인한다.
BIM기반 유지관리에 관한 연구가 있었다(Jang, 2020). 이 연구는 교량 유지보수 시 정보 가시화를 위한 정보모델로서 BIM을 사용한다. 이 연구에서 교량의 균열 투영도는 3차원 모델 표면에 텍스쳐로 맵핑하여, 손상 위치 등을 손쉽게 확인할 수 있도록 하였다.
BIM 기반 설계 자동화 도구를 통해, 디지털트윈 상호운용성을 연구한 사례가 있었다(Yang et al, 2021). 이 연구는 스마트시티 시설물 정의에 부합하는 방음터널을 대상으로 “BIM 디지털 모델 – 물리 모델” 간의 디지털 트윈을 구축하는 방법을 제시한다. 이 연구는 IFC, 데이터베이스 개발을 통해 “디지털 – 물리 모델” 간 상호운용성 확보에 초점을 맞추고 있다.
딥러닝 기반 실시간 건설 현장 장비 및 작업자 모니터링에 관한 연구가 있었다(Kang et al, 2021). 이 연구는 건설 현장에 설치된 CCTV와 같은 이미지 센서로부터 획득한 영상을 이용해, 건설 장비, 작업자를 인식하고, 위치나 크기를 얻어, 현장 관리를 지원할 수 있는 기술을 제안한다.
이와 유사한 건설 현장의 작업자와 중장비 추출을 위한 딥러닝 모델 연구가 있었다(Cho et al, 2021). 이 연구는 작업자와 중장비 객체 인식을 위해, 딥러닝 모델 개발 절차를 제안하고, YOLACT 모델을 사용해, 객체 인식 정확도를 확인하였다.
철근가격 단기예측을 위한 실험적인 연구로 딥러닝 모델인 LSTM(Long Short-Term Memory)을 적용한 연구가 있었다(Lee and Kim, 2020). 이 연구는 철근가격과 같은 시계열 데이터를 예측하기 위한 딥러닝 모델을 조사하고, 선택된 LSTM 모델 기반 하이퍼 파라메터 최적화를 수행하였다.
건설현장의 디지털트윈 모델 개발을 위해 3차원 스캔 기술을 활용한 연구 사례가 있었다(Kim et al, 2022). 이 연구는 실내 모델 생성을 위한 3차원 포인트 클라우드 획득을 위한 LiDAR (Light Detection and Ranging), SLAM, 포토그레메트리 스캔 장비 간의 작업 시간과 정확도를 비교하였다.
딥러닝 모델을 이용해, 건축 평면 스케치 도면 인식에 관한 연구가 있었다(Cho and Lee, 2021). 이 연구는 GAN(Generative Adversarial Network)를 이용해 다양한 스타일로 디자인된 도면에서 중요 건축 요소들이 라벨링되어 간소화된 스케치 도면으로 변환한다. 이 연구는 평면 스케치에서 BIM(Building Information Modeling)을 추출할 수 있는 기본 기술을 제공하고자 하였다.
앞서 조사된 대부분의 연구들은 현장 데이터를 수집, 데이터베이스화한 후, 이를 BIM으로 가시화하여 CPS나 디지털트윈 개념을 구현하는 데 초점을 맞추고 있거나(Jang, 2020, Yang et al, 2021, Kim et al, 2022), 2차원 촬영 이미지를 이용해 객체 탐지, 세그먼테이션(Segmentation)을 통해, 객체 종류, 크기, 위치 정보를 획득한 후 서비스에 사용하거나(Kang et al, 2021, Cho et al, 2021, Cho et al, 2021), 시계열 데이터셋으로부터 패턴을 학습해, 데이터를 예측하는 연구(Lee et al, 2020)에 초점이 맞춰져 있다. Table 1은 문헌조사 결과를 분석하여 분류한 것이다.
Table 1.
Research category survey
| Research category | Description | References |
|
Data collection, visualization |
Focuses on how to collect data sets, store them in database, and visualize them using 3D models or BIM for the purpose of developing digital twin, CPS(Cyber Physical System) concept. | Jang, 2020, Yang et al, 2021, Kim et al, 2022 |
|
Object detection, segmentation |
Methods for detecting object information such as class, position, and size using YOLO (You Only Look Once), YOLACT (You Only Look At Coefficient), and R-CNN (Regions with Convolutional Neuron Networks) models from 2D image. | Kang et al, 2021, Cho and Lee, 2021 |
| Data prediction |
Research on data prediction methods based on RNN (Recurrent Neural Network), LSTM (Long Short-Term Memory), and Transformer models from time series dataset. | Lee and Kim, 2020 |
본 연구는 건물환경 이상패턴 검출방법 구현을 위한 프로세스 및 모델 개발에 초점을 맞춘다. 이를 위해, IoT 데이터 수집·저장·처리 방법, 딥러닝 모델 학습·훈련· 예측·이상패턴 검출을 위한 방안을 도출하고, 솔류션 구현을 위한 프로세스와 모델을 디자인한다.
2. IoT 데이터수집 프로세스 및 아키텍처 디자인
2.1 유스케이스와 프로세스 디자인
이 장에서는 건축공간의 환경 관리 모니터링에 필요한 이상패턴 검출 방안을 도출하기 위해, 유스케이스를 디자인한다. 이를 통해, 건축공간의 환경 데이터를 수집, 처리, 저장하기 위한 프로세스와 아키텍처를 도출한다.
유스케이스를 디자인하기 위해서, 대상 건물을 관리하고 있는 관리자와 관리 시스템 전문가 인터뷰와 인터뷰하였으며, 질문 항목은 다음과 같다.
q1. 건물 환경 관리를 위해 수집하는 데이터 형식은?
q2. 데이터 이상값을 확인하는 방법은?
q3. 이상값을 확인하였을 때 후속 처리 방법은?
인터뷰 결과는 다음과 같다.
a1. 온도, 습도 데이터 수기 입력(엑셀 형식)
a2. 엑셀 데이터 그래프 분석을 통한 이상값 확인. 계절별로 미리 설정한 특정 기준값 이상이면 이상임을 판단
a3. 오피스 공간의 공조 구역을 확인 하고, 시설물 관리자에게 해당 내용을 리포트한 후, 조치사항을 기록함
이를 바탕으로, IoT 기반 환경 데이터 수집·저장· 관리를 위한 고려사항을 다음과 같이 도출하였다.
1. IoT 수집 데이터를 저장할 데이터베이스 준비
2. 공간에 따른 구분을 위한, 건물공간 분류체계 형식
3. IoT 장치에서 얻는 센서의 메타데이터 정의 및 설정. 예) 센서 이름, 단위 형식, 값 범위, 데이터 수집 간격(초 단위), 수집 시 타임스템프 형식
4. IoT 장치 설치 및 네트워크 연결
5. IoT 장치에서 센서 데이터 수집 실행
6. 센서 데이터를 데이터베이스에 저장, 관리
7. 딥러닝 모델 학습을 위한 IoT 데이터셋 질의, 획득
8. 딥러닝 기반 데이터 예측모델 학습
9. 데이터 예측모델 기반 이상패턴모델 개발
10. 이상패턴 검출
이를 고려해, Figure 2과 같이 유스케이스를 UML(Unified Modeling Language)로 디자인하였다.
도출된 유스케이스를 바탕으로, Figure 3과 같이 프로세스 흐름을 정의하였다.
2.2 시스템 아키텍처 디자인
앞서 정의된 유스케이스와 프로세스 디자인을 고려해, 이상패턴 검출을 지원하는 건축공간 환경 모니터링 아키텍처를 정의한다.
디자인된 프로세스에 따라, IoT 장치는 사전 설정된 센서 메타데이터에 따라, 건축공간에 설치된 데이터를 수집하고, 이를 IoT 데이터베이스에 전송해야 한다. IoT 데이터베이스는 학습할 환경 데이터를 관리하고 있어야 한다.
IoT 데이터베이스 질의를 통해 얻은 시계열 데이터를 학습하고, 이를 기반으로 이상패턴을 검출할 수 있도록 해야 한다. 공간정보는 BIM으로 모델링되어, 건물 환경 모니터링 서비스에서 사용할 수 있도록 한다.
구조적 관점에서 IoT 장치는 IoT 데이터베이스의 Open API (Application Program Interface)를 사용하여, 시스템 모듈 간 의존성이 있다. IoT 데이터베이스의 질의 API를 사용하여, 딥러닝에 필요한 데이터를 획득하고, 이를 통해 예측 모델과 이상패턴 검출모델을 생성할 수 있다. 그러므로, 관련 모듈은 IoT 데이터베이스에 의존된다.
이를 고려해, 구성하는 요소와 관계를 표현하면 Figure 4, Figure 5와 같다.
각 패키지는 해당 역할을 하는 객체들로 구성된다. Table 2는 각 패키지의 핵심 객체와 기능적 역할을 수행하는 멤버를 정의한 것이다.
Table 2.
Object role definition
3. 환경데이터 예측 및 이상패턴 검출 모델설계
3.1 데이터 예측모델 디자인
환경 모니터링과 관련된 데이터셋은 시계열 특성을 가진 온습도, 조도, 에너지 사용량 등이 된다. 시계열 특성을 잘 학습하는 딥러닝 모델은 다음과 같다.
∙RNN(Recurrent Neural Network): RNN은 내부에 순환 구조를 가지고 있으며, 시퀀스 데이터의 각 요소를 차례로 처리하면서 이전 단계의 결과를 현재 단계의 입력으로 활용한다. 이전 단계의 결과를 다시 자기 자신에게 입력하는 것이 RNN의 핵심 아이디어이다. 이렇게 함으로써 RNN은 이전 단계의 정보를 현재 단계에 반영할 수 있고, 긴 시퀀스 데이터에 대해서도 정보를 유지하면서 처리할 수 있다(Yin et al, 2017). 다음 공식은 이전 상태 를 이용해, 다음 상태 를 예측하는 RNN 가중치 학습모델을 보여준다.
∙LSTM: RNN은 장기 의존성(Long-Term Dependency) 문제를 가지고 있어, 긴 시퀀스 데이터의 처리에 어려움을 겪을 수 있다. 이를 해결하기 위해 LSTM(Long Short-Term Memory)과 GRU(Gated Recurrent Unit)와 같은 변형된 RNN 아키텍처가 개발되었다(Yin et al, 2017). LSTM은 RNN의 순환 유닛을 개선해, 장기 의존성 문제를 완화하고, 긴 시퀀스 데이터를 더 효과적으로 처리할 수 있도록 한다. 이를 위해, 신경망 유닛 상태(Ct)에 기억 삭제 게이트와 정보 추가 게이트를 적용한다.
∙Transformer: 기존의 RNN 모델은 순차적인 처리로 인해 병렬화와 학습 속도 면에서 제약을 가지고 있다. 하지만 Transformer는 Attention 메커니즘을 사용하여 문장의 모든 단어를 동시에 처리할 수 있고, 병렬 처리가 가능하다(Vaswani et al, 2017). 이를 통해 트랜스포머는 기존 모델들보다 훨씬 더 빠른 학습과 예측 속도를 제공한다. 이 모델은 입출력 문장을 토큰 벡터 형태로 변환하여 처리한다. Attention 메커니즘을 사용해, 입력 문장의 단어들 간 상호 관계를 학습하고, 이를 기반으로 출력 문장을 예측한다.
본 연구를 위해 수집한 데이터셋을 효과적으로 학습할 수 있는 모델을 확인하기 위해, 데이터 특성을 확인할 필요가 있다. 수집된 환경 데이터셋은 온도센서로부터 초 단위로 데이터를 수집한 것이다.
데이터 수집 기간은 2021년 10월 10일부터 26일까지이다(Figure 6). 불안전한 네트워크 및 전력 문제로 데이터 수집 간격이 불규칙할 수 있음을 가정한다. 데이터는 10월 17일 쯤에 데이터 패턴이 일부 급격히 붕괴하는 것을 확인할 수 있다.
데이터 특성을 고려하였을 때, 시계열 데이터에서 중요한 패턴과 특징을 선택적으로 학습하고, 예측에 활용할 수 있는 LSTM을 이용해 데이터 예측 및 이상패턴 검출을 위한 기본 모델로 사용한다. 특히, LSTM은 입력 데이터 순서열의 각 요소 간 간격이 일정하지 않은 경우에도 처리할 수 있다. 이는 시계열 데이터에서 측정 간격이 불규칙하거나 누락된 경우에 유용하다.
이를 고려해, 데이터 패턴 예측을 위한 학습 모델링은 다음과 같이 디자인하였다.
∙LSTM 레이어(layer)는 유닛 개수를 4로 설정한다. 하나의 입력에 대해 다음 출력을 예측할 수 있도록, 학습 데이터 형태는 (1, 1)로 정의한다. 여기서 (1, 1)은 입력 데이터의 크기가 1개의 특성을 가진 1차원 데이터란 의미이다.
∙LSTM 레이어 이후에 모델에 밀집 레이어를 추가한다. 이 레이어는 전 연결층 레이어로, 이전 레이어의 모든 뉴런과 연결되는 뉴런들로 구성된다. 출력 뉴런의 개수는 1로 정의한다.
∙학습모델의 손실함수는 평균 제곱 오차(Mean Squared Error. MSE)함수를 사용한다. MSE는 예측값과 실제값 사이의 평균 제곱 오차를 계산해, 모델을 학습하는 데 사용된다.
Figure 7는 앞서 정의한 학습모델을 보여준다.
3.2 이상패턴 검출모델 디자인
시계열 환경 데이터에서 이상탐지는 예상되는 미래값이 실제 얻은 값과 편차를 가지게 될 때 이상으로 판단하도록 한다. 이상탐지에 사용할 수 있는 모델은 다음과 같다.
∙데이터 정규분포 기반 이상 탐지
∙경계 기준 기반 이상 탐지
∙데이터 클러스터링 기반 이상 탐지. 예) KNN, DBSCAN, RCF (Random Cut Forest)
∙거리 기반 이상 탐지. 예) 유클리드 거리, 마할라노비스 거리
주어진 시계열 환경 데이터가 다변량으로 구성되어 있지 않으므로, 이상패턴 데이터검출에 정규분포나 경계기준을 사용할 수 있다. 이 중에서 데이터의 통계적 분포를 특징으로 이상탐지를 할 수 있는 정규분포 기반 모델을 개발한다.
이를 위해, 개발한 데이터 예측모델 p에 입력 데이터 d와 예측값 p(d)의 차이 ep를 에러로 계산한 후, 평균 m을 취해, 정규분포를 만든 후, 정규분포의 편차 σ을 이용해 경계 조건을 설정한 후, 이상 데이터를 추출한다. 이를 고려한 환경 데이터 이상패턴 검출모델은 수식 (2)와 같이 정의된다.
4. 프로토타입 구현 및 성능 분석
4.1 프로토타입 구현
제안한 방법의 성능을 확인하기 위해, N 대학 건물의 오피스내에 IoT 장치를 설치하고, 데이터 수집·저장 후 이상패턴을 검출하는 프로토타입을 개발하였다.
IoT 데이터는 단순한 시계열 데이터 순서열이므로, NoSQL인 MongoDB를 사용하였다. BIM의 공간 정보와 연계를 위해, 미리 정의한 공간정보분류체계를 IoT 장치의 센서 메타데이터로 사전 정의하였다.
이외에, 센서 데이터셋과 서비스 로직 연결을 위해 GUID (Global Unique Identifier)를 생성하고, 데이터 질의 코드를 구현하였다. 이를 통해, 획득되는 센서 데이터셋은 BIM 공간객체와 연결될 수 있다.
IoT 장치는 Arduino Nano 33 BLE Sense를 이용하였다. 이 장치는 인터넷 연결을 지원하며, 3.3v 저전력에서 동작 가능하다. 온습도, 조도, 진동 등 11개의 센서 데이터 측정을 지원한다.
IoT 장치에서 수집한 데이터셋을 IoT 데이터베이스 서버에 전송하기 위해, 오픈소스 미들웨어인 node-red를 이용해 데이터 수집·전송 로직을 프로그래밍하였다(Figure 8).
IoT 센서 데이터셋 전송 프로토콜은 디자인된 아키텍처 모델(Figure 5)을 반영하여 다음 코드와 같이 정의된다. node-red에 정의된 로직은 이 프로토콜을 해석해, 지정된 IoT 데이터베이스 서버로 데이터를 전송하는 역할을 한다.
네트워크 환경에서 환경 관리 모니터링 서비스를 구현하기 위해서, IoT 데이터베이스 CRUD 연산을 위한 RESTful(REpresentational State Transfer) API 서버를 구현하였다.
이를 위해, NodeJS, Express, Bootstrap을 사용하였다. 센서 데이터셋은 확장 가능한 표준을 고려해 JSON(JavaScript Object Notation) 포맷으로 교환하도록 설계하였다.
BIM 모델은 Revit으로 모델링되었다(Figure 9). 설치된 공간의 속성으로서 위치정보를 사전정의하여, IoT 장치와 연결될 수 있도록 하였다.
이를 통해, 사용자가 데쉬보드에 표출된 건축물 해당 오피스 공간을 선택할 경우, 그 공간에 설치된 IoT 장치에서 실시간으로 수집하고 있는 환경 센서 데이터를 가시화하고, 이상값들을 검출할 수 있다.
4.2 프로토타입 실행 및 성능 확인
개발한 프로토타입을 실행하기 위해, 우분투 운영체제 환경에서 딥러닝 서버(NVIDIA RTX 3080. 8 GPU RAM)를 준비하고 테스트해 보았다. 앞서 디자인된 모델은 파이썬으로 개발되었으며, 머신러닝 라이브러리는 Keras, Numpy, Pandas를 사용하였다.
예측모델 학습에 사용된 데이터셋은 전체 2038개로 이중 60%는 학습용, 40%는 테스트용으로 사용하였다. 학습에 사용된 하이퍼파라메터는 다음과 같다.
학습이 끝났을 때 Loss는 6.5e-4 이하이다(Figure 10).
학습 결과는 Table 3, Figure 11과 같다. 학습 및 테스트 데이터셋 모두 약 14% 이하의 오차 범위 이내로 데이터를 예측한다.
이상패턴 검출모델을 개발해 실행해 보았다. σ=3 일 때 전체 데이터셋 n=2038에서 2.2% 수준인 45개의 이상데이터를 검출할 수 있었다. Figure 12는 데이터 패턴 붕괴 지점을 포함해 예측한 결과이다.
이는 제안된 환경 모니터링을 위한 이상패턴 검출모델이 잘 작동하여 IoT에서 수집된 데이터셋에서 특정 이상패턴을 잘 식별하고 예측할 수 있었음을 의미한다.
본 연구의 결과는 건축공간 환경관리에 대한 효과적인 환경 이상패턴감지 서비스 구현을 위한 프로세스와 아키텍처를 제시하여, 이의 활용 가능성을 보여준다.
5. 결론
이 연구는 건축공간 환경관리를 위한 모니터링 관점에서 필요한 데이터를 IoT로 획득하고 이를 데이터베이스화하여, 딥러닝을 학습한 후 이상패턴을 지원하는 딥러닝 기반 이상탐지 구현 프로세스와 아키텍처를 제안한 후 구현을 통해 성능을 확인해 보았다.
제안된 방법은 IoT로부터 수집되는 실시간 데이터 처리와 이상패턴 분석을 통해, 문제가 있는 시점에 대한 빠른 대응을 가능하도록 한다.
본 연구에서 제안된 프로세스와 아키텍처를 기반으로 개발된 프로토타입의 예측 모델은 14% 이하 오차범위로 데이터 패턴을 예상할 수 있으며, 이상패턴 검출 모델은 2.2% 이하의 이상값을 실시간으로 확인할 수 있다.
향후, 이 기초 연구를 바탕으로, 데이터 종류를 확장하고, 환경 모니터링 서비스를 구현하여, 정량적 RoI(Return on Investment)를 분석할 계획이다.
