데이터 사이언스/paper review

[Paper Review] Cement rotary kiln temperature prediction based on time-delay calculation and residual network and bidirectional novel gated recurrent unit multi-model fusion

devim 2023. 10. 3. 15:31

Cement rotary kiln temperature prediction based on time-delay calculation and residual network and bidirectional novel gated recurrent unit multi-model fusion

 

abstract: 

(온도 예측을 통해 제품 품질 향상 및 에너지 소비 감소) 시멘트 회전용로의 온도는 최종 제품의 품질, 공장의 에너지 소비 및 배출에 직접적인 영향을 미치며, 따라서 시멘트 회전용로의 온도를 높은 정확도로 측정하여 에너지 소비와 배출을 줄이고 제품 품질을 향상시키는 것이 필요합니다.

(온도 예측의 어려움) 그러나 시멘트 회전용로의 조건은 복잡하고 변화가 많으며, 시간 지연이 크며, 온도는 과거의 작업 조건에 영향을 받기 때문에 온도 측정이 굉장히 어렵습니다.

(본 논문의 제안 방향) 본 논문에서는 시멘트 회전용로의 클링커 배출 온도를 예측하기 위해 1) 잔여 네트워크와 2) 양방향 신규 게이트 주기 단위를 사용하는 모델링 알고리즘을 사용합니다. 또한 시멘트 회전용로의 큰 시간 지연 문제를 해결하기 위해 상호 정보와 적응형 슬라이딩 윈도우를 기반으로 한 동적 시간 지연 계산 알고리즘을 제안하고, 최종적으로 다양한 작업 조건을 가진 시멘트 회전용로의 예측 결과에 가우스 가중 다중 모델 퓨전을 적용합니다.

(현장 적용 테스트) 제안된 방법의 이점과 타당성을 확인하기 위해 중국 남부의 대규모 시멘트 제조 기업에서 수집한 원본 생산 데이터를 사용하여 실험적 검증을 수행합니다. 결과는 제시된 접근 방식이 시멘트 회전용로의 온도를 빠르고 정확하게 예측할 수 있음을 보여주며, 단일 전통적인 예측 알고리즘과 비교했을 때 평균 온도 차이가 11.76℃에서 3.51℃로 감소했습니다. 이는 실제 시멘트 생산 중 온라인 의사 결정에 대한 효과적인 솔루션을 제공할 것입니다.

 

keywords: 

cement rotary kiln, temperature prediction, dynamic time-delay calculation, residual network, gated recurrent unit, Gaussian-weighted

1. Introduction

급격한 글로벌 도시화는 시멘트에 대한 높은 수요를 유발했습니다. 전 세계 시멘트 생산량은 52억 톤에 달합니다 [1]. 아시아-태평양 지역은 상당한 시멘트 생산과 소비를 기록하며, 중국 단독으로 시멘트 클링커 생산능력이 30억 톤에 이르며 전세계 시멘트 생산의 50% 이상을 차지하고 있습니다 [2].

뿐만 아니라 중국의 시멘트 산업은 많은 양의 에너지를 소비하고 대량의 탄소 배출을 일으키므로 중국 내에서는 에너지 소비와 탄소 배출 측면에서 중국의 상위 3대 산업 중 하나로 손꼽힙니다 [3]. 시멘트 생산 작업에서 가장 에너지를 많이 소비하는 부분은 시멘트 회전용로 내부에서 발생하며, 여기서 회전용로 머리 부분의 온도(클링커 온도)는 최종 생산 품질 뿐만 아니라 시멘트 생산으로 인한 장비 에너지 소비와 배출에 직접적인 영향을 미칩니다.

그러나 회전용로 내의 복잡하고 변화무쌍한 조건, 시멘트 생산의 강력한 비선형 시스템인 시간 지연 및 역사적 조건의 영향으로 인해 회전용로 온도를 정확하게 측정하기 어렵습니다.

 

(참조 논문) 지난 몇 년 동안 기계 학습과 딥 러닝의 진화와 응용으로 인해 산업 장비를 대상으로 하는 인공 지능 모델링 방법이 많이 제안되고 연구되었습니다. Zheng [4]는 로터리 킬의 발사 영역을 동적으로 추정하기 위해 최소 지원 제곱 벡터 머신과 자기회귀 이동 평균 모델의 하이브리드 모델을 구축하는 것을 제안했습니다. 또한 Lu [5]는 시멘트 회전용로의 발사 영역 온도를 모델링하기 위해 웨이블릿 분석과 커널 한계 학습 머신을 적용했습니다. 더 나아가서, Liu [6]는 주성분 분석을 기반으로 하는 다중 회귀를 사용하여 f-CaO 및 NOx 함량을 평가하기 위한 소프트 측정 모델을 개발했습니다. Lu [7]는 경험적 모델 분해와 최소 제곱법을 결합하여 연소 영역 온도의 추세를 포착했습니다. Lv [8]은 회전용로 머리 온도를 예측하기 위해 하이브리드 동적 예측 프레임워크를 사용했으며, 이 프레임워크는 칼슨 온도의 직접 실시간 반영입니다. Chen [9]는 회전용로 온도를 예측하기 위한 근사적인 선형 상관 관계를 기반으로 한 가중치 커널 주성분 회귀 모델링 프레임워크를 제안했습니다. 딥 뉴럴 네트워크 측면에서 Zheng [10]은 시멘트 회전용로의 동적 모델을 개발했으며, 이 모델에는 주의 메커니즘과 회귀 신경망(RNN)을 통합하는 회전용로 프로세스 메커니즘과 시간에 따라 변하는 비선형 동작을 포착하는 데 사용되는 보통 미분 방정식 솔버가 포함되어 있습니다.
리뷰어 #1에게: 1. Liu [11]은 휘발유 수율 예측을 위한 주의 메커니즘(AM) 기반 게이트드 리커런트 유닛(AM-GRU) 접근 방식을 제안했습니다. Zheng [12]는 합성곱 신경망과 게이트드 리커런트 유닛(CNN-GRU)을 결합하여 리튬 배터리의 확률적 충전/방전 상태를 추정하고 예측했습니다. Ye [13]은 장단기 메모리(Multi-task LSTM)와 결합하여 다중 작업 전력 부하 예측을 수행했습니다.

 

(이전 연구 논문들의 한계) 그러나 위에서 제안된 방법들은 모두 제로 시간 지연 접근을 사용합니다. 입력 및 출력 데이터는 동일한 샘플링 간격을 가지며 시간 차원에서 일대일 대응합니다. 시멘트 회전용로는 대표적인 큰 시간 지연 및 비선형 시스템으로, 시스템의 입력, 출력 및 상태는 시간과 공간과 관련이 있으며 따라서 시공간 결합의 특성을 가집니다 [14]. 회전용로에서 동적 변화의 프로세스 변수 간의 시간 지연은 복잡한 환경 변동과 프로세스 역학을 거치며 변수 간의 복잡하고 강력한 비선형 동적 방정식을 포함합니다. 또한 변수 간의 복잡하고 강력한 비선형 관계는 시간 영역에서도 시멘트 생산과 같은 산업 프로세스가 강력한 비선형 역학을 가지도록 만듭니다 [15]. 따라서 생산 프로세스의 입력과 출력은 시간 차원에서 일치하지 않으며 종종 출력이 입력을 따라 뒤처지게 됩니다. 시간 지연을 고려하지 않으면 예측 모델은 프로세스 특성을 잘 설명하지 못하며 이는 모델의 예측 정확도에 영향을 미칠 것입니다.

 

산업 프로세스의 시간 지연 계산 문제에 대해 많은 학자들이 심층적인 연구를 진행하고 있습니다. 이 연구는 주로 세 가지 주요 접근 방식을 포함합니다: 1) 수동 경험, 2) 프로세스 메커니즘 연구 및 3) 데이터 기반 모델링 [16].

1) 수동 경험을 사용하면 대략적인 추정만 가능하며 시간 지연 정확도가 낮습니다.

2) 산업 프로세스 메커니즘은 수립 및 해결이 어렵고 전문적 요구 사항이 높으며 모델의 유연성이 낮습니다.

따라서 학자들은 3) 데이터 기반 시간 지연 추정에 대해 심층적인 연구를 수행하고 있습니다. (관련 논문) 예를 들어, Xiong [17]은 퍼지 곡선 분석을 기반으로 한 시간 지연 추정 방법을 제안하여 입력 매개 변수를 시간적으로 재구성하여 모델의 예측 성능을 개선했습니다. 또한 Ruan [18]은 상호 정보(MI)와 미분 진화 알고리즘을 결합한 시간 지연 추정 방법을 제안했으며, 이 방법은 석유 생산 장비 대기압 타워 측면 라인 품질 지수 예측에 적용되었습니다. 더 나아가서 Yang [19]은 확장 가능한 위도우와 장단기 메모리(LSTM) 신경망 예측 모델을 결합하여 동적 시간 지연 추출 방법을 제안하였으며, 이를 통해 증류 탑의 하부 온도 및 메탄올 유량의 시계열 예측을 달성하는 데 주력하였습니다.

 

(이전 연구 논문들의 한계) 위에서 연구된 알고리즘들은 모두 단일 모델 알고리즘을 사용합니다. 시멘트 생산과 같은 전통적인 공정 산업에서는 내부 조건이 복잡하고 다양하여 종종 수요에 따라 생산 일정을 조정해야 합니다. 복잡하고 다양한 시나리오에 직면할 때 단일 모델은 일부 시나리오에 대해 좋은 적응성을 가지지만 전반적으로는 일반화 능력이 부족합니다. 이러한 문제에 대응하여 많은 학자들이 다중 모델 퓨전 전략을 제안하였습니다.

다중 모델 퓨전은 두 개 이상의 하위 모델 시스템을 특정 규칙을 통해 통합하여 효과가 더 좋고 일반화 성능이 더 우수한 모델을 형성하는 것입니다. (관련 논문) Sun은 PCA의 차원 축소 아이디어와 결합하여 변수 간의 상관 관계를 판단하여 가장 중요한 특성을 추출하는 새로운 다중 모델 퓨전 규칙을 제안했습니다. Wang [21]는 직관적인 퍼지 추론 퓨전 알고리즘을 제안하였으며, 직관적인 퍼지 값을 나타내고 직관적인 퍼지를 군집화하여 퓨전의 목적을 달성했습니다. Hansen [22]은 다중 신경망 훈련 데이터를 사용하고 다수결 투표 방법과 결합하여 성공적으로 필기 글꼴 인식에 적용했습니다.

 

본 논문에서는 시멘트 회전용로 온도 측정의 어려움을 해결하고 데이터 재구성, 새로운 시멘트 회전용로 온도 예측 전략을 통한 온도 예측을 수행하며 실제 운영 상황에서 시멘트 회전용로 온도 예측의 다양한 결정론적 운영 조건을 퓨즈하는 여러 모델을 훈련시키기 위한 새로운 동적 시간 지연 계산 전략을 제안합니다.

 

(본 논문의 기여 방향) 이 연구의 주요 기여는 다음과 같습니다:

  1. MI와 적응 슬라이딩 윈도우(MIDTA)를 기반으로 한 새로운 동적 시간 지연 계산 전략을 제안했습니다. 이 전략은 프로세스 매개 변수 간의 시계열 데이터를 재구성할 수 있으며, 강한 비선형성, 큰 시간 지연 및 시간 결합 특성을 가진 복잡한 산업 프로세스에도 적용할 수 있습니다.
  2. 새로운 소프트 측정 모델링 방법을 제안했습니다. 이 방법은 역사적 시간 정보를 활용하는 잔여 네트워크와 양방향 신규 게이트 리커런트 유닛(ResNet-BiNGRU)을 기반으로 하며, 역사적 시간 정보에 대한 추가적인 특성 추출이 이루어지며 모델 구조가 간단하여 역사적 시계열에 영향을 받는 프로세스 모델링에 적합합니다.
  3. 실제 운영 조건을 대표하는 모델 퓨전을 위해 사전에 정의된 여러 전형적인 운영 조건 모델을 훈련시키는 방법을 제안했습니다. 이 훈련은 복잡하고 다양한 운영 조건을 가진 강력한 비선형 산업 시스템에 적합하며, 단일 예측 모델만으로는 요구 사항을 충족시키기에 부족한 경우에 사용됩니다.
  4. 제안된 방법의 타당성을 검증하기 위해 중국 남부의 시멘트 생산 업체에서 수집한 데이터를 사용한 시뮬레이션을 통해 확인되었습니다.

 

2. Problem Description 

3. Prediction Strategy Based on MIDTA-ResNet-BiNGRU Multi-Model Fusion 

3.1. Framework of the Proposed Methodology

3.2. Dyamic Delay Calculation Strategy Based on MI and Sliding Windows

1) Static Time-delay Analysis Based On MI

2) Dynamic time-delay analysis with adaptive sliding windows

3.3 Data Reconstruction

3.4.ResNet-BiNGRU-based Multi-model Fusion Modeling Framework

1) Feature Extraction from Residual Networks

2) ??? 

3) Time Series MOdeling Strategy for a Bidirectional Novel Gated Recurrent Unit (NGRU)

4) Multi-model Fusion Solution

 

4. Results and Discussions

4.1. Training Process and Evaluation Indicators