[Paper Review] A Synchronous Prediction Model Based on Multi-Channel CNN with Moving Window for Coal and Electricity Consumption in Cement Calcination Process

sensors>> article> 

A Synchronous Prediction Model Based on Multi-Channel CNN with Moving Window for Coal and Electricity Consumption in Cement Calcination Process

 

Abstract: 전력 혹은 연료와 같은 다변수 에너지 소비량의 실시간 예측의 정확성과 신뢰성은 시멘트와 같은 산업 공정의 최적화 생산에 중요하다. 
각각 예측할 때 두 가지 지표의 관계를 결합도가 부족하기 때문이다. 

 

그러나 생산 변수에 대한 time lag, coupling, uncertainties은 다변수 실시간 예측의 어려움을 야기한다. 
따라서, 본 연구에서는, 전력과 연료 소비량을 실시간으로 예측하기 위해 moving window 와 multi-channel CNN 을 결합하여 데이터 기반 예측 접근방법을 제시한다. 

1. moving window: to extract the time-varying delay feature ofthe time series data to overcome its impact on energy consumption prediction 
2. multi-channel: to reduce the impact of the redundant parameters between weakly correlated variables of energy prediction 

• 실험 결과는 시멘트 공장의 실제 raw data 를 사용하여 구현되었고 
• 본 연구에서 제안한 moving window + multi-channel CNN 결합구조가 그렇지 않은 경우보다 좋은 성능을 보여주었음을 입증했다. 

Keywords: energy consumption prediction; moving window; multi-channel convolutional neural networks (* Sensors Article의 경우, 3-10개까지 가능)

 

---

1. Introduction (almost 2 pages) 
2. Related Work 
        - Statistical Regression 
        - SVM
        - tree-based method
        - ANN
        - LSTM 
        - CNN 
3. Process Analysis and Variable Selection of Cement Industry 
        (Figure 1. Calcination process of cement clinker)
4. The Establishment of the MWMC-CNN Model 
        4.1. the Structure of the MWMC-CNN Model (details of the formulas in the algorithm) 
        (Figure 2. MWMC-CNN model structure) 
                4.1.1. The Time-Varying Delay Input Layer Structure of MWMC-CNN 
                (Figure 3. Time-varying delay input layer structure of the A channel of MWMC-CNN) 
                4.1.2. The Structure of the MWMC-CNN Data Feature Extraction Layer 
                (Figure 4. Data feature extraction process of MWMC-CNN) 
                4.1.3. The Regression Prediction Layer of MWMC-CNN 
                4.1.4. Parameter Adjustment Algorithm of MWMC-CNN 
        4.2. Research on MWMC-CNN Algorithm 
        (Algorithm 1) 
        (Algorithm 2) 
5. Results 
        5.1. Parameter and Structure Adjustment Experiment of MWMC-CNN 
        5.2. Experiments Comparison of MWMC-CNN and Other Models 
        (Figure 5. Error comparison of different structure MWMC-CNN) 
                (a) RMSE
                (b) MRE
                (c) MAE 
        (Figure 6. Electricity consumption training result curves of LSSVM, CNN, LSTM and MWMC-CNN) 
        (Figure 7. Coal consumption training result curves of ‘’) 
        (Figure 8. The loss curves of ‘’) 
        (Figure 9. Electricity consumption test and error curves of ‘’) 
        (Figure 10. Coal consumption test and error curves of ‘’) 
        (Table 1. Error comparison of different models) 
6. Conclusions 

* Data Availability Statement: Data sharing not applicable 

 

---

1. Introduction

시멘트 산업은 에너지 집약적 분야로 고려된다. 

전체 시멘트 공정의 에너지 소비량은 전력과 석탄 소비량에 많이 의존한다. 

정확하고 적절한(timely) 에너지 소비 예측은 이상적인 에너지 스케줄링, 에너지 절약, 그리고 생산 비용 감소를 일으킨다. 

시멘트 공정에서 가장 중요한 것 중 하나로, 시멘트 예열공정은 땅의 원료를 시멘트 클링커로 하소한다. 

전통적으로 전기와 석탄 소비량은 주로 센서나 계량기로 측정되지만 변화하는 트렌드와 전력과 석탄 소비량 사이의 결합 관계는 발견될 수 없었다. 그래서 에너지 스케줄링과 생산 최적화를 위한 가이던스를 제공하는 데 어려움이 있다. 

전력과 석탄 소비량 사이의 관계가 부족하기 때문에 최적 제어를 위한 최적 솔루션을 제공하기가 어렵다. 그래서 모니터링과 시멘트 공정, 제어 전략 공식 최적화를 방해한다. 

결과적으로 실시간 예측을 하는 방법을 개발하는 것은 필요하다. 

다변수 에너지 소비량에 대한 정확하고 믿을 수 있는 실시간 예측은 복잡하다. 시멘트 예열 공정이 다변수 공정 변수로 이루어져 있기 때문이다. 

시멘트 공정 변수들과 에너지 소비량 간의 상관관계는 시간에 따라 지연되는 특성이 있다. 불확실하고 비선형적으로. 

예를 들어 원료량이 증가할수록 전력과 석탄 소비량은 예열 공저에서 증가하도록 요구된다. 

이것은 상황에 따라 다르지만 50-60분 정도 걸린다. 원료가 예열된 클링커로 변환될 때까지. 

결과적으로 킬른에 투입될 원료를 예열하는 데 필요한 전력과 석탄 소비량은 현재 원료량으로 계산될 수 없다. 그리고 과거 경험에 의존한 조업자들에 의해 수동적으로 적용된다. 

에너지 소비량을 예측하기 위해 현재 공정 변수들을 사용하는 것은 데이터 오류(misalignment)이고 낮은 정확성을 야기한다. 

그러므로 시멘트 예열 공정의 전력 및 석탄 소비량을 예측 하는 데 시간에 따른 지연의 영향은 고려되어야 한다. 

공정에서 많은 양의 공정 데이터가 기록되었다. 데이터 기반으로 전력 및 석탄 소비량을 실시간 예측할 수 있도록. 

다양한 산업 데이터 모음과 데이터 기반 방법론들의 개발로 다양한 데이터 기반 예측 접근 방법들이 제안되었다. 산업 분야의 예측 및 진단을 위해. 

예를 들어, 통계 회귀 방법을 사용한 오류 검출, 전력 시스템 예측, SVM을 사용한 고로의 지속적인 예측, 그리고 전력 소비량 예측. 

더해서, 시멘트 공정 산업에서도 에너지 소비량은 다변수 비선형 회귀 알고리즘과 하이브리드 앙상블 모델을 기반으로 한 경험적 모드 분해(?) EMD, Empirical Mode Decomposition으로 예측되었다. 

그러나 위의 조사(investigation)들은 모두 단변수 예측 전략에 집중되었고 석탄과 전력을 모두 실시간 예측하는 시멘트 예열 공정에는 불충분하다. 왜냐하면 전력과 석탄 소비량 사이의 관계가 얻어지지 않았기 때문이다. 

단변수 예측 모델로 만들어진 최적 제어 솔루션은 실제 솔루션 현장에 없을 것이다. 시멘트 예열 공정을 최적화하는 데 사용되기 적절하지 않기 때문이다. 

많은 다변수/멀티태스크 공정 연구가 해당 분야에서 수해오디었지만. 무선통신의 최대 연결예측 태양열 예측, 바람 고로 모니터링, 멀티태스크 기반으로 한 생산량 레이아웃, 다중 목적 스케줄링 등.. 

하지만 여전히 장애물이 있다. 시간에 따른 지연과 파라미터 중복 건으로 인해. 

변수들 간 시간에 따른 지연은 공정 산업의 가장 큰 특징으로 생각된다. 

정확한 예측 모델을 시간 지연 문제를 고려하지 않고 만드는 것은 어렵다. 

공정 조건은 지속적으로 바뀐다. 실제 시멘트 생산에서. 이것은 공정 변수와 목표변수들간의 시간 지연을 야기시킨다. 공정 시간에 따라 변하는.. 

따라서 공정 변수들과 예측 목표 변수들 간 시간을 맞추는 것은 시간 지연 문제로 인해 효과를 잃게 된다. 

파라미터 중복은 다른 특징이다. 

실시간 예측 모데은 그들을 불가결(indispensable) 피할 수 없게 만드는 데 이점을 갖고 있다. 

그러나 실시간 다변수 에너지 지표 예측은 약한 상관관계가 있다. 몇가지 입력 공정 변수들 간에. 예측 정확도에 영향을 준다. 동시에 입력 데이터로 사용하면. 

위의 분석으로 인해 다변수 예측 모델은 실시간 예측을 하기 위해 설립되었다.

한편으로 이것은 모델링 짐을 덜어준다. 실용적인 적용. 따라서 산업 시스템 자원에 효과적인 사용을 기여한다. 

반면에 이것은 정확한 예측을 제공한다. 합리적인 생산 스케줄링과 에너지 계획을 만든다. 

추가로 다변수 예측은 설명한다. 예측 목표들 간의 강한 상관관계를. 공정 메커니즘과 일치하는. (be consistent with the process mechanism of the cement calcination process) 

그러므로 이러한 문제에 대한 연구는 상당히 시멘트 산업의 발전을 도모한다. 

제안된 모델은 moving window 와 CNN을 결합한다. 시간 지연 문제로 인한 부정적 영향을 감소시키기 위해서. 

moving window 는 time series data에 숨겨져 있는 시간 지연 정보를 더한다. CNN 입력 층으로. 

강력한 입력 추출 능력의 결과적으로 CNN은 이미지 처리 뿐만 아니라 공정 산업에도 사용된다. 따라서 변수들의 특징을 추출할 수 있다. 

CNN의 멀티 채널 구조는 약한 상관관계의 변수들의 중복 파라미터의 부정적인 영향을 감소시키도록 디자인되어 있다. 

따라서 단변수 예측 전략은 처음에 전력과 석탄 소비량을 각각 예측하는 데 사용된다. 결합관계를 줄이기 위해. 그리고 마지막 출력하기 전에 다시 결합관계가 구성된다. 변수들의 특징을 융합하기 위해. 

멀티채널 구조는 다변수 모델의 실용적인 적용을 보존(preserve)할 뿐만 아니라 에너지 소비 예측의 파라미터 중복의 부정적인 영향까지 줄여준다. 

moving window와 멀티채널 구조의 결합은 두 가지 특징에 기여한다. 

1. 시멘트 예열 공정의 분석에 관련된 time series 데이터에 숨겨진/묵시적인/암시되는(implied) 시간에 따른 지연 정보를 적응시키기 위해 

시간에 따른 지연 현상은 독특한 현상이다. 공정 산업 현장에서 만의. 시멘트 산업과 같은. 

과거의 다양한 데이터는 moving window 에 의해 수용(accommodate)된다. CNN에 의한 특성 추출이 더 효과적이다. 

CNN의 적용은 moving window에 의해 가져와진 과도한 파라미터를 감소시키는 데 효과적이다. 

그리고 복잡한 타이밍 매칭을 피할 수 있다. 

2. MWMC-CNN 의 멀티채널 구조는 전력과 석탄 소비량을 동시에 예측하도록 디자인되어 있어서 효과적으로 파라미터 중복 문제를 다룬다. 

추가로 결합관계 때문에 발생한 부정적인(adverse) 영향은 제거된다. 

마지막으로 결합관계는 시멘트 예열 공정 최적화를 위한 참고로 제공되기 위해 재건립된다. 

실제 데이터는 모델을 학습시키기 위해 사용되었고 실험의 결과는 이것의 우월성(superiority)를 입증했다. 

아래에서(the rest of this paper)는 이렇게 구성되어있다. 

2. 관련된 연구 소개. 데이터 기반 예측과 관련된 존재하는 문서들. 

3. 시멘트 킬른의 기술적 과정 과 예측 변수 선택. 

4. 제안된 MWMC-CNN 의 세부사항 

5. 다른 구조의 모델들의 시뮬레이션과 예측 결과를 LSSVM, LSTM과 비교한다. 

6. 마지막으로 우리의 결론과 미래 연구 방향

 

 

 

2. Related Work 

엄청나게 많은 센서들로 인해 많은 양의 데이터들이 기록되고 이것은 데이터 기반 최적화와 공정 제어의 기반을 만든다. 

 

- - -> 에너지 소비에 대한 많은 데이터 기반 예측 연구가 있다. 통계적 회귀, SVM, tree-based, ANN, LSTM 

1) Statistical Regression 

통계적 회귀기법은 데이터 기반의 직접적인 예측 모델 기술이다.

장점) 목표/입력 변수들 간의 관계를 연구하고 short-term 예측에 많이 사용된다. 

ex) Bianco 는 Linear Regression을 도시 전력 예측에 사용했고 Catalina는 thermal 에너지 소비량 예측에 사용했다.

단점) Linear Regression 의 장점은 구조가 단순하지만 비선형적 능력은 제한되기 때문에 이것은 쉽게 이상치에 민감하다. 

 

Linear Regression 과 비교했을 때 주성분분석(principal component analysis)과 PLS 분석은 

장점 1) 빠른 속도를 갖고 있고

장점 2) 비선형 능력이 뛰어나며

장점 3) short-term 예측에 효과적이다. 

단점 1) 비록 통계적 기법이 단순하고 적용하기 쉽지만 그들은 이상치에 민감하다. 

단점 2) 그러나 복잡한 문제를 다룰 때 과적합되는 경향이 있다. 

단점 3) 추가로 통계적 회귀 방법은 시간 지연 문제를 제거하지 못한다. 

 

2) SVM 

장점 1) 전형적인 머신러닝 방법으로 강한 비선형성을 갖고 있고

장점 2) 계산복잡도는 support vector 의 수에 의존한다. 

장점 3) 그래서 이것은 여전히 더 나은 성능을 보인다. sample space 가 고차원이더라도. 

 

이러한 장점은 산업현장의 연속적인 시간 데이터의 에너지 분석하는 데 사용된다. 

ex) SVM을 기반으로 Wang 은 hydropower 소비량 예측에 성공했고 Assouline 은 solar photovoltaic potential을 예측했다. 

그리고 몇몇 연구는 SVM을 최적화하기 위해 연구되었다. 각 커널 함수의 최적화 파라미터들과 최적화 알고리즘을 얻었다. 

비록 SVM 은 비선형 회귀 문제를 다룰 수 있지만 이것이 파라미터는 adaptive 알고리즘과 관련되어 적용된다. 따라서 SVM의 성능은 여전히 제한된다. 만약 학습 데이터 수가 많다면. 

공정에서 수집되는 시간 지연이 있는 시계열 데이터의 scale은 보통 많고 따라서 SVM은 이러한 데이터를 다룰 때 좋은 성능을 내지 못한다. 

 

3) Tree-based methods

트리 기반 방법론들은 예측 공간을 작은 공간들로 나눈다. 그리고 예측된 결과는 통계적 수치를 기반으로 한다. 이것은 분류 뿐만 아니라 회귀에도 사용될 수 있다. 

 

트리 기반 방법론은 다양한 예측에 사용된다. 

ex) to predict critical busvoltage and load in PV buses 

the heat load of residential buildings 

the hourly performance forecasting of ground source heat pump systems

트리 기반 방법론의 사용은 IoT의 directed dege weight 예측에도 사용된다. 

인식 공정(cognitive manufacturing)의 산업 데이터 분석에도 사용된다. 

 

회귀 트리 모형은 학습 데이터를 distinct 하고 중복되지 않게 분리하여 적절하지 않다. 시멘트 공정의 에너지 소비량을 예측하는 데. 왜냐하면 공정 데이터 간에 강한 결합관계가 있기 때문이다. 

 

4) ANN

인공지능의 데이터 기반 방법론으로써 복잡한 구조를 갖고 있고 정보 처리 문제에 사용된다. 이론적으로 풀 수 없는. 

산업 공정 분석에 사용되는 이유는 adaptive learning, fast optimization, strong nonlinear ability 세 가지 이점 때문이다. 

 

ex) ANN은 전력 소비량을 예측하는 데 사용되었다. 

그리고 Polish gas 소비량도 예측했다. 

 

비록 위 연구들이 ANN의 이점을 모두 사용하지만

목표변수와 관련있는 적절한 변수들이 선택되었고 

실제 상황에 따라 모델이 설립되었고 

이러한 결과를 달성할 수 있었지만 

단점 1) 하지만 ANN은 입력 변수들을 손수 만들어줘야 하고 

단점 2) 가장 좋은 특성을 찾지 못한다. 

 

5) LSTM 

LSTM 은 시계열 데이터 처리에 능하다. 왜냐하면 이것의 특별한 구조가 시간 요소와 관련 있기 때문이다. 

따라서 LSTM 은 에너지 소비량을 예측하는 데 적용된다. 

ex) 예를 들어... 

 

비록 위 연구에서는 전력 소비량 예측에 성공하고 전력 회사나 기관의 전력 생산량을 결정하는 데 레퍼런스로 사용되고 있지만 

하나의 지표만을 예측한다. 따라서 산업 생산 공정을 최적화하는 목적으로는 적절하지 않다. 

 

- - -> Deep learning 

딥러닝 모델은 이미지 분석 뿐만 아니라 음성 인식 문자 이해 등에도 훌륭한 성능을 보여준다. 

하지만 이것은 산업 공정에서 적용된어 전력과 석탄 소비량을 동시에 예측하는 데 적용하는 우리에게 영감을 준다. 

 

6) CNN

CNN은 유명한 딥러닝 구조로서 

weight sharing, local connection, pooling reduction parameters와 같은 특징들은 이것이 계산적 장점이다. 빅데이터를 처리하는 데. 

그리고 추가적인 feature engineering 연구는 불필요하기 때문에 어떤 학자들은 CNN을 빅데이터 분류 산업 분석에 적용한다. 

ex) 1, 2... 

위의 예시들 은 2차원 데이터라서 1차원 시계열 데이터와는 달라서, 이 차이점은 아마 1차원 시계열 데이터의 장점을 잃을 것이다. 

이러한 상황으로 인해 1D-CNN은 industrial machine health status detection, fault diagnosis for the condition monitoring of gearbox 등의 산업 현장에 사용된다. 

위 두 연구에서 1D-CNN은 전통적인 구조보다 더 효과적이다. 시계열 데이터의 특징을 추출하는 데. 이 연구는 영감을 주었다. 왜냐하면 비선형적이고 비정상적인 시멘트 예측 에너지 실시간 생산이기 때문이다. 

 

 

 

3. Process Analysis and Variable Selection of Cement Industry 

시멘트 예열실은 주요 에너지 소비 시스템이다. 시멘트 산업에서. 

이 시스템에 주목하여, 에너지 소비량을 나타내는 관련된 변수들과 moving window 의 시간 범위는 선택되었다. 이 제안된 방법을 위해. 

이번 섹션에서는 시멘트 예열공정의 메커니즘을 소개하고 모델이 요구하는 파라미터를 선택한 이유들을 소개할 것이다. 

 

시멘트 예열공정은 크게 세가지 부분으로 나눠져 있다. 1) preheating, pre-decomposition, 2) calcination, 3) cooling. 

 

첫 번째로, 시멘트 원료는 예열실의 사이클론에 투입된다. 

예열실의 시멘트 원료는 ID 팬으로 인해 매달려있다(?). 이것은 가스와 원료 사이의 연결을 증가시켜 준다. 

킬른으로부터 높은 온도의 가스가 출력되었고 분해 퍼니스(decomposition furnace) 는 열을 시멘트 원료와 충분히 교환한다. 그리고 더 큰 연결 부위에서 원료의 carbon 이 분해가 된다. 

두 번째로, 시멘트 원료는 킬른으로 보내진다. 일정한 속도로 돌아가고 있는. 이것은 빠르게 분해시킨다. 원료로부터 carbon을. 그리고 다른 물리적 화학적 반응은 진행된다. 

마지막으로 높은 온도의 클링커는 쿨러에서 냉각되는데 다음 공정에서 버틸 수 있는 온도까지 냉각된다. 

시멘트 원료가 클링커가 되는 데까지 걸리는 시간은 약 50-60분이다. 

그러므로 시멘트 생산량 당 전력 소비량과 석탄 소비량은 과거 생산 변수들에 의해 반영된다. 

 

그림에서 본 것과 같이 주요 에너지 소비량은 석탄과 전력 소비량이고 

많은 양의 석탄은 높은 온도를 유지하기 위해 소비된다. 

시멘트 킬른은 많은 원료를 출력하고 (?) ID 팬은 고온의 가스를 이동시킨다. 그래서 이들은 많으 전력 에너지를 소비한다. 그리고 분해 furnace와 킬른은 모두 많은 양의 석탄을 소비한다. 온도를 유지하기 위해. 그래서 어떤 생산 과정 변수는 전력과 석탄 모두에 영향을 미친다. 그것은 불특정 한 전력과 석탄 소비의 관계를 야기한다. 

추가로 미래의 시멘트 산업의 에너지 소비는 과거의 공정 조업 조건과 관련되어있다. 이것은 과거의 에너지 소비를 반영하고 이것이 미래에 영향을 주는 것이다. 

위의 분석에 따라, 우리는 전력과 석탄의 소비가 시멘트 원료량과 과거 에너지소비량과 관련되어 있다는 것을 알 수 있다. 

그래서 시멘트 원료량, 과거의 ECPC, CCPC 가 석탄과 전력 소비량의 예측을 하기위해 선택되었다. 

추가로, 석탄 소비량은 예열실, decomposition furnace, 킬른의 온도에 의해 영향을 받는다. 

따라서 석탄 소비량 예측에 사용될 공정 변수는 다음과 같다. 이전 실린더 온도, decomposition furnace 석탄 소비량, decomposition furnace 온도, 킬른 온도, secondry air 온도, 킬른 head 석탄 소비량 

전력 소비량은 현재의 킬른과 팬의 속도와 같은 공정 변수들의 영향을 받는다. 따라서 ID 팬 속도, EP팬 속도, 킬른의 현재 평균 변수들은 전력 소비량 예측에 선택되었다. 

 

4. The Establishment of the MWMC-CNN Model 

위의 분석에 따르면, 시간에 따른 지연, 파라미터 중복, 그리고 결합관계는 주요 문제점이다 석탄과 전력 소비량을 동시에 예측할 때. 그래서 우리는 MWMC-CNN 구조를 제안한다. 멀티채널 CNN 모델과 moving window 기술이 시간 지연과 데이터 중복 문제를 해결해 줄 것이다. 시멘트 예열 공정의 에너지 소비량을 예측할 때.

moving window 기술은 MWMC-CNN 모델의 입력층에 사용된다. 시간 지연 문제를 해결하기 위해. 

멀티 채널 구조는 전통적인 구조 대신 사용된다. 파라미터 중복 문제를 해결하기 위해. 

이번 섹션에서는 제안된 MWMC-CNN 모델의 성분들과 에너지 예측 알고리즘의 특정한 단계들을 소개한다. 

 

4.1. The Structure of the MWMC-CNN Model 

제안된 모델의 구조는 크게 세 가지 부분으로 나뉜다. 

1) 시간지연 데이터 입력층은 시멘트 예열 공정 변수들이 시간에 따라 나열되어있다(?) 

2) 데이터 특징 추출 층은 서로 다른 시멘트 예열 공정 변수들이 각각 convolve / pool 되어있다. 

3) 회귀 예측 층은 출력 데이터를 병합한다. 두 개의 독립적인 채널들을. 그리고 예측된 에너지 소비량을 출력한다. 

그러면 Adam 알고리즘이 MWMC-CNN 의 출력값과 MWMC-CNN의 은닉층의 학습 태그들로부터 에러를 계산해 줄 것이다. 

그리고 가중치를 수정한다. 오차가 예상되는 값보다 적어질 때까지. 

MWMC-CNN 모델 구조는 다음 그림과 같다. 

 

4.1.1. The Time-Varying Delay Input Layer Structure of MWMC-CNN 

moving window 기술은 입력층에 사용된다. time-varyin delay 문제를 해결하기 위해 

설립하는 방법은 세 개의 부분으로 나눠질 수 있다. 1) 변수 선택, window 파라미터 선택, time series moving window contruction 

첫 번째 단계는 주요 변수를 선택하는 것이다. 에너지 소비에 영향을 주는. 그리고 선택된 변수들을 정규화한다. (normalize) 

3번의 에너지 소비량 분석에 따르면, 원료량, 과거 ECPC, 과거 CCPC 가 미래의 석탄과 전력 소비량에 영향을 준다고 한다. 

그러므로 그들은 모든 채널에서 입력 변수로 사용된다. 

A 채널에 선택된 여섯 개의 변수들은 다음과 같다. 

ID 팬 속도, 킬른의 현재 평균, EP 팬 속도, 원료량, 과거의 ECPC, 과거의 CCPC 

B 채널에 선택된 9개의 변수들은 다음과 같다. 

이전 실린더 온도, decomposition furnace 석탄 소비량, decompotsition furnace 온도, 킬른 온도, secondary air 온도, 킬른 head 석탄 소비량, 원료량, 과거의 ECPC, 가거의 CCPC

두 번째로, data selection window의  시간 간격을 선택했다. 

시간 간격은 s라 하고 이것은 시계열 데이터가 입력층으로 보내졌음을 의미한다. 시간지연 특성을 가지고 있는 시계열 데이터. 

과거 s 시점의 다양한 변수들은 미래 p 시점의 소비량이 예측된 결과와 연결된다. 

이것은 과거 s 시점으로부터 현재까지 다양한 데이터가 입양되었음을 의미한다. 에너지 ㅅ비량을 예측하기 위해. 현재로부터 미래 p 시점까지. 

moving window 의 크기는 시간 지연 크기보다 커야 한다. 이것은 시계열 데이터에 포함되어 있는 시간 지연 정보가 모델에서 추출될 수 있다는 것을 의미한다. 예측 정확성의 영향력을 제거하기 위해 

마지막으로 데이터 선택 widow 는 연속적으로 입력데이터의 unit time을 지나간다. 시계열 moving window의 구조를 깨닫기 위해 

그림에서 서로 다른 행은 A 인풋 채널의 다른 변수들을 표현한다. 

모델을 학습하는 과정에서 시멘트 예열 공정 변수 데이터는 연속적으로 선택된다. rolling data selection window 에 의해 

그리고 항상 m 그룹만큼의 데이터가 잇고 이것은 인풋 시퀀스에 행렬 형태로 정리된다. 

에를 들어 원료량이 moving window에 의해 선택되었으면 이것은 다음과 같이 표기할 수 있다. 

다른 변수들은 equation 2 와 같이 선택되었다 

시계열 moving window 에 의해 A 인풋 채널로 선택된 데이터는 다음과 같다. 

x(s * 6) 은 A 채널의 입력 행렬을 의미한다. s 행과 6개의 칼럼을 가진. 

이것은 인풋 시퀀스가 과거 s 만큼 샘플링된 시간에서 6개의 변수를 포함하고 있다는 것을 의미한다. 

시계열 moving window 에 의해 B 입력 채널로 선택된 데이터는 다음과 같다. 

x(s*9)는 B채널의 인풋 행렬을 표현한다. s 행과 9개의 컬럼을 가진. 

이것은 인풋 시퀀스가 과거 s 시점에서 9개의 변수를 포함하고 있다는 것을 의미한다. 

 

4.1.2. The structure of the MWMC-CNN 데이터 특성 추출 레이어. 

약한 상관관계는 어떤 입력 변수들 사이에 존재한다. 이것은 예측 정확도를 감소시킨다. 

CNN의 멀티 채널 구조는 제안된 모델의 데이터 특성 추출 레이어에 디자인되어 있다. 파라미터 중복 문제를 해결하기 위해. 약한 상관관계를 가진 변수들 사이의. 

moving window 에 의해 선택된 다양한 데이터는 입력 시계열 데이터가 된다. 

그러면 시계열 데이터는 데이터 특성 추출 레이어에 입력된다. 이것은 convolution과 pooling 작동을 한다. 선택된 시계열 데이터에 대해 두 가지 독립 채널을 통해. 

A 채널은 시계열 정보를 추출하는 데 사용된다. 전력 소비량에 대해. 그리고 B 채널은 석탄 소비량을 위해 사용된다. 

 

1D-CNN을 활용한 시계열 데이터의 합성곱은 효과적으로 고려된다. 

1D-CNN의 커널은 제곱보다(?) 제안된 모델에서 시간 지연 정보를 추출하기 위해 사용된다. 

커널의 사이즈는 h * 1 이고 convolution stride는 1이다. 이것은 h 길이의 커널이 매 시간마다 한 단계씩 움직이는 것을 의미한다. 

A 채널에 대해 입력 시계열 데이터는 1차원 합성곱 커널에 의해 합성곱되었다. (wi: 합성곱 커널)

그리고 wi 의 편향은 ~인데, 이것은 입력된 시계열 데이터를 의미한다. 입력 데이터는 s 행과 6개의 컬럼을 가진다. 

 

a는 convolved 하고 활성화까지 된 이후의 데이터를 말한다. 

theta 는 relu 활성화 함수를 나타낸다. 

입력 시계열 데이터는 relu 함수에 의해 활성화된다. n 개의 합성곱 커널을 지난 다음에. 

그리고 n개의 feature map 들은 풀링 레이어의 입력으로서 출력된다(?) 

 

모든 feature map 은 데이터 행렬과 동일하다. 

feature map의 특성들을 압축하기 위해 1D 풀링 커널들은 다음과 같이 사용된다. 

a는 합성곱층의 출력결과, q는 pooling 커널 이후 데이터를 의미한다. 

제안된 모델은 다음과 같이 1차원 평균 pooling을 적용한다. 

 

5. Results

우리는 MWMC-CNN 모델을 사용했다. 두 개의 채널과 함께. 각 채널은 3개의 합성곱 레이어와 pooling 레이어를 포함한다. 이것은 3개의 convolution layer와 3개의 pooling layer를 갖고 있는 CNN 모델이다. 

이것은 p = 0.03 이고 g = 0.01 인 LSSVM 모델이다. 

그리고 두 개의 LSTM 레이어를 가진 LSTM 모델이다. 각 레이어는 48개의 은닉 unit을 갖고 있다. 전력과 석탄 소비량을 예측하기 위해. 

실험 결과는 비교되고 분석되었다. 제안된 모델의 성능을 입증하기위해. 

결과적으로 12500 데이터가 수집되었다. 센서에 의해. 시멘트 공정 라인에서. 이것은 실험에 선택되었고 모든 변수는 하나의 값을 갖고 있다. 그래서 모든 변수는 12500 값이다. 

11500 개의 그룹은 모델을 학습하는 데 사용되었다. 남은 1000개의 그룹이 테스트 셋에  사용되었다. 

RMSE, MRE, MAE 는 예측 성능 지표로 사용되었다. 각각의 공식은 다음과 같다. 

y hat 은 실측값, y는 예측값, m은 데이터 샘플 개수를 의미한다. 

 

5.1. Parameter and Structure Adjustment Experiment of MWMC-CNN 

CNN의 깊이와 합성곱 커널의 크기는 제안된 모들이 성능에 영향을 준다. 

제안된 모델의 성능을 개선시키는 파라미터를 찾기 위해서 우리는 파라미터 적용 실험을 했다. MWMC-CNN을 다른 기이와 다른 합성곱 커널 사이즈를 가진 모델들과 비교하기 위해. 실제 시멘트 예열 공정 데이터를 사용하여. 

실험 결과는 다음 그림과 같다. 

우리는 서로 다른 크기의 합성곱 커널을 가진 MWMC-CNN 으로 10번 테스트를 했다. 

모든 비교 실험은 같은 최적화 알고리즘을 사용했다. 깊이와 커널 사이즈 제외하고 모든 파라미터들이 같았다. 

6개의 레이어를 가진 MWMC-CNN 의 예측 오차의 평균은 어둡게 색칠된 상자로 표현되었고 

위의 선은 실험 예측 오차의 variance 를 의미한다. 

서로 대응되는 평균과 분산은 밝은 색의 상자로 색칠되었고 선으로 표시되었다. 각각. 

실험 예측 오차의 평균과 분산이 가장 작았다. 

위의 실험 결과는 MWMC-CNN 모델이 특성 추출에 가장 적합하다는 것을 보여준다. 시멘트 예열 공정의 시계열 데이터에서. 

10-1 크기의 합성곱 커널을 사용하는 것은 제안된 예측 모델의 예측 성능을 높이는 데 이롭다. 

 

5.2. Experiments Comparison of MWMC-CNN and Other Models 

실험 결과를 보여주기 위해 MWMC-CNN, CNN, LSSVM, LST 또한 학습 및 테스트되었다. 같은 데이터셋에 대해. 각각. 

상당히 경쟁력 있는 shallow network인 LSSVM 은 다양하게 사용된다. 산업 분야에서. 그래서 이것은 이상적이다. LSSVM을 비교대상으로 선택하는 것은 

시간 의존적인 모델로 LSTM 은 시계열 정보를 추출하고 long-term 의존성과 short-term 의존성을 시뮬레이션하기 위해 디자인되었다. 

제안된 모델의 시계열 정보 추출과 숨겨진 특성 mining 성능은 LSTM 과 CNN을 각각 비교함으로써 입증될 수 있다. 

실험 결과는 Figure 6-10 까지 보여주었고 

Figure 6, 7 은 모든 모델이 석탄과 전력 소비량을 동시에 예측하는 것의 특성들을 학습한다는 것을 의미한다. 

이것은 테스트의 기저가 된다. 

Figure 9는 손실함수를 보여준다. 

figure 8, 9는 예측 결과이다. 이것은 제안된 모델의 성능을 입증한다. 

 

LSSVM, CNN, LSTM, MWMC-CNN 이 학습 데이터의 특성을 학습했는지 알기 위해 우리는 학습 데이터를 사용하여 예측 결과를 이끌어냈다. 

두 개의 선이 더 많이 중복될수록 더 많은 특성들이 학습되었다. 

네 가지 모델의 전력과 석탄 소비량의 학습 결과 곡선은 Figure 6, 7에서 각각 보여준다. 

여기서 파란색 선은 실제값이고 빨간색 선은 학습 결과를 보여준다. 

같은 학습 조건에서 네 개의 모델은 오차 집합에 도달했다(?) 

이것은 그림에서 볼 수 있다. 학습 데이터에 대한 네 개의 모델의 성능이 비슷하다는 것을. 

실험은 네 개의 예측 모델이 학습 데이터의 특성을 잡았다고 말해준다. figure 8은 CNN, LSTM, MWMC-CNN의 손실함수 곡선을 보여준다. 

학습 메커니즘으로 인해 우리는 LSSVM 의 손실함수를 그릴 수 없다. 

이거는 거의 0에 가깝게 수렴된다. 

LSTM의 변동 폭이 가장 크다. 

MWMC-CNN 은 0에 가장 가깝고 CNN보다 작다. 

추가로 수렴 속도가 MWMC-CNN 이 CNN 보다 빠르다. 

네 개의 모델에 대해서 실제 예측 능력을 평가하기 위해 우리는 테스트 데이터셋을 사용하여 테스트했다. 

이것은 학습 데이터셋과는 다르다. 

테스트 결과 곡선은 Figure 9, 10에 각각 보여주었다. 

Figure 9, 10 에서 파란색 선은 실제값 그리고 빨간색 선은 테스트 결괏값을 보여준다. 

모든 그래프 아래에 있는 것은 각 모델의 오차 함수이다. 

이것은 LSSVM 의 전력과 석탄 소비량에 대한 모든 예측 이 가장 안 좋고, LSSVM 보다 CNN이 좋고, 그보다 LSTM 이 좋다. 

전력과 석탄 소비량의 실제값을 매칭할 수 있지만 정확도는 MWMC-CNN 보다 낮다. 

네 가지 모델의 오차 분석을 통해 MWMC-CNN의 오차 곡선이 가장 안정적이라는 것을 알 수 있다. 

실험 결과는 제안된 모델을 증명하고 MWMC-CNN 모델의 일반적 능력이 더 좋고 높은 정확성을 가진다고 한다. 

테스트 오차는 Table 1에서 보여준다. 

 

Table 1에서 볼 수 있듯이, 가장 적은 오차는 MWMC_CNN의 합성곱층이 6개이고 합성곱 커널 사이즈가 10-1 일 경우이다. 

위의 결과로 인해 깊은 신경망(CNN과 LSTM 같은) 은 shallow 신경망(LSSVM 같은) 보다 더 성능이 좋다. 시멘트 예열 공정 시계열 데이터 예측에서는. 이것은 CNN과 같은 깊은 신경망이 본 연구에 더 적합하다는 것을 보여준다. 

CNN과 LSTM 과 비교했을 때 MWMC-CNN 이 가장 높은 정확도를 보여주었고 MWMC-CNN의 rmse 가 CNN보다 35.7% 향상되었고 LSTM 보다는 23.9% 향상되었다. mre는 CNN보다 38.3%, LSTM보다는 21.8% 향상되었다. 

결과는 제안된 모델이 시계열 특성 추출 능력에 더 좋다고 말한다. 

 

6. Conclusions

본 연구에서, 우리는 멀티채널 합성곱 신경망을 제안했다. with moving window (시멘트 예열공정 메커니즘 분석과 시멘트 생산 공정 변수들 간의 관계를 기반으로 한). 

이 모델은 예측 정확도에 시멘트 예열 공정에서 시간 지연 문제가 끼치는 영향를 감소시켰다. 산업 시스템 모델링의 문제점을 축소시키면서 동시에. 

실험 결과는 제안된 모델이 CNN과 비교하여 뛰어난 성능임을 입증했다. 

그리고 다른 산업 메커니즘에 따라 제안된 모델은 확장될 수 있다. 더 복잡한 시계열 데이터를 다루는. 더 많은 입출력 데이터으로. 그리고 이것은 다변수 측정 모델링과 시계열 데이터 분석에 대해 레퍼런스를 제공한다. 

우리의 미래 연구에서는 제안된 방법이 다른 에너지 소비량을 예측하는 데 확장될 것이다. 이것은 더 똑똑한 최적화 제어와 에너지 스케줄링에 레퍼런스를 제공한다. 

 

 

 

 

 

https://www.mdpi.com/1424-8220/21/13/4284

A Synchronous Prediction Model Based on Multi-Channel CNN with Moving Window for Coal and Electricity Consumption in Cement Calc