MLOps 1) 머신러닝 이론 및 알고리즘 모델 학습과 서빙 모델 최적화 2) 데이터 엔지니어링 데이터 전처리 대용량 데이터 처리 데이터 파이프라인 3) DevOps CI/CD 구성 쿠버네티스/컨테이너 고가용성 운영 전략 데이터 파이프라인의 유형 a. 일괄처리(batch processing) b. 스트리밍 데이터(streaming data) CI / CD Continuous Integration / Continuous Delivery 데이터 파이프라인이란? | IBM 데이터 파이프라인이 단순 분석과 복잡한 분석 모두를 위한 기반을 어떻게 제공하는지 알아봅니다. www.ibm.com 데이터 파이프라인이란 무엇인가요? - 데이터 파이프라인 설명 - AWS 데이터 파이프라인은 분석을 위해 엔터프라이즈 데이터를..
pip uninstall pandas pip install pandas --upgrade pip3 uninstall xgboost pip3 install xgboost ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts. pdpbox 0.3.0 requires xgboost>=1.7.1, which is not installed. http://ngmsoftware.com/bbs/board.php?bo_table=study&wr_id=704&sst=w..
df = -------------------------------- | datetime | col1 | col2 | ... | -------------------------------- |2023.01.02| | | | -------------------------------- df['month'] = df['datetime'].dt.month df = ---------------------------------------- | datetime | col1 | col2 | ... | month | ---------------------------------------- |2023.01.02| | | | 1 | ---------------------------------------- https://bigd..
Integrated Modeling for Roller Kiln Temperature Prediction Abstract: roller kiln 의 소결 공정의 복잡한 메커니즘과 킬른의 온도 변화의 큰 시간 지연에 목적을 두고 있으며, 이것들은 정밀한 온도 제어에 어려움을 가진다. 본 연구 논문은 fusion 메커니즘과 데이터 모델과 결합된 roller 킬른 온도 예측의 앙상블 모델을 제안한다. 첫번째로, 킬른의 열 전달 메커니즘 분석에 기반하여 온도 출력 메커니즘 모델이 구축되었다. 그리고 메커니즘 모델의 대기 출구 온도의 동적 특성을 고려하여, 커널 principal 컴포넌트 분석에 기반한 지엽적으로 가중치를 갖는 LSSVM 모델이 대기 출구 온도의 동적 특성을 동적으로 시뮬레이션하는 데 사용되었다...
Cement rotary kiln temperature prediction based on time-delay calculation and residual network and bidirectional novel gated recurrent unit multi-model fusion abstract: (온도 예측을 통해 제품 품질 향상 및 에너지 소비 감소) 시멘트 회전용로의 온도는 최종 제품의 품질, 공장의 에너지 소비 및 배출에 직접적인 영향을 미치며, 따라서 시멘트 회전용로의 온도를 높은 정확도로 측정하여 에너지 소비와 배출을 줄이고 제품 품질을 향상시키는 것이 필요합니다. (온도 예측의 어려움) 그러나 시멘트 회전용로의 조건은 복잡하고 변화가 많으며, 시간 지연이 크며, 온도는 과거의 작업 조건에..
AutoRegressive Models: What Are They Good For? Abstract: 자기회귀(AR) 모델은 데이터 밀도를 추정하여 데이터 분포를 모델링하려는 likelihood 모델의 한 유형입니다. 이러한 모델은 체인 규칙을 통해 데이터 x의 차원에 따라 pθ(x) = Πd i=1pθ(xi |x1, ..., xi−1) 를 분해하여 최대 우도 목적 함수에 접근합니다. 그들은 수식을 구성하는 각각의 조건부 확률을 학습합니다. 이러한 분해는 AR 모델이 다른 방법(예: 변분 오토인코더(VAE, AutoEncoder) 또는 플로우 모델)보다 부정 로그-우도(NLL, negative log-likehood) 점수를 향상시키는 데 도움이 됩니다. PixelCNN은 첫 번째로/최초로 컨볼루션 AR..