HD-AI_CHALLENGE_FINAL

🏆 Result

• Leader Board Score(1st)

주최 : HD한국조선해양 AI Center

주관 : DACON

규모 : 총 1320여명 참가 중 최종 상위 11팀 본선 진출 후 진행된 본선 대회

==========================================================

✏️ 대회 느낀점
이번 본선 대회는 약 3일간의 짧은 기간으로 진행되었는데
먼저 드는 생각은 정말 후회 없이 열심히 했다고 생각합니다.
모델도 3일이라는 시간동안 총 400번 제출이 가능했는데
혼자 380번 이상을 제출했었습니다.
정말 열심히 했었고 마지막날에는 코딩하다가 코피도 여러번 났었습니다..
이번 대회는 대회의 배경에 따른 가설 설정을 초점으로 진행했습니다.
따라서 설정했던 가설로 모델링을 진행했는데,
그 가설이 맞았기 때문에 아마 리더보드(모델 정확도) 랭킹도 1등이지 않았을까 라고 생각하며
본선 발표 평가 때 심사위원분들께 잘 설득이 되지 않았나 라고 생각합니다.

**접근법** 이 대회는 건설 현장에서 플릿 매니지먼트 솔루션의 필요성에 맞춰 최적화된 장비 조합을 찾는 것이 목표였습니다. 장비의 작업량을 예측하는 과정에서, 작업자마다 데이터 패턴이 달라 노이즈가 발생했는데, 이는 작업자의 성향, 예를 들어 손떨림이나 특정 습관 등에 의한 것이라고 판단했습니다. 이러한 영향을 받지 않는 모델을 개발하기 위해 여러 Step Size를 활용해 일반화 성능을 높였습니다. 이 아이디어는 시계열 모델에서 윈도우 사이즈를 통한 앙상블 효과와 부트스트래핑 기법을 적용한 것입니다. 데이터는 비식별화되어 있었지만, EDA를 통해 이를 굴착기로 가정하고 도메인에 기반한 Feature Engineering을 통해 모델의 예측 정확도를 개선했습니다. 그 결과, 작업자의 영향을 최소화하면서도 정확한 작업량을 예측할 수 있는 모델을 개발했고, 예측 정확도 그리고 최종 1위의 성과를 거두었습니다.

---

1. 대회 개요 및 목표

• 주제: 건설기계의 센서 데이터를 활용하여 작업 중량을 정확하게 예측하는 AI 모델 개발
• 배경: 효율적인 자원 관리는 건설 현장에서 비용 절감과 생산성 향상에 필수적입니다. 그러나 작업자의 숙련도나 운전 성향은 센서 데이터에 영향을 미쳐 모델 예측의 Noise로 작용할 수 있습니다.
• 목표:
  • 작업자의 개별적인 영향력을 최소화하고, 다양한 센서 데이터를 통합 분석하여 정확한 작업 중량 예측 모델을 구축
  • 이를 통해 Fleet Management 솔루션과 같은 현장 자동화 시스템에 적용 가능

---

2. 문제 정의

(1) Overpred

• 문제 설명:
  • 예측된 작업 중량이 실제 중량보다 크게 예측될 경우, 이후 장비 배치와 작업 계획에 문제가 발생
  • 실제로 필요한 장비보다 더 많은 장비가 배치되어 비효율적 운용과 자원 낭비를 초래
• 해결 방향:
  • 예측 모델이 과대 예측(Overprediction) 문제를 최소화하도록 손실 함수를 설계하고, 모델의 평가 지표에 반영

(2) 작업자 영향력 문제

• 문제 설명:
  • 동일한 센서 데이터에도 불구하고, 작업자의 운전 성향에 따라 다른 행동 패턴이 나타나 Noise로 작용
  • 작업자의 숙련도 차이는 모델이 패턴을 일반화하는 데 어려움을 줌
• 해결 방향:
  • Window Transform 기법을 사용해 작업자의 영향을 최소화하고, 고정된 길이의 시계열 데이터를 생성하여 모델의 학습 안정성을 높임

---

3. 데이터 분석 (EDA)

(1) 비식별화된 센서 데이터 분석 및 가설 설정

• 비식별화 문제: 제공된 데이터는 비식별화된 센서 데이터로, 장비 유형이나 센서의 역할이 명확히 제공되지 않았습니다.
• 가정 설정: 데이터를 분석하기 위해 비식별화 데이터의 전반적인 특성으로 먼저 굴착기 데이터로 가설을 설정하였으며, 일반적인 굴착기의 센서 구성에 따라 다음과 같은 가설을 세웠습니다:
  • Sensor A: Boom
  • Sensor B: Body
  • Sensor C: Bucket
  • Sensor D: Arm

(2) 가설 검증

• 검증 과정: PCA 분석과 시각화를 통해 각 센서의 데이터 특성과 경향성을 분석했습니다.
  • 결과: Sensor A와 C는 중량 예측에 중요한 역할을 하며, Boom과 Bucket의 움직임과 관련성이 높았습니다.
  • Sensor B와 D는 Body와 Arm의 움직임을 반영하며, 반대 경향성을 보여 초기 가정이 유효함을 확인했습니다.

(3) 시계열 데이터의 한계 분석

• 문제 1: 짧은 Time Stamp 길이
  • 시계열 모델은 긴 시퀀스에서 패턴을 학습하도록 설계되었지만, 이 데이터는 짧은 시퀀스로 인해 복잡한 종속성을 학습하기 어려움
• 문제 2: 시작 시점의 변동성
  • 데이터 샘플의 시작 시점이 일정하지 않아, 시간적 컨텍스트가 상실되어 모델 성능이 저하될 가능성
• 문제 3: 부족한 훈련 데이터셋
  • 제한된 양의 학습 데이터로 인해, 모델이 일반화하기 어려운 상황 발생

---

4. 모델링 접근 방법

(1) 데이터 구조 변환 및 머신러닝 모델 적용

• 시계열 데이터 변환:
  • Transpose 적용: 시계열 형식의 데이터를 transpose하여, 시간적 정보가 개별 인덱스의 피처로 포함되도록 변환했습니다.
  • 효과: 시간 순서에 의존하지 않고, 모든 시간 정보를 개별 피처로 다루어, 시계열 모델 대신 일반적인 머신러닝 모델에서 학습할 수 있도록 함

(2) 머신러닝 모델 (Machine Learning)

• 모델 선택: Random Forest, LightGBM, CatBoost 등 다양한 모델을 사용해 앙상블
  • Ensembling & Stacking: 다양한 모델을 결합하고, Stacking 기법을 통해 성능 극대화

---

5. 피처 엔지니어링 (Feature Engineering)

(1) Dynamic Features: 센서 변화율 및 가속도

• 가속도 계산: 센서 값의 변화율을 분석해, 동적 부하의 변화를 반영
• 회전 토크: Boom과 Arm의 각도 변화율을 계산하여, 중량 예측에 중요한 회전적 힘의 효과 반영

(2) Time-Based Features: 시간 기반 피처 생성

• Window Transform: 5초 단위의 고정된 윈도우로 변환하여, 작업자의 운전 성향에 독립적인 데이터를 생성
• Seasonality Features: 시간적 패턴을 반영하기 위해, sin 및 cos 변환을 사용해 주기성을 포착

---

6. 모델 해석 및 결과

• 센서 해석:
  • Sensor A, C: 중량이 높아질수록 값이 높게 나타나며, Boom과 Bucket의 움직임과 연관
  • Sensor B, D: 반대의 경향을 보이며, 주로 Arm과 Body의 움직임을 반영
• 모델 평가: Overpred 문제를 최소화하고, 실제 작업 중량과 높은 상관관계를 보이는 예측 결과 도출

---

7. 활용 방안 및 기대 효과

(1) Fleet Management 솔루션

• 예측 모델을 통해 장비 운용의 효율성을 극대화하고, 작업 계획 수립에 기여
• 이상 탐지 기능: 센서 데이터를 통해 기계의 이상 여부를 사전에 감지하여, 유지보수 비용 절감

(2) 자동화 굴착기 개발

• 정확한 중량 예측을 통해, AI 기반 자동화 굴착기 개발 가능성 제시
• 안전성 향상: 중량 예측을 통한 작업의 안전성을 강화하고, 사고 위험을 줄임

---

===========================================================================

Data Info

• train.csv 각 운전자의 작업 중량 정보가 이름으로 주어진 csv 16개(0, 100, 200, 300... 902 kg)
  -> 비식별화된 센서 및 시그널 데이터

• test.csv
  약 4000여 운전자의 센서 및 시그널 데이터

• sample_submission.csv
  각 운전자에 대한 작업 중량 예측

---