Skip to content
i3monthsPublic
forked from DS-LOV3/SoS-MAE

About

[ICTC 2026] Structure over Scale: A Multi-Axis Ensemble for Small-Sample Multimodal Lifelog Prediction

Resources

Stars

0 stars

Watchers

0 watching

Forks

 
 

Latest commit

 

History

3 Commits

Folders and files

Repository files navigation

Structure over Scale: A Multi-Axis Ensemble for Small-Sample Multimodal Lifelog Prediction

소규모 표본 멀티모달 라이프로그 예측을 위한 다축 앙상블 — ICTC 2026

개요

이 저장소는 제5회 ETRI 휴먼이해 AI 챌린지(10명 피험자, 450일 라벨, 스마트폰·워치 센서로 수면·정서 지표 예측)에 참가한 결과를 정리한 논문의 코드다. 데이터는 소규모·피험자 종속적이며 학습·평가 구간 사이에 분포 이동이 있다. 이런 조건에서는 깊은 모델이나 foundation model보다 이종 gradient-boosted tree 앙상블이 더 강하고 안정적이었다.

일 단위 피처로 집계하면 두 신호가 사라진다. 라벨이 개인 평균 대비로 정의되는 데서 오는 피험자 상대 구조, 그리고 라벨의 day-to-day 자기상관과 일중 활동 패턴에서 오는 시간 구조다. 앞의 것은 피험자별 정규화와 사전확률로, 뒤의 것은 라벨 자기상관 축과 블록 단위 1D-CNN/LSTM 축으로 복원해 백본과 logit 공간에서 결합했다.

여기에 사후 확률 보정을 하나 더 얹었는데, 어떤 보정이 분할을 넘어 전이되는지가 까다로웠다. 목표 평균을 리더보드 쪽으로 옮기는 보정은 public 점수만 오르고, 앙상블의 과소확신을 교정하는 평균 보존 temperature는 분할에 무관하게 강도가 그대로 전이됐다.

결과적으로 피험자 평균 baseline의 leakage-controlled log-loss 0.634가 0.566까지 내려갔고, private 평가에서는 0.571이 나왔다.

파일 구성

.
├── paper/
│   ├── SoS-MAE.pdf              # camera-ready 논문 (IEEE, ICTC 2026)
│   ├── SoS-MAE.tex              # 논문 소스
│   └── figures/
├── chain_def.py                 # logit 결합, 1차·2차 모멘트 보정
├── reproduce_final.py           # 최종 제출본 재현 (4단계, bit-exact)
├── data/
│   ├── daily_features.csv       # 일 단위 피처 테이블 (백본 입력 87열 포함)
│   ├── ch2026_metrics_train.csv # 학습 라벨 (450일 × 7 지표)
│   ├── ch2026_submission_sample.csv
│   └── final_submission.csv     # 재현 검증 타깃 (private log-loss 0.5712)
├── artifacts/                   # 동결 모델 예측 (재현에 필요한 최소 산출물, 전부 CSV)
└── training/                    # 논문 방법론에 대응하는 대표 학습 코드
    ├── backbone.py              #   GBM 27-bag 백본
    ├── sequence_axis.py         #   블록 1D-CNN/LSTM 시퀀스 축
    └── mlp_axis.py              #   피험자별 소형 MLP 축

데이터셋

ETRI Lifelog Dataset 2024(제5회 ETRI 휴먼이해 AI 챌린지 제공)를 쓴다. 피험자 10명, 라벨은 450일(학습) + 250일(평가), 입력은 폰·워치 센서 12종을 분단위로 기록한 것이다(활동, 화면, 충전, 앱 사용, 주변음·조도, Wi-Fi, Bluetooth, GPS, 심박, 걸음).

원시 센서 데이터는 라이선스상 재배포하지 않는다. 필요하면 ETRI 데이터 포털에서 별도로 신청해야 한다. 이 저장소에는 재현에 필요한 파생 피처 테이블(data/daily_features.csv)만 포함했다.

라벨 (7개, 이진 분류)

라벨 정의 이진화 기준 양성률 ICC lag-1 자기상관
Q1 수면질 (자가보고) 개인 평균 0.50 0.11 0.19
Q2 피로도 (자가보고) 개인 평균 0.56 0.08 0.25
Q3 스트레스 (자가보고) 개인 평균 0.60 0.06 0.21
S1 총수면시간(TST) NSF 가이드라인 0.68 0.14 0.10
S2 수면효율(SE) NSF 가이드라인 0.65 0.19 0.01
S3 수면지연(SOL) NSF 가이드라인 0.66 0.25 0.00
S4 수면중각성(WASO) NSF 가이드라인 0.56 0.14 0.04

평가지표는 7개 라벨 평균 log-loss다. 순위가 아니라 확률 자체를 채점하기 때문에 보정이 점수에 직접 반영된다.

방법

백본

LightGBM·CatBoost·XGBoost를 각 3 seed × 3 fold로 학습해 27개 모델의 logit 평균을 쓴다. 87개 일 단위 피처(42개는 피험자별 z-정규화 사본) 위에 피험자 인덱스를 범주형으로 추가해 트리가 개인에 조건화되게 했고, adversarial-validation 표본 가중으로 학습·평가 구간의 분포 차이를 일부 보정했다.

축(axis)

백본만으로는 두 신호가 빠진다. 하나는 피험자 상대 구조(라벨이 개인 평균 대비로 정의됨)로, 피험자 사전확률 블렌드와 정규화로 복원한다. 다른 하나는 시간 구조(라벨의 day-to-day 자기상관, 일중 활동의 형태)로, 두 축으로 복원한다.

  • 라벨 자기상관 축: 같은 피험자의 시간적으로 가장 가까운 학습 라벨을 거리 기반 Gaussian 가중으로 전파. 자기상관이 강한 주관 라벨(Q1–Q3)에 주로 작용.
  • 시퀀스 축: 하루를 4시간 블록 6개로 나눈 분단위 텐서를 입력으로, 블록별 1D-CNN이 형태를 인코딩하고 LSTM이 블록 간 진행을 통합. 자기상관이 거의 없는 객관 수면 라벨(S2, S3)에 주로 작용.

각 축은 백본과 logit 공간에서 결합한다:

p = σ( (1-λ)·logit(p_base) + λ·logit(p_axis) )

확률 보정

판별력을 고정한 채 예측 분포의 평균(1차 모멘트)과 분산(2차 모멘트)을 순서대로 보정한다. 1차는 라벨별 예측 평균을 목표 양성률로 옮기는 상수 이동이고, 2차는 평균을 보존하면서 분포만 날카롭게 하는 temperature scaling이다. 앙상블은 평균화로 인해 구조적으로 과소확신 상태다(예측 표준편차/라벨 표준편차 = 0.345). 이걸 교정해도 되는지, 교정한 게 실제로 전이되는지를 확인한 게 이 저장소의 실험이다.

실험 결과

축 효과의 분리

subject-conditioned 백본 대비 (random-fold OOF, per-family mean log-loss):

단계 Q 평균 S2 전체
subject-conditioned 백본 0.599 0.565 0.574
+ 라벨 자기상관 축 0.583 0.565 0.570
+ 시퀀스 축 (S2/S3) 0.583 0.560 0.569

라벨 자기상관 축은 주관 라벨(Q)만, 시퀀스 축은 객관 수면 라벨(S)만 개선한다.

Foundation model과의 비교

동일 leakage-controlled fold에서:

모델 log-loss
GBM 백본 0.593
TabPFN-v2 (zero-shot) 0.612
피험자 평균 baseline 0.634
PAT (actigraphy foundation model) 0.680

보정 중 무엇이 전이되는가

배포 스택의 leakage-controlled OOF 분해:

보정 Δ log-loss
2차 모멘트(sharpening), 올바른 목표 평균 −0.0135
2차 모멘트(sharpening), 과거로 추정한 평균 −0.0013
1차 모멘트 → 리더보드로 프로브한 public 목표 +0.0108
(대조) 1차 모멘트 → 올바른 목표 −0.0041

목표 평균이 맞게 주어지면 sharpening은 분명한 이득이지만, 평균을 과거 데이터에서 추정하면 이득이 거의 사라진다. 피험자 내 양성률이 시간에 따라 드리프트하기 때문이다. 반대로 목표 평균 자체를 리더보드에 맞추면 오히려 손해다. 그래서 최종 제출에서는 sharpening 강도만 믿고 목표 평균은 자유도를 낮게 제약했다.

재현 방법

pip install -r requirements.txt   # numpy, pandas 만 있으면 충분
python reproduce_final.py

4단계(축 결합 → 추가 결합 → 1차 모멘트 보정 → 2차 모멘트 보정)를 거쳐 data/final_submission.csv와 bit-exact(최대 오차 1.1e-13, float 저장 한계) 일치하는 결과를 만든다. artifacts/의 동결 예측은 각 단계의 검증 타깃이다. 축 학습 코드는 training/에 실어두었지만, 원시 센서 데이터가 있어야 처음부터 돌릴 수 있다.

참고 문헌

  1. F. Shaffer and J. P. Ginsberg, "An overview of heart rate variability metrics and norms," Frontiers in Public Health, vol. 5, p. 258, 2017.
  2. S. W. Oh et al., "Understanding human daily experience through continuous sensing: ETRI lifelog dataset 2024," arXiv:2508.03698, 2025.
  3. R. Bommasani et al., "On the opportunities and risks of foundation models," arXiv:2108.07258, 2021.
  4. F. Y. Ruan et al., "Foundation models for wearable movement data in mental health research," arXiv:2411.15240, 2024.
  5. L. Grinsztajn, E. Oyallon, and G. Varoquaux, "Why do tree-based models still outperform deep learning on typical tabular data?" in NeurIPS Datasets and Benchmarks, 2022.
  6. C. Guo, G. Pleiss, Y. Sun, and K. Q. Weinberger, "On calibration of modern neural networks," in Proc. ICML, 2017.
  7. M. Saerens, P. Latinne, and C. Decaestecker, "Adjusting the outputs of a classifier to new a priori probabilities," Neural Comput., 2002.
  8. A. Blum and M. Hardt, "The ladder: a reliable leaderboard for machine learning competitions," in Proc. ICML, 2015.
  9. S. Park, J. Woo, and S. Yang, "MIS-LSTM: multichannel image–sequence LSTM for sleep quality and stress prediction," arXiv:2509.11232, 2025.

License

코드는 MIT License를 따른다(LICENSE 참고). paper/SoS-MAE.pdf는 IEEE 저작권 하에 있으며 저자 개인 용도로 게재한 저자 승인본(accepted manuscript)이다. 원시 ETRI 데이터는 이 저장소에 포함되지 않으며 별도 라이선스를 따른다.

Citation

@inproceedings{sosmae2026,
  title     = {Structure over Scale: A Multi-Axis Ensemble for Small-Sample Multimodal Lifelog Prediction},
  author    = {Jeong, Joonmo and Kim, Yoonjae and Kim, Minsu and Lee, Jong-Ryul},
  booktitle = {Proc. International Conference on Information and Communication Technology Convergence (ICTC)},
  year      = {2026}
}

About

[ICTC 2026] Structure over Scale: A Multi-Axis Ensemble for Small-Sample Multimodal Lifelog Prediction

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages