잊지 않고 학습하는 AI
예전에 저는 순환 공급망을 관리하기 위한 AI를 구축한 적이 있습니다. 새로운 탄소세가 도입되기 전까지는 잘 작동했습니다.
모델이 실패했습니다. 효율적인 경로 설정에 대해 학습했던 모든 내용을 잊어버린 것입니다. 저는 처음부터 다시 학습시키느라 몇 주를 보내야 했습니다.
이 실패는 저에게 중요한 교훈을 주었습니다. 제조 분야의 AI는 단순히 한 번 학습하는 것 이상의 기능이 필요합니다. 기존 지식을 잃지 않으면서 새로운 규칙에 지속적으로 적응해야 합니다.
저는 이 접근 방식을 메타 최적화 지속 적응(Meta-Optimized Continual Adaptation)이라고 부릅니다.
이는 두 가지 핵심 개념을 결합한 것입니다:
• 메타 학습(Meta-Learning): 모델에게 빠르게 학습하는 방법을 가르칩니다. 이를 통해 새로운 세율 구조나 배출량 제한에 몇 초 만에 적응할 수 있습니다. • 지속 학습(Continual Learning): 모델이 기존의 기술을 유지하도록 보장합니다. 이를 통해 규칙이 바뀌어도 시스템이 무너지지 않도록 합니다.
저는 하이브리드 방식을 사용하여 이를 테스트했습니다. Model-Agnostic Meta-Learning (MAML)과 Elastic Weight Consolidation (EWC)을 결합했습니다.
결과는 명확했습니다:
- 표준 모델은 규칙이 변경될 때 성능이 40% 하락했습니다.
- 제가 만든 적응형 모델은 성능 하락이 5% 미만이었습니다.
- 적응에 수천 번의 재학습 단계 대신 단 10단계면 충분했습니다.
규제가 수시로 변하는 산업을 위해 AI를 구축한다면, 정적인 모델에 의존하지 마십시오. 정책의 논리와 구체적인 수치를 분리하는 시스템이 필요합니다.
구현을 위한 세 가지 팁:
- 변화에 대비하기 위해 메타 학습을 사용하십시오.
- 망각을 방지하기 위해 가중치 제약(weight constraints)을 사용하십시오.
- 제약 조건을 최적화 루프에 직접 통합하십시오.
실패는 종종 최고의 스승이 됩니다. 모델의 붕괴를 통해 저는 안정성이 지능만큼이나 중요하다는 것을 깨달았습니다.
Optional learning community: https://t.me/GyaanSetuAi