머신러닝 입문: 신경망 기초

레이어 l은 h_{l+1}=\phi(W_lh_l+b_l)로 표현할 수 있습니다. 비선형 변환 \phi이 없으면, 여러 레이어가 쌓여 하나의 선형 변환으로 축소됩니다. 학습은 손실 함수 L의 기울기를 역전파하고 \theta\leftarrow\theta-\eta\nabla_\theta L를 통해 업데이트합니다.

다이어그램: Duskcoil, 특정 측정 아키텍처가 아닌 개념적 아키텍처입니다.

활성화, 정규화, 잔여 연결 및 어텐션은 표현 및 최적화를 변경합니다. 데이터 증강, 가중치 감소, 조기 종료 및 유효 분할은 일반화 모니터링에 도움이 됩니다. 낮은 훈련 손실이 안전성을 보장하는 것은 아닙니다. 또는 공정성.

• 딥러닝 서적
• PyTorch 자동 미분

손실 함수, 출력 레이어 및 수치 안정성

분류기의 끝에 소프트맥스 함수를 배치하면 클래스 k의 확률이 p_k=\exp z_k/\sum_j\exp z_j로 바뀝니다. 실제 레이블을 원핫 인코딩 y으로 하면 교차 엔트로피는 L=-\sum_k y_k\log p_k이 됩니다. 구현에서는 \exp z를 직접 계산하는 대신 로그 합 지수 트릭을 사용하여 빼줍니다. 최대 로짓 — 이는 큰 로짓에서 지수 오버플로를 방지하여 손실이 NaN이 되는 것을 막습니다. 회귀 분석에서 이상치에 민감한 제곱 오차만이 유일한 선택지는 아닙니다. Huber 손실도 고려해 볼 만합니다. 손실은 단순히 "숫자를 작게 만드는 표현식"이 아니라, 어떤 연산 오류에 더 큰 페널티를 부여해야 하는지를 명시하는 것입니다.

미니 배치 최적화는 샘플링 노이즈를 발생시킵니다. Adam과 같은 적응형 최적화기는 초기 학습을 용이하게 하지만, 학습률, 가중치 감소, 배치 크기, 학습 스케줄은 모두 일반화에 영향을 미칩니다. GPU 커널, 데이터 순서, 전처리, 라이브러리 버전이 다를 경우, 단순히 난수 시드만 고정하는 것은 충분하지 않습니다. 데이터, 코드, 환경, 가중치, 평가 코드를 하나의 릴리스로 보관하십시오.

일반적인 아키텍처 비교

RNN/상태 공간 모델 | 순서가 지정된 상태 유지 | 시계열 및 오디오 | 장기 종속성 및 초기화 |

트랜스포머 | 장거리 조건화 | 텍스트, 이미지, 멀티모달 입력 | 계산, 출처, 지원되지 않는 출력 |

더 정교한 아키텍처도 모호한 레이블을 수정할 수는 없습니다. 예를 들어, 유지보수 후에 생성된 실패 레이블은 사후 이벤트 필드를 학습에 포함시킬 수 있습니다. 오프라인 정확도는 미래에 대한 접근성을 측정합니다. 학습과 서비스는 특징 코드를 공유해야 하며, 모든 특징은 예측 마감일에 사용 가능한지 감사해야 합니다.

실패 사례: 높은 정확도의 착각

이미지를 무작위로 분할하면 동일한 제품, 배경 또는 인접한 비디오 프레임이 학습 및 테스트 세트 모두에 포함될 수 있습니다. 그러면 네트워크는 획득 조건을 기억하게 됩니다. 유사한 누출은 미래 이동 평균, 반복되는 환자 또는 기계, 인접한 지리적 위치에서도 발생합니다. 미래 기간, 독립적인 시설, 장치 또는 개체를 제외해야 합니다.

두 번째 실수는 확률을 결정으로 취급하는 것입니다. 0.9라는 점수가 자동으로 위험한 것은 아닙니다. 점수가 매겨진 예제를 확인하십시오. 0.9 부근의 값은 대략 그 빈도에서 긍정적인 것으로 간주하고, 오경보, 누락, 재검토 비용을 기준으로 임계값을 선택합니다. 입력 품질이 부적절하거나 사례가 분포에서 벗어난 경우, 예측을 보류하는 경로를 제공합니다.

구현 절차

1. 예측 시간, 모집단, 레이블, 지연 시간 제한, 오류 비용을 정의합니다.

2. 개체, 시간, 위치 인식 분할을 고정하고, 전처리는 훈련 데이터에만 적용합니다.

3. 동일한 분할 및 지표를 사용하여 선형 모델 또는 소형 MLP를 비교합니다.

4. 손실, 학습률, 기울기 정규화, NaN, 훈련-검증 간격, 슬라이스별 성능을 기록합니다.

5. 결측값, 노이즈, 지연 시간, 분포에서 벗어난 입력을 주입하고, 예측 보류 및 롤백을 테스트합니다.

기울기 관찰 가능성 확보

훈련이 실패하면 먼저 데이터와 기울기 경로를 검사합니다. 작은 배치 하나를 기억해 두는 것이 좋습니다. 실패는 종종 레이블 이동, 잘못된 마스크, 차원 오류 또는 손실 API 오용을 드러냅니다. 그런 다음 레이어별 활성화 값을 기록합니다. 그래디언트 노름과 업데이트 크기를 확인하세요. 하위 레이어에서 값이 사라지는 것은 그래디언트 손실을, 갑작스러운 증가는 발산을, 업데이트가 0인 경우는 그래프가 분리되었거나 파라미터가 고정되었음을 나타냅니다.

초기화는 레이어 전체에서 신호 분산을 활용할 수 있도록 하는 것을 목표로 합니다. ReLU 계열의 경우 He 초기화가 일반적인 시작점이고 tanh 함수의 경우 Xavier 초기화가 사용되지만, 정규화와 잔차 연결은 실제 동작을 변경합니다. 그래디언트 클리핑은 비상시 경계 설정이며, 잘못된 손실 함수나 입력 스케일링을 숨기는 방법이 아닙니다. 혼합 정밀도 환경에서는 작은 float32 실행 결과를 비교하고 손실 스케일링, 오버플로 및 언더플로를 모니터링하세요.

공정한 실험 단위

최고 점수 하나만 비교하기보다는 시드 분포, 학습 곡선 및 계산 예산을 비교하세요. 전처리, 사전 학습, 데이터 증강 또는 사후 처리가 다른 경우 파라미터 개수가 같다고 해서 공정한 비교가 되는 것은 아닙니다. 테스트 세트에서 임계값을 재조정하지 마세요. 불균형이 있는 경우 매크로 및 클래스별 지표를 유지하고, 확률에 따라 결정을 내리는 경우 보정도 확인하세요.

실패 사례: 검증 데이터 오염

수십 번의 검증 후 아키텍처, 데이터 증강, 시드를 선택하면 검증 세트에 과적합이 발생합니다. 변경되지 않은 테스트 세트를 한 번 평가하고 검색 횟수와 선택 규칙을 기록하십시오. 하나의 비디오에서 인접한 프레임이 교차 분할되는 경우 파일 수준 분할은 여전히 유효하지 않습니다. 환자, 차량, 생산 로트 또는 녹화 세션과 같이 독립성을 결정하는 엔티티를 기준으로 분할하십시오.

배포 전 체크리스트

1. 대표적인 사례를 수동 계산 또는 신뢰할 수 있는 구현과 비교합니다.

2. 타이니 배치 과적합, 유한 그래디언트 및 저장/다시 불러오기 동등성 테스트.

3. 동일한 입력과 타이머를 사용하여 기준 모델, 후보 모델, 양자화 모델의 벤치마킹을 수행합니다.

4. API 계약에 유효하지 않거나, 누락되었거나, 지연된 입력에 대한 거부 값과 대체 동작을 명시합니다.

5. 모델, 데이터, 코드 커밋, 종속성, 평가를 하나의 릴리스 레코드로 연결합니다.

신경망 엔지니어링은 데이터에서 의사 결정에 이르는 경로를 측정 가능하게 만드는 작업입니다. 한 번에 하나의 변경 사항만 추가하여 개선 사항에 대한 설명이 가능하고, 문제가 발생했을 때 알려진 롤백 지점이 있도록 합니다.

• NIST AI 위험 관리 프레임워크
• Google 머신러닝 규칙
• PyTorch 재현성 참고 사항
• NIST AI 100-1