Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
Original file line number Diff line number Diff line change
Expand Up @@ -43,7 +43,7 @@ public FaceSessionResponse create(
}

/** 카메라 프레임 한 장의 얼굴을 인식하고 출석을 처리한다. 받은 이미지는 모든 응답 경로에서 0으로 덮어쓴다. */
@Operation(summary = "프레임 얼굴 인식", description = "본문은 image/jpeg 또는 image/webp 원본 바이트다. X-Frame-Id 헤더는 선택이다. 받은 이미지는 처리 뒤 메모리에서 지운다.")
@Operation(summary = "프레임 얼굴 인식", description = "본문은 image/jpeg 또는 image/webp 원본 바이트다. X-Frame-Id 헤더는 선택이다. 받은 이미지는 처리 뒤 메모리에서 지운다. 세션마다 한 번에 한 프레임만 처리하고, 이전 프레임을 시작한 지 최소 간격(기본 200ms)이 지나야 다음 프레임을 받는다. 처리 중이거나 간격 전이면 429 FACE_FRAME_RATE_LIMITED, 서버 전체 동시 처리 한도를 넘으면 429 FACE_SERVICE_BUSY다. 429는 그 요청만 거절하고 세션은 유지한다.")
@PostMapping(value = "/{sessionId}/frames", consumes = {"image/jpeg", "image/webp"})
public FaceFrameResponse recognize(
@AuthenticationPrincipal Long memberId,
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -41,6 +41,10 @@ public class FaceRecognitionSession {
@Column(name = "last_activity_at", nullable = false)
private Instant lastActivityAt;

/** 마지막 프레임 처리를 시작한 시각. 프레임 최소 간격을 이 시각부터 센다(#262). 아직 프레임이 없으면 null이다. */
@Column(name = "last_frame_started_at")
private Instant lastFrameStartedAt;

@Column(nullable = false)
private boolean active;

Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -31,10 +31,10 @@ boolean existsActiveOnFloor(@Param("purpose") AttendancePurpose purpose, @Param(
@Param("cutoff") Instant cutoff);

@Modifying
@Query("UPDATE FaceRecognitionSession s SET s.lastActivityAt = :now, " +
@Query("UPDATE FaceRecognitionSession s SET s.lastActivityAt = :now, s.lastFrameStartedAt = :now, " +
"s.frameLockToken = :token, s.frameLockUntil = :lockUntil " +
"WHERE s.id = :id AND s.adminMemberId = :adminId AND s.active = true " +
"AND s.lastActivityAt <= :cutoff " +
"AND (s.lastFrameStartedAt IS NULL OR s.lastFrameStartedAt <= :cutoff) " +
"AND (s.frameLockToken IS NULL OR s.frameLockUntil <= :now)")
int claimFrame(
@Param("id") UUID id,
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -123,7 +123,7 @@ public FaceSessionResponse create(Long adminMemberId, AttendancePurpose purpose,
// AI를 부르기 전에 세션 소유 정보를 먼저 저장한다. 그래야 AI 쪽 정리가 실패해도 다시 시도할 수 있다.
faceSessionStore.create(sessionId, adminMemberId, purpose, floor,
templates.stream().map(template -> template.getStudent().getId()).toList(),
now, now.minus(properties.minFrameInterval()));
now, now);
try {
aiFaceClient.createSession(sessionId, request);
} catch (RuntimeException e) {
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -91,8 +91,9 @@ public Optional<FaceSessionView> findOwnedIfPresent(UUID sessionId, Long adminMe

/**
* 프레임 처리 잠금을 잡는다. 최소 프레임 간격이 지났고 다른 프레임이 처리 중이 아닐 때만 잡힌다.
* 간격은 이전 프레임을 시작한 시각부터 센다. 처리가 간격보다 오래 걸렸으면 끝난 뒤 바로 다음 프레임을 받는다(#262).
*
* @param cutoff 이 시각 이전에 마지막으로 활동했어야 한다(프레임 간격 제한)
* @param cutoff 이전 프레임을 이 시각 이전에 시작했어야 한다(프레임 간격 제한). 첫 프레임은 바로 받는다
* @param token 이 프레임의 잠금 토큰
* @param lockUntil AI 응답이 오지 않아도 잠금이 저절로 풀리는 시각
* @return 잠금을 잡았으면 {@code true}
Expand Down
1 change: 1 addition & 0 deletions src/main/resources/application.yaml
Original file line number Diff line number Diff line change
Expand Up @@ -129,6 +129,7 @@ checkup:
response-timeout: ${FACE_AI_RESPONSE_TIMEOUT:30s}
max-upload-bytes: ${FACE_MAX_UPLOAD_BYTES:20971520} # 얼굴 등록 영상 한도 20MB. 웹이 지키는 값과 같다
max-frame-bytes: ${FACE_MAX_FRAME_BYTES:2097152}
# 세션마다 이전 프레임을 시작한 시각부터 센다. 처리가 더 오래 걸리면 끝난 뒤 바로 다음 프레임을 받는다
min-frame-interval: ${FACE_MIN_FRAME_INTERVAL:200ms}
max-concurrent-frames: ${FACE_MAX_CONCURRENT_FRAMES:4}
# 얼굴 등록 영상을 동시에 받아 처리하는 수. 영상 본문이 메모리에 올라가므로 서버 메모리에 맞춰 정한다
Expand Down
Original file line number Diff line number Diff line change
@@ -0,0 +1,3 @@
-- 프레임 최소 간격을 이전 프레임의 시작 시각부터 센다(#262). 아직 프레임을 받지 않은 세션은 NULL이다.
ALTER TABLE face_recognition_session
ADD COLUMN last_frame_started_at TIMESTAMPTZ;
Original file line number Diff line number Diff line change
Expand Up @@ -3,6 +3,7 @@
import static org.assertj.core.api.Assertions.assertThat;
import static org.assertj.core.api.Assertions.assertThatThrownBy;

import java.time.Duration;
import java.time.Instant;
import java.util.ArrayList;
import java.util.List;
Expand All @@ -27,14 +28,18 @@

/**
* 실제 PostgreSQL에서 얼굴 인식 세션 저장이 후보 학생을 한 번에 저장하고,
* 저장되지 않은 학생이 섞이면 세션째 취소되는지, 용도·층별 활성 세션을 찾는지 검증한다(#216, #260).
* 저장되지 않은 학생이 섞이면 세션째 취소되는지, 용도·층별 활성 세션을 찾는지,
* 프레임 최소 간격을 이전 프레임 시작부터 세는지 검증한다(#216, #260, #262).
*/
@DataJpaTest
@AutoConfigureTestDatabase(replace = AutoConfigureTestDatabase.Replace.NONE)
@Transactional(propagation = Propagation.NOT_SUPPORTED)
@Import(FaceSessionStore.class)
class FaceSessionStoreTest {

private static final Instant T0 = Instant.parse("2100-01-01T00:00:00Z");
private static final Duration INTERVAL = Duration.ofMillis(200);

@Autowired
private FaceSessionStore sessionStore;

Expand Down Expand Up @@ -123,6 +128,59 @@ void findsActiveSessionByPurposeAndFloor() {
assertThat(sessionStore.existsActiveOnFloor(AttendancePurpose.STUDY_ROOM, 5, cutoff)).isTrue();
}

@Test
@DisplayName("새 세션의 첫 프레임은 바로 받는다")
void firstFrameIsClaimedImmediately() {
UUID sessionId = newSession(T0);

assertThat(claim(sessionId, T0)).isTrue();
}

@Test
@DisplayName("프레임 간격은 이전 프레임 시작부터 세어 199ms는 거절하고 200ms는 받는다")
void intervalCountsFromPreviousFrameStart() {
UUID sessionId = newSession(T0);
UUID first = UUID.randomUUID();
assertThat(sessionStore.claimFrame(sessionId, adminMemberId, T0, T0.minus(INTERVAL), first,
T0.plusSeconds(60))).isTrue();
sessionStore.releaseFrame(sessionId, adminMemberId, first, T0.plusMillis(150));

assertThat(claim(sessionId, T0.plusMillis(199))).isFalse();
assertThat(claim(sessionId, T0.plusMillis(200))).isTrue();
}

@Test
@DisplayName("처리가 간격보다 오래 걸렸으면 끝난 뒤 바로 다음 프레임을 받는다")
void slowFrameAllowsNextFrameRightAfterRelease() {
UUID sessionId = newSession(T0);
UUID first = UUID.randomUUID();
assertThat(sessionStore.claimFrame(sessionId, adminMemberId, T0, T0.minus(INTERVAL), first,
T0.plusSeconds(60))).isTrue();
sessionStore.releaseFrame(sessionId, adminMemberId, first, T0.plusMillis(300));

assertThat(claim(sessionId, T0.plusMillis(300))).isTrue();
}

@Test
@DisplayName("이전 프레임이 아직 처리 중이면 간격이 지나도 거절한다")
void inFlightFrameBlocksNextFrame() {
UUID sessionId = newSession(T0);
assertThat(claim(sessionId, T0)).isTrue();

assertThat(claim(sessionId, T0.plusMillis(250))).isFalse();
}

private UUID newSession(Instant createdAt) {
UUID sessionId = UUID.randomUUID();
sessionStore.create(sessionId, adminMemberId, AttendancePurpose.DORMITORY, 3, studentIds, createdAt, createdAt);
return sessionId;
}

private boolean claim(UUID sessionId, Instant now) {
return sessionStore.claimFrame(sessionId, adminMemberId, now, now.minus(INTERVAL), UUID.randomUUID(),
now.plusSeconds(60));
}

@Test
@DisplayName("유휴 시간이 지났거나 닫힌 세션은 찾지 않는다")
void ignoresIdleOrClosedSession() {
Expand Down
Loading