AI 이미지 API 콘텐츠 필터: 거부의 메커니즘

이미지 콘텐츠 필터링은 다층적이며, 단순한 온/오프 스위치가 아닙니다. 호스팅된 이미지 API 중 일부는 요청별로 조정할 수 있는 모더레이션 설정을 노출하지만, 한 계층을 조정한다고 해서 제공자 정책, 모델 정렬, 상위 요청 검사, 법적 제한 사항 또는 애플리케이션 수준의 의무가 사라지지는 않습니다. 다양한 호스트는 요청을 다르게 라우팅하며, 각 라우트는 여러 검사점을 통과합니다.

더 유용한 질문은 어느 안전 계층이 요청을 차단했으며, 어떤 컨트롤이 실제로 구성 가능한가입니다. 이러한 구성은 의료 삽화, 미술 작품, 수영복, 건강 교육 등 양성 거짓 양성에 대처하는 데 도움이 됩니다. 금지된 콘텐츠가 수용 가능해졌다고 가장할 필요는 없습니다.

TL;DR

• 프로덕션 이미지 API는 무조건 필터링되지 않은 것으로 취급해서는 안 됩니다.
• 일부 호스트는 구성 가능한 모더레이션 설정을 노출하고 있으며, 선택한 라우트에서 조정할 수 있습니다. 이는 상위 제공자 모더레이션을 비활성화하지 않습니다.
• 다양한 공급업체는 직접 호출자에게 필터링 컨트롤을 노출하는지 여부가 다릅니다. 일부는 출력 확인을 조정할 수 있지만, 그렇지 않은 경우도 있습니다.
• 거부를 단계별로 진단합니다: 작업 생성 전, 제공자 생성 중 또는 출력이 반환된 후.
• "덜 제한적"인 것도 동의, 나이 관리, 학대 방지 및 제공자의 이용 약관 준수가 필요합니다.

"검열되지 않은 AI 이미지 API"가 잘못된 기술 모델인 이유

이미지 안전은 파이프라인이지 하나의 부울 값이 아닙니다. 요청이 한 분류기를 통과했다가 다음 단계에서 실패할 수 있습니다. 모델이 비교적 가벼운 정렬을 가지고 있더라도 호스트, 게이트웨이, 스토리지 제공자 또는 애플리케이션이 별도의 컨트롤을 적용할 수 있습니다.

일반적인 프로덕션 요청은 네 개의 계층을 통과합니다:

1. 애플리케이션 정책. 자신의 제품은 사용자, 프롬프트, 소스 이미지, 권한 및 의도된 사용을 검증합니다.
2. 게이트웨이 모더레이션. API 게이트웨이는 독립적인 프롬프트 또는 출력 분류기를 실행할 수 있습니다.
3. 제공자 및 모델 컨트롤. 상위 서비스는 자체 정책에 따라 입력을 거부하거나, 생성을 거부하거나, 결과를 필터링할 수 있습니다.
4. 출력 검토 및 배포. 애플리케이션은 생성된 자산을 저장, 표시, 공유 또는 게시할 수 있는지 결정합니다.

예를 들어, OpenAI는 텍스트 및 이미지 입력을 분류하기 위한 별도의 모더레이션 모델에 대해 문서화하고 있으며, 플랫폼 데이터 컨트롤은 변경된 학대 모니터링 또는 0 데이터 보유를 승인받은 경우에도 고객이 사용 정책을 따라야 합니다.^[1][2]리텐션 설정, 모더레이션 동작 및 생성 정책은 관련이 있지만 서로 바꿀 수 없습니다.

이미지 API 안전 거부를 진단하는 방법

작업 ID가 존재하기 전에 거부됨

요청이 애플리케이션 검증, 게이트웨이 프롬프트 모더레이션, 인증 또는 상위 입력 검사에서 실패했을 가능성이 있습니다. HTTP 상태, 제공자 오류 코드, 모델 ID 및 활성화된 구성 가능한 확인을 캡처합니다.

프롬프트를 자동으로 변경하고 다시 제출하지 마세요. 먼저 요청이 잘못된 형식인지, 양성이지만 모호한지, 또는 정책 범위를 벗어났는지 판단하십시오.

작업이 생성되었지만 생성이 실패함

제공자 또는 모델은 더 깊은 검사 후 프롬프트 또는 소스 이미지를 거부했을 수 있습니다. 일부 시스템은 참조 이미지를 다운로드할 수 없거나 형식이 잘못되었거나 크기 제한을 위반하는 경우에도 실패합니다. 텔레메트리에서 안전 오류와 기술 미디어 오류를 분리합니다.

생성이 완료되었지만 출력이 숨겨짐

이 패턴은 출력 분류 계층을 가리킵니다. 호스트가 생성 단계를 최종 안전 확인에서 분리하면, 출력이 생성되고 청구될 수 있지만 최종 이미지는 보류됩니다. 따라서 재시도는 근본적인 문제를 변경하지 않고 요금을 반복할 수 있습니다.

출력이 반환되었지만 애플리케이션이 차단함

이는 설계대로 작동하는 애플리케이션 정책입니다. 모델 출력은 게시 및 권리 확인을 통과할 때까지 신뢰할 수 없는 사용자 콘텐츠입니다. 제공자가 이미지를 수락한다고 해서 마켓플레이스, 광고 네트워크, 학교 또는 앱 스토어가 수락해야 하는 것은 아닙니다.

덜 제한적인 이미지 API를 책임감 있게 선택하는 방법

"검열되지 않은"이라는 단어가 아니라 컨트롤과 문서를 찾습니다.

명시적 요청 필드를 선호합니다

모더레이션을 제어하는 문서화된 필드는 막연하게 "필터 없음"을 약속하는 제공자보다 관리하기 쉽습니다. 테스트할 수 있고, 계정별로 제한할 수 있고, 구성을 기록할 수 있으며, 스키마 변경을 감지할 수 있습니다.

명확한 이용 약관이 필요합니다

제공자는 금지된 카테고리, 항소, 데이터 처리 및 시행을 정의해야 합니다. 규칙이 없으면 창의의 자유가 아닌 운영 위험입니다.

양성 경계 세트를 테스트합니다

제품과 관련된 허용된 의료, 미술, 패션 및 건강 시나리오를 포함하는 작은 평가 세트를 만듭니다. 수락, 거짓 양성 단계, 레이턴시 및 청구를 기록합니다. 이 테스트 세트에 불법 또는 착취적인 자료를 포함하지 마세요.

신원 및 동의 확인을 분리된 상태로 유지합니다

일반적인 외설 분류기는 비동의 친밀한 이미지, 얼굴 오용, 사칭, 저작권 또는 모델 릴리스 동의를 해결하지 않습니다. 이들은 자신의 규칙이 필요하며 때로는 사람의 검토가 필요합니다.

제공자 추적 가능성을 유지합니다

모델 ID, 제공자 경로, 정책 버전, 프롬프트 해시, 소스 자산 출처, 안전 구성 및 결정 결과를 저장합니다. 보관된 개인 데이터를 최소화하되, 학대 및 항소를 조사할 수 있을 만큼 충분한 구조화된 증거를 유지합니다.

구매자를 경고해야 하는 주장

다음 마케팅 문구를 경고 신호로 취급하십시오:

• 이용 약관 없이 "100% 검열되지 않음"
• 리텐션 문서 또는 계약 조건 없이 "로그 없음"
• 관할권 또는 연령 제한 없이 "모든 콘텐츠 허용"
• 게이트웨이, 제공자 또는 모델에 영향을 미치는지 설명하지 않고 "필터 끔"
• 스토리지 및 학대 모니터링을 설명하지 않고 "기본적으로 비공개"

동일한 주의는 무단 계정 자동화에 적용됩니다. 타사 래퍼는 사용 중인 계정 또는 엔드포인트를 숨기기 때문에 관대해 보일 수 있습니다. 이는 안정적인 API 계약이 아닙니다. JSON 엔드포인트가 작동하는 것처럼 보이더라도 인증이 중요합니다.

애플리케이션 수준의 모더레이션 정책 구축

실용적인 이미지 애플리케이션에는 하나의 보편적인 임계값 이상이 필요합니다:

1. 절대 수락되지 않는 콘텐츠를 정의합니다.
2. 특정 컨텍스트 또는 연령 그룹에서만 허용되는 콘텐츠를 정의합니다.
3. 소스 이미지 신원, 동의 및 권리 위험을 별도로 감지합니다.
4. 프롬프트와 출력을 검토합니다. 양쪽 모두 정책 위험을 수반할 수 있습니다.
5. 허용되는 엣지 케이스에 대해 사용자에게 이유 코드 및 항소 경로를 제공합니다.
6. 반복된 거부된 요청을 속도 제한하고 적대적 패턴을 조사합니다.
7. 모델, 제공자 또는 분류기 버전이 변경될 때마다 다시 테스트합니다.

OpenAI의 모더레이션 엔드포인트는 텍스트 및 이미지 입력의 분류가 가능하지만, 해당 카테고리 및 임계값은 가능한 정책 구성 요소 중 하나일 뿐입니다.^[1]최종 규칙은 제품의 대상, 지역, 배포 채널 및 위험 허용 범위와 일치해야 합니다.

비디오의 경우 동일한 계층화된 필터링 원칙이 적용됩니다. 이미지 모델 설정이 변경되지 않은 상태로 비디오 생성 라우트에 전송된다고 가정하지 마십시오.

FAQ

콘텐츠 필터링을 완전히 비활성화할 수 있습니까?

무조건적인 의미에서는 아닙니다. 호스팅된 API는 하나의 선택적 필터링 계층을 조정할 수 있는 경우에도 제공자 정책, 법률, 인프라 컨트롤 및 애플리케이션 규칙에 따라 작동합니다.

의료 또는 미술 애플리케이션은 거짓 양성을 어떻게 처리해야 합니까?

검토된 프롬프트, 성인 전용 및 비성적 컨텍스트(해당하는 경우), 도메인별 모더레이션 정책, 이유 코드 및 인간의 항소를 사용합니다. 모든 안전 계층을 비활성화하는 것에 의존하지 마십시오.

결론

덜 제한적인 이미지 API를 찾는 것에 대한 답은 제공자 순위표가 아닙니다. 모더레이션 파이프라인을 이해하는 것입니다. 명시적 컨트롤이 있는 라우트를 선택하고, 각 컨트롤이 영향을 미치는 계층을 문서화하고, 상위 정책 가정을 표시되게 유지하고, 광범위한 거짓 양성 필터를 안전 시스템 없음이 아닌 더 정확한 안전 시스템으로 대체합니다.

References

1. OpenAI. Moderations API reference for text and image inputs. platform.openai.com/docs/api-reference/moderations
2. OpenAI. Data controls, abuse monitoring, and customer responsibilities. platform.openai.com/docs/models/default-usage-policies-by-endpoint