Animal Welfare
Feline-Ality™ in Real Life: A Program Evaluation
Feline-Ality™ in Real Life: A Program Evaluation
- 저자: Darling S
- 출처: - (2023)
- DOI/링크: https://doi.org/10.3390/ani13172752
- 연구 계열: Topics/Animal Welfare
- 투고일: 2023-06-05
TL;DR
시애틀 동물보호소가 2017년 도입한 ASPCA Meet Your Match Feline-ality 프로그램을 2015-2019년 기록으로 평가한 결과, 입양·안락사·반환·이관·재원 기간에서 프로그램에 확실히 귀속시킬 변화가 없었다. 동시에 실행 오류가 매우 커서, 오류 없이 입양자와 고양이가 맞춰진 경우는 3마리(1.6%)에 그쳤다.
1. 연구 배경 및 동기
- 다루는 문제: 보호소 고양이는 높은 비율로 안락사되며, 고양이와 입양자의 적절한 매칭이 입양 성공을 높이고 안락사를 줄일 것으로 기대된다. ASPCA의 Feline-ality는 고양이 성격 검사와 입양자 설문으로 매칭하는 프로그램으로 100곳 이상의 보호소가 도입했다.
- 기존의 공백 / 왜 필요한가: 프로그램의 실행 과정과 효과를 체계적으로 평가한 연구가 도입 이후 발표된 적이 없었다.
2. 관련 연구
- 기존 연구 흐름: ASPCA의 초기 시험과 2015년 수정판 연구에서는 입양 증가, 안락사·반환 감소, 재원 기간 단축이 보고되었고, 정확한 기대는 입양 성공에 기여한다는 선행 연구가 있다. 그러나 초기 연구는 동료 심사 논문으로 발표되지 않았다.
- 이 논문의 위치: Feline-ality의 첫 결과 평가와 첫 실행 과정 평가를 함께 수행했다. 통제 단절 시계열 설계와 실행 오류의 정량화를 결합했다.
3. 핵심 기여
- 통제 단절 시계열(CITS) 설계로 5년간 결과 지표를 비교 보호소와 비교
- Feline-ality 검사와 고양이 입양 설문(CAS)에서 실행 오류를 정의·정량화
- 결과 평가가 실행 품질에 좌우되므로 시행과 병행한 과정 평가가 필요함을 제시
4. 제안 방법론
- 전체 접근 논리: 2017년 도입 전후 2년씩(2015-2016, 2018-2019)을 시애틀 동물보호소(SAS) 기록으로 비교하고, 포틀랜드 멀트노마 카운티 보호소(MCAS)를 비동등 대조로 두었다. 별도로 2017년 183건의 Feline-ality 검사 기록을 검토해 실행 오류를 센다.
- 단계:
- 9개월 미만·무기록·응급 안락사·소유 고양이 등을 제외한 SAS의 5년 전산 기록 분석(재원 기간은 일원분산분석, 입양·안락사·이관·반환은 카이제곱 검정, 효과 크기 Cramer’s v)
- MCAS 공개 자료에서 입양·안락사·이관만 비교
- 2017년 2월 14일~12월 31일 183건의 Feline-ality 검사와 CAS의 점수 계산·기록·추천 오류를 검토
5. 실험 설정
| 항목 | 내용 |
|---|---|
| 대상/재료 | SAS 성묘 기록(연도별 입양 236, 493, 451, 379, 391건 등)과 MCAS(연도별 2,401-2,767마리), 2017년 Feline-ality 검사를 받은 고양이 183마리(적격 고양이의 34.7%) |
| 처리 조건 | Feline-ality 도입 전 2년, 도입 연도 2017, 이후 2년. 직원 7명은 14시간 교육, 자원봉사자 교육 병행 |
| 대조군 | MCAS(비동등 대조 보호소). 대조군에서는 입양·안락사·이관만 비교 가능 |
| 측정 방법 | 재원 기간, 입양·안락사·이관·반환률, 검사·CAS 오류율, 매칭 정확도 |
6. 실험 결과 분석
| 지표 | 변화(Δ) | 조건 · 유의성 |
|---|---|---|
| 재원 기간(SAS) | 평균 50.4, 40.2, 39.3, 46.3, 53.8일로 연도 간 유의한 차이 없음 | F(3, 2331) = 1.54, p = 0.19 |
| 결과 분포(입양·안락사·이관) | 연도와 결과 패턴의 연관은 유의하지만 작음. 주로 이관 변화가 기여(2015년 이관 4.03%, 2017년 13.66%) | χ2(8, N = 2336) = 27.79, p < 0.001, v = 0.08 |
| 반환율(SAS) | 7.20%, 7.10%, 7.54%, 6.07%, 6.65%로 변화 없음 | χ2(4, N = 1950) = 0.79, p = 0.94 |
| 입양률·안락사율(SAS) | 입양률 95.16%(2015)에서 85.58%(2017), 86.70%(2019)로 하락, 안락사율 7.26, 6.81, 6.45, 9.23, 4.88% | 2017년 변화는 미미하고 예측과 반대 |
| MCAS 결과 분포 | 연도와 결과 패턴의 연관이 유의하지만 작음, SAS와 비슷하게 이관 증가·입양 감소 | χ2(8, N = 12,997) = 49.08, p < 0.001, v = 0.04 |
| Feline-ality 검사 오류 | 183건 중 26건(14.2%) 오류, 이 중 8건은 잘못된 Feline-ality 부여 | 2017년 SAS |
| 고양이 입양 설문(CAS) | 183건 중 102건은 CAS 없음. 나머지 81건 중 68건(84%)에 오류, 가장 흔한 것은 입양자 정보 불완전(78%) | 2017년 SAS |
| 매칭 성공 | 추천이 기록된 54마리 중 IG와 Valiance 모두 일치 9마리, Valiance만 일치 3마리, 불일치 42마리. 오류 없이 맞은 것은 3마리(1.6%) | 전체 183마리 중 129마리는 CAS 또는 추천 기록 없음 |
제안 기전(인과 사슬):
CAS의 오류 허용 불가·교육 자료 부족 → 점수 계산·기록·추천 오류 증가 → 매칭 실패(오류 없는 매칭 1.6%) → 프로그램 효과가 결과 지표에서 감지되지 않음
7. 비판적 평가
강점
- 결과 평가와 과정 평가를 함께 수행해 효과 없음의 원인을 실행 오류 측면에서 해석
- 비동등 대조 보호소를 포함한 5년 시계열 설계와 교육 이력(14시간 교육, 퀴즈 등)이 명시됨
- 역사 효과·성숙 등 내적 타당도 위협과 대안 설명을 폭넓게 논의
한계 · 의문
- 단일 보호소 연구이고 준실험이라 인과 추론과 일반화가 제한됨(결과는 기술적으로 해석)
- 2018년부터 빠른 처리(fast-track)와 중단 등 프로그램이 설계대로 시행되지 않았을 수 있고, 2017년 적격 고양이 527마리 중 183마리만 검사됨
- MCAS 자료는 변수가 한정되고 새끼·야생 고양이가 섞여 있을 수 있으며 반환·재원 기간 자료가 없음
8. 향후 연구 방향
- 도입과 동시에 과정 평가를 수행하고 시행 이후에도 지속
- CAS와 교육 자료·입양 상담 교육의 개선과 그 효과 검증
- Feline-ality의 성격 측정 자체의 타당성을 후속 연구로 확인
9. 결론
시애틀 보호소에서는 Feline-ality 도입에 귀속시킬 만한 결과 변화가 없었고, 실행 오류율이 매우 높아 결과 평가를 해석하기 어려웠다. 프로그램의 효과 평가는 실행 과정 평가와 병행되어야 한다.
Keywords
Feline-ality, Meet Your Match, shelter cats, adoption, program evaluation, controlled interrupted time series, euthanasia, implementation