Incertidumbres algorítmicas en torno a las violencias de género. El caso del sistema VioGén y otros sistemas de predicción del riesgo

Ángel Gordo López; María José Rubio Martín

doi:10.22325/fes/res.2024.225

Autores/as

Ángel Gordo López Universidad Complutense de Madrid
María José Rubio Martín Universidad Complutense de Madrid

DOI:

https://doi.org/10.22325/fes/res.2024.225

Palabras clave:

algorithms, discrimination, risk assessment, intimate partner femicide, Decision Supported Systems (DSS), false negative

Resumen

En la sociedad actual los algoritmos juegan un papel destacado en la toma de decisiones, desde la búsqueda de información hasta la estimación de conductas delictivas. Los sistemas algorítmicos de evaluación del riesgo se han convertido en una herramienta clave para la prevención y la protección de las víctimas de violencia de género. Este artículo analiza las principales bondades y críticas de los sistemas algorítmicos de evaluación del riesgo, con especial énfasis en el caso de la violencia de género. En la primera parte se identifican las principales ventajas y limitaciones de estos sistemas, según sus defensores y detractores. En la segunda parte se revisan los más importantes modelos y programas vigentes en numerosos países occidentales, así como los distintos sistemas de evaluación del riesgo de violencia de género presentes en España, con especial detenimiento en el sistema VioGén. En la tercera parte, se discuten propuestas éticas y sociales que surgen en torno a estos sistemas.

Biografía del autor/a

Ángel Gordo López , Universidad Complutense de Madrid

Departamento de Sociología: Metodología y Teoría, Instituto Complutense de Sociología para el Estudio de las Transformaciones Sociales Contemporáneas (TRANSOC), Universidad Complutense de Madrid.

María José Rubio Martín , Universidad Complutense de Madrid

Departamento de Sociología: Metodología y Teoría, Universidad Complutense de Madrid.

Citas

Álvarez Freijo, M., Andrés-Pueyo, A., Augé Gomà, M., Choy Vilana, A., Fernández Velasco, R., Fernández Rodríguez, C., Foulon, H., López Ferré, S., Martínez-Izquierdo, M.T., Martínez Bueno, C., Saiz-Lloret, M., y Serratusell Salvadó, L. (2011). Protocolo de valoración del riesgo de violencia contra la mujer por parte de su pareja o ex pareja (RVD-BCN). Circuito Barcelona contra la Violencia hacia las Mujeres. https://bcnroc.ajuntament.barcelona.cat/jspui/bitstream/11703/91573/1/10964.pdf

Angwin, J., Larson, J., Mattu, S. y Kirchner, L. (2016, 23 de mayo) Machine bias. ProPublica. https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing

Ashford, L. J., Spivak, B. L., y Shepherd, S. M. (2022). Racial fairness in violence risk instruments: a review of the literature. Psychology, Crime & Law, 28(9), 911-941. https://doi.org/10.1080/1068316X.2021.1972108

Barabas C., Dinakar K., Ito, J., Virza, M. y Zittrain J. (2017). Interventions over predictions: Reframing the ethical debate for actuarial risk assessment. Cornell University. https://doi.org/10.48550/arXiv.1712.08238

Berk, R. A., Kuchibhotla, A. K. y Tchetgen Tchetgen, E. (2023). Fair Risk Algorithms. Annual Review of Statistics and Its Application, 10, 165-187. https://doi.org/10.1146/annurev-statistics-033021-120649

Berk, R.A., Heidari, H., Jabbari, S., Kearns, M. y Roth, A. (2021). Fairness in criminal justice risk assessments: The state of the art. Sociological Methods & Research, 50(1), 3-44. https://doi.org/10.1177/0049124118782533

Berk, R.A. (2012). Criminal justice forecasts of risk: A machine learning approach. Springer Science & Business Media.

Bodelón González, E., Barcons Campmajó, M., Ortiz Amaro, L., Murillo Blasco, E., Pisonero Francisco, A. y González Pardo, P. (2019, diciembre). Órdenes de protección y derechos de las mujeres que han sufrido violencia de género: obstáculos para una efectiva protección. El Institut Català de les Dones (ICD). https://dones.gencat.cat/web/.content/03_ambits/docs/cdoc_publicacions_ordenes_proteccion.pdf

Buolamwini, J. y Gebru, T. (2018). Gender shades: Intersectional accuracy disparities in commercial gender classification. Proceedings of Machine Learning Research, 81, 1-15. http://proceedings.mlr.press/v81/buolamwini18a.html

Campbell, J. C., O’Sullivan, C., Rohel, J. y Webster, D. (2005). Intimate Partner Violence Risk Assessment Validation Study. Final Report. National Institute of Justice (NIJ). https://www.ojp.gov/ncjrs/virtual-library/abstracts/intimate-partner-violence-risk-assessment-validation-study-final

Campbell, J. C., Webster, D. W. y Glass, N. (2009). The danger assessment: Validation of a lethality risk assessment instrument for intimate partner femicide, Journal of Interpersonal Violence 24(4), 653-674. https://doi.org/10.1177/0886260508317180

Europa Press (2022, febrero 5). La comisaria de Viogén sobre las pulseras: "Las pondría a todas con riesgo de homicidio" [Entrevista]. https://www.europapress.es/videos/video-comisaria-viogen-pulseras-pondria-todas-riesgo-homicidio-20230205132136.html

Chalkley, R. y Strang, H. (2017). Predicting domestic homicides and serious violence in Dorset: A replication of Thornton’s Thames Valley analysis. Cambridge Journal of Evidence-Based Policing, 1(2), 81-92. https://doi.org/10.1007/s41887-017-0010-2

Copas, J. y Marshall, P. (1998). The offender group reconviction scale: A statistical reconviction score for use by probation officers, Journal of the Royal Statistical Society. Series C (Applied Statistics), 47(1), 159–171. https://doi.org/10.1111/1467-9876.00104.

Davies, H., McKernan, B. y Sabbagh, D. (2023, 9 de diciembre). 'El Evangelio': cómo utiliza Israel la inteligencia artificial para seleccionar objetivos en Gaza. The Guardian/El diario.es [traducción de Francisco de Zárate]. https://www.eldiario.es/internacional/theguardian/evangelio-utiliza-israel-inteligencia-artificial-seleccionar-objetivos-gaza_1_10740704.html

Dawes, R. M., Faust, D. y Meehl, P. E. (1989). Clinical versus actuarial judgment. Science, 243(4899), 1668-1674. https://doi.org/10.1126/science.2648573

De la Poza, E., Jódar, L. y Barreda, S. (2016). Mathematical modeling of hidden intimate partner violence in Spain: A quantitative and qualitative approach. Abstract and Applied Analysis. https://doi.org/10.1155/2016/8372493

Delgadillo-Alemán, S., Ku-Carrillo, R., Pérez-Amezcua, B. y Chen-Charpentier, B. (2019). A mathematical model for intimate partner violence. Mathematical and Computational Applications, 24(1), 29. https://doi.org/10.3390/mca24010029

Desmarais, S., Garrett, B. y Rudin, C. (2019). Risk assessment tools are not a failed ’minority report’. Law360. https://www.law360.com/access-to-justice/articles/1180373/risk-assessment-tools-are-not-a-failed-minority-report-

Dutton, D. G. y Kropp, P. R. (2000). A review of domestic violence risk instruments. Trauma, Violence & Abuse, 1(2), 171-181. https://doi.org/10.1177/1524838000001002004

Echeburúa, E., Amor, P. J., Loinaz, I. y De Corral, P. (2010). Escala de Predicción del Riesgo de Violencia Grave contra la pareja-Revisada-(EPV-R). Psicothema, 22(4), 1054-1060. http://www.redalyc.org/articulo.oa?id=72715515077

Echeburúa, E., Fernández-Montalvo, J., Corral, P. y López-Goñi, J.J. (2009). Assessing risk markers in intimate partner femicide and severe violence. A new assessment instrument. Journal of Interpersonal Violence, 24(6), 925-939. https://doi.org/10.1177/0886260508319370

Englezos, E. (2023). Policing by algorithm: NSW Police’s Suspect Target Management Plan. Alternative Law Journal, 48(1), 17-24. https://doi.org/10.1177/1037969X221147745

Ericson, R. V. (1997[1948]). Policing the risk society. University of Toronto Press. http://search.ebscohost.com/login.aspx?direct=truescope= sitedb=e000xnaAN=683064

Eticas (2022). The external audit of the VioGén system. Association Eticas Research and Innovation https://eticasfoundation.org/wp-content/uploads/2022/04/ETICAS-_-Auditori%CC%81a-Externa-del-sistema-VioGe%CC%81n-_-20220308.docx.pdf

Eubanks, V. (2018). Automating inequality: How high-tech tools profile, police, and punish the poor. St. Martin's Press.

European Institute for Gender Equality (EIGE) (2019). Risk assessment and management of intimate partner violence in the EU. Publications Office of the European Union. https://doi.org/10.2839/37233

Farrington, D. P. y Tarling, R. (1985). Criminological prediction: An introduction. En D.P. Farrington y R. Tarling (Eds.), Prediction in criminology (pp. 2-33). SUNY Press.

Fernández Teruelo, J. G., Fernández-Rivera González, P. y García Amez, Javier (Dir.) (2022). Nuevas formas de prevención y respuesta jurídico-social frente a la violencia de género. Thomson Reuters Aranzadi.

Fiscalía General del Estado (2019). Memoria de la Fiscalía General del Estado, 2018. https://www.fiscal.es/memorias/memoria2019/FISCALIA_SITE/index.html

Flores, A. W., Bechtel, K., y Lowenkamp, C. T. (2016). False positives, false negatives, and false analyses: A rejoinder to machine bias: There's software used across the country to predict future criminals and it's biased against blacks. Federal Probation Journal, 80(2), 38-46. https://www.uscourts.gov/sites/default/files/80_2_6_0.pdf

García Martín, J., y Rubio, E. (2023, 7 de diciembre). Repunte de asesinatos machistas - Se revisarán los criterios para dar de baja un caso en VioGén [Reportaje]. https://www.rtve.es/v/7030197/?t=55s

González-Prieto, Á., Brú, A., Nuño, J. C. y González-Álvarez, J. L. (2021). Machine learning for risk assessment in gender-based crime. Computers and Society, arXiv preprint arXiv, 2106.11847. https://doi.org/10.48550/arXiv.2106.11847

Gottfredson, S. D. y Moriarty, L. J. (2006). Statistical risk assessment: Old problems and new applications. Crime & Delinquency, 52(1), 178-200. https://doi.org/10.1177/0011128705281748

Graham, L. M., Sahay, K. M., Rizo, C. F., Messing, J. T. y Macy, R. J. (2021). The Validity and Reliability of Available Intimate Partner Homicide and Reassault Risk Assessment Tools: A Systematic Review. Trauma, Violence, & Abuse, 22(1), 18-40. https://doi.org/10.1177/1524838018821952

Grogger, J., Gupta, S., Ivandic, R. y Kirchmaier, T. (2021). Comparing Conventional and Machine‐Learning Approaches to Risk Assessment in Domestic Abuse Cases. Journal of Empirical Legal Studies, 18(1), 90-130. https://www.nber.org/system/files/working_papers/w28293/w28293.pdf

Grove, W. M. y Meehl, P. E. (1996). Comparative efficiency of informal (subjective, impressionistic) and formal (mechanical, algorithmic) prediction procedures: The clinical–statistical controversy. Psychology, Public Policy, and Law, 2(2), 293-323. https://doi.org/10.1037/1076-8971.2.2.293

Hannah-Moffat, K. (2019). Algorithmic risk governance: Big data analytics, race and information activism in criminal justice debates. Theoretical Criminology, 23(4), 453-470. https://doi.org/10.1177/1362480618763582

Harcourt, B.E. (2015). Risk as a proxy for race: The dangers of risk assessment. Federal Sentencing Reporter, 27(4), 237–243. https://doi.org/10.1525/fsr.2015.27.4.237

Harcourt, B.E. (2006). Against prediction: Profiling, policing and punishing in an actuarial age. University of Chicago Press.

Hassein, N. (2017, 15 de agosto). Against Black Inclusion in Facial Recognition. Digital Talking Drum. https://digitaltalkingdrum.com/2017/08/15/against-black-inclusion-in-facial-recognition/

Her Majesty’s Inspectorate of Constabulary (2014). Everyone’s business: Improving the police response to domestic abuse. Home Secretary Inspectorate of Constabulary (HMIC). https://www.scie-socialcareonline.org.uk/everyones-business-improving-the-police-response-to-domestic-abuse/r/ a11G0000 003FG 3FIAW

Jiménez, A., y Douhaibi, A. (2023). The Islamophobic consensus: Datafying racism in Catalonia. En Z. Bednarz, y M. Zalnieriute (Eds.), Money, Power, and AI: Automated Banks and Automated States (pp. 152-170). Cambridge University Press. https://doi.org/10.1017/9781009334297.012

Kahneman, D., Rosenfield, A. M., Gandhi, L. y Blaser, T. (2016). Noise: How to overcome the high, hidden cost of inconsistent decision making. Harvard Business Review, 94(10), 38-46. https://hbr.org/2016/10/noise

Kleinberg, J., Mullainathan, S. y Raghavan, M. (2017). Inherent trade-offs in the fair determination of risk scores. En Proceedings of the 8th Conference on Innovations in Theoretical Computer Science.

Kropp, P R. (2004). Some questions regarding spousal assault risk assessment. Violence against women, 10(6), 676-697. https://doi.org/10.1177/1077801204265019

Larson, J., Mattu, S., Kirchner, L. y Angwin, J. (2016, 23 de mayo). How We Analyzed the COMPAS Recidivism Algorithm. ProPublica. https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm

Lin, J., y Chen, C. (2023). The epistemic ethical concerns involving algorithms in intelligent communication. Teknokultura. Revista de Cultura Digital y Movimientos Sociales, 20(Special Issue), 27-36. https://doi.org/10.5209/tekn.87552

Lo, P. (2022). From data criminalization to prison abolition. Community Justice Exchange Project. https://abolishdatacrim.org/en

López-Flores, L. M. (2022). Colonialidad algorítmica: Racialización y sexualización mecanizada en el capitalismo digital: Una perspectiva de género. Teknokultura. Revista de Cultura Digital y Movimientos Sociales, 19(2), 113-122. https://doi.org/10.5209/TEKN.78681

López-Ossorio, J. J., González-Álvarez, J. L., Loinaz, I., Martínez-Martínez, A. y Pineda, D. (2021). Intimate partner homicide risk assessment by police in Spain: The Dual Protocol VPR5.0-H. Psychosocial Intervention, 30(1), 47-55. http://dx.doi.org/10.5093/pi2020a16

López-Ossorio, J. J., González-Álvarez, J. L., Muñoz Vicente, J. M., Urruela Cortés, C. y Andrés-Pueyo, A. (2019). Validation and calibration of the Spanish police intimate partner violence risk assessment system (VioGén). Journal of police and criminal psychology, 34, 439-449. https://doi.org/10.1007/s11896-019-09322-9

López-Ossorio, J. J., González-Álvarez, J. L. y Andrés-Pueyo, A. (2016). Predictive effectiveness of the police risk assessment in intimate partner violence. Psychosocial Intervention, 25(1), 1-7. https://doi.org/10.1016/j.psi.2015.10.002

McNamara, D., Graham, T., Broad, E. y Ong, C. S. (2019). Trade-offs in algorithmic risk assessment: An Australian domestic violence case study. En A. Daly, K. Devitt y M. Mann (Eds.) Good data (pp. 96-116). Institute of Network Cultures.

Messing, J. Th. y Thaller, J. (2013). The average predictive validity of intimate partner violence risk assessment instruments. Journal of Interpersonal Violence, 28(7), 1537-1558. https://doi.org/10.1177/0886260512468250

Ministerio del Interior (2022, 28 de julio). VioGén cumple 15 años con más 700.000 casos analizados y 5,4 millones de valoraciones de riesgo realizadas. https://n9.cl/wm98b

Ministerio del Interior (2019). Guía de procedimiento VPR5.0 y VPER4.1. Protocolo de valoración policial del riesgo y gestión de la seguridad de las víctimas de violencia de género. https://violenciadegenerotic.files.wordpress.com/2019/05/instruccion-4-2019.pdf

Mitchell, S., Potash E., Barocas S., D’Amour A, Lum. K. (2021). Algorithmic Fairness: Choices, Assumptions, and Definitions. Annual Review of Statistics and Its Applications, 8, 141-163. https://doi.org/10.1146/annurev-statistics-042720-125902

Muñoz-Vicente, J. M. M. y López-Ossorio, J. J. (2016). Valoración psicológica del riesgo de violencia: alcance y limitaciones para su uso en el contexto forense. Anuario de Psicología Jurídica, 26(1), 130-140. https://doi.org/10.1016/j.apj.2016.04.005

Noble, S. (2018). Algorithms of oppression: How search engines reinforce racism. New York University Press.

Northpointe (2015). A Practitioner's Guide to COMPAS Core. Northpointe. https://assets.documentcloud.org/documents/2840784/Practitioner-s-Guide-to-COMPAS-Core.pdf

Olaciregui, M. de la P. (2021). Prevenir la violencia contra las mujeres: análisis de las herramientas de evaluación y gestión del riesgo desde una perspectiva de género [Tesis doctoral]. Universidad de Zaragoza. https://zaguan.unizar.es/record/109559

Pasquale, F. (2015). The black box society: The secret algorithms that control money and information. Harvard University Press.

Pineda, D., Rico-Bordera, P., Galán, M., Piqueras, J. A., and González-Álvarez, J. L. (2023). Women Victims of Intimate Partner Violence and Intimate Partner Homicide: A Typology Based on Victimization Variables. Psychosocial Intervention, 32(1), 43-53. https://doi.org/10.5093/pi2023a3

Pueyo, A. A. y Redondo, S. (2007). Predicción de la violencia: Entre la peligrosidad y la valoración del riesgo de violencia. Papeles del Psicólogo, 28(3), 157-173. https://www.papelesdelpsicologo.es/pdf/1500.pdf

Ramos-Torre, R., y Callejo-Gallego, J. (2018). “Semántica social del riesgo: una aproximación cualitativa”, Política y Sociedad, 55(1), 235-256. https:// doi.org/10.5209/POSO.54062

Richards, L. (2009). Domestic Abuse, Stalking and Harassment and Honour Based Violence (DASH, 2009) Risk Identification and Assessment and Management Model. Association of Police Officers (ACPO). https://reducingtherisk.org.uk/wp-content/uploads/2022/08/DASH-2009.pdf

Robinson, A. L., Myhill, A., Wire, J., Roberts, J. y Tilley, N. (2016). Risk-led policing of domestic abuse and the DASH risk model. Cardiff University, College of Policing y UCL Department of Security and Crime Science. https://library.college.police.uk/docs/college-of-policing/Risk-led-policing-2-2016.pdf

Rodríguez-Rodríguez, I., Rodríguez, J. V., Pardo-Quiles, D. J., Heras-González, P. y Chatzigiannakis, I. (2020). Modeling and forecasting gender-based violence through machine learning techniques. Applied Sciences, 10(22), 8244. https://www.mdpi.com/2076-3417/10/22/8244/htm

Santos-Hermoso, J., González-Álvarez, J.L., Alcázar-Córcoles, M.Á. y Carbonell-Vayá, E. J. (2022). Intimate Partner Homicide Against Women Typology: Risk Factor Interaction in Spain. European Journal on Criminal Policy and Research. https://doi.org/10.1007/s10610-022-09517-7

Simón-Castellano, P. (2021). Inteligencia artificial y Administración de Justicia: ¿Quo vadis, justitia? IDP. Revista de Internet, Derecho y Política, 33. https://doi.org/10.7238/idp.v0i33.373817

Skeem, J. y Lowenkamp, C. (2020). Using algorithms to address trade‐offs inherent in predicting recidivism. Behavioral Sciences & the Law, 38(3), 259-278. https://doi.org/10.1002/bsl.2465

Soler, S. (2023, 7 de diciembre). Interior revisará los criterios que descartan a las mujeres del sistema de protección de violencia de género. https://www.rtve.es/noticias/20231207/interior-igualdad-reunion-violencia-genero/2465163.shtml

Taylor, K.-Y. (2019). Predatory inclusion. N+1, 35. https://nplusonemag.com/issue-35/essays/predatory-inclusion/

Thornton, S. (2017). Police attempts to predict domestic murder and serious assaults: Is early warning possible yet? Cambridge Journal of Evidence-Based Policing, 1(2), 64-80. https://doi.org/10.1007/s41887-017-0011-1

van Der Put, C. E., Gubbels, J., y Assink, M. (2019). Predicting domestic violence: A meta-analysis on the predictive validity of risk assessment tools. Aggression and Violent Behavior, 47, 100-116. https://doi.org/10.1016/j.avb.2019.03.008

Vignola-Lévesque, C. y Léveillée, S. (2022). Intimate Partner Violence and Intimate Partner Homicide: Development of a Typology Based on Psychosocial Characteristics. Journal of Interpersonal Violence, 37, 17-18, NP15874-NP15898. https://doi.org/10.1177/08862605211021989

Wang, C., Han, B., Patel, B., y Rudin, C. (2022). In pursuit of interpretable, fair and accurate machine learning for criminal recidivism prediction. Journal of Quantitative Criminology, https://doi.org/10.1007/s10940-022-09545-w

West, S.M., Whittaker, M., y Crawford, K. (2019). Discriminating systems: Gender, race, and power in AI (Informe técnico). AI Now Institute. https://ainowinstitute.org/discriminatingsystems.pdf

Zambrano-Guerrero, C. A., y Rodríguez-Pabón, D. M. (2021). Design thinking como herramienta para prevenir la violencia basada en género en estudiantes universitarios. Revista Guillermo de Ockham, 19(2), 293-306. https://doi.org/10.21500/22563202.5316

Završnik, A. (2021). Algorithmic justice: Algorithms and big data in criminal justice settings. European Journal of Criminology, 18(5), 623-642. https://doi.org/10.1177/1477370819876762

Zeng, J., Ustun, B., y Rudin, C. (2017). Interpretable classification models for recidivism prediction. Journal of the Royal Statistical Society: Series A (Statistics in Society), 180(3), 689-722. https://doi.org/10.1111/rssa.12227

Zweig, J. (2010). Extraordinary conditions of release under the bail reform act. Harvard Journal on Legislation, 47, 555–585. https://n9.cl/phutj