Đó là trường hợp của một người cha có tài khoản Google vẫn bị đóng sau khi AI Google quét hình trong điện thoại và buộc tội anh là khiêu dâm trẻ em. Bảo vệ hay xâm phạm quyền riêng tư người dùng?
Theo New York Times đưa tin, một ông bố tên Mark đã chụp bức ảnh này vào tháng 2/2021 theo lời đề nghị của một y tá trước cuộc hẹn qua video với bác sĩ. Vợ Mark đã sử dụng điện thoại Android của chồng mình để chụp ảnh bộ phận sinh dục bị sưng tấy của cậu bé và gửi lên hệ thống nhắn tin của nhà cung cấp dịch vụ chăm sóc sức khỏe. Bác sĩ sau đó xác định con Mark bị nhiễm trùng và kê đơn kháng sinh cho bé, nhưng đó không phải là kết thúc của nó.
Có vẻ như các hình ảnh đã được tự động sao lưu vào Google Photos. Tại thời điểm đó, công cụ trí tuệ nhân tạo của công ty và PhotoDNA của Microsoft đã quét hình ảnh trên và phân tích có dấu hliệu lạm dụng tình dục trẻ em (CSAM). Hai ngày sau, Mark nhận được thông báo cho biết các tài khoản Google của mình, bao gồm cả Gmail và dịch vụ điện thoại Google Fi, đã bị khóa do "nội dung có hại", "vi phạm nghiêm trọng các chính sách của Google và có thể là bất hợp pháp".
Là một cựu kỹ sư phần mềm từng làm việc trên các công cụ AI tương tự để xác định nội dung có vấn đề, Mark cho rằng mọi thứ sẽ không nghiêm trọng quá mức nếu việc kiểm duyệt nội dung được con người thực hiện và xem xét các bức ảnh trên.
Người bố này đã bị Sở cảnh sát San Francisco điều tra về "video bóc lột trẻ em" vào tháng 12. Cuối cùng Mark đã được xóa mọi tội danh, nhưng Google vẫn chưa khôi phục tài khoản của anh và cho biết họ xem xét lại trường hợp hy hữu này
Christa Muldoon, người phát ngôn của Google cho biết: “Chúng tôi tuân theo luật pháp Hoa Kỳ trong việc xác định những gì cấu thành CSAM và sử dụng kết hợp công nghệ so khớp băm và trí tuệ nhân tạo để xác định nó và xóa nó khỏi nền tảng của chúng tôi”.
Claire Lilley, người đứng đầu các quyền lợi an toàn cho trẻ em của Google, nói rằng các chuyên gia đã không phát hiện ra vết phát ban hoặc mẩn đỏ trong các bức ảnh của Mark. Nhân viên Google đánh giá CSAM được bác sĩ nhi khoa đào tạo để tìm các vấn đề như phát ban, nhưng các chuyên gia y tế không được tư vấn trong những trường hợp này.
Lilley nói thêm rằng việc xem xét thêm tài khoản của Mark đã tiết lộ một đoạn video từ sáu tháng trước cho thấy một đứa trẻ đang nằm trên giường với một người phụ nữ thoả thân. Mark nói rằng mình không thể nhớ video được quay vào thời điểm nào.
Christa Muldoon cũng cho biết Google chỉ quét hình ảnh cá nhân của người dùng khi người dùng thực hiện "hành động xác nhận", tức là bao gồm việc sao lưu hình ảnh của họ vào Google Photos. Khi Google gắn cờ các hình ảnh bóc lột, theo luật liên bang Hoa Kỳ yêu cầu Google phải báo cáo người có hành vi lạm dụng trẻ em cho CyberTipLine tại NCMEC. Vào năm 2021, Google đã báo cáo thành công 621.583 trường hợp CSAM cho CyberTipLine của NCMEC và NCMEC thông báo cho các chính quyền về 4.260 nạn nhân , một danh sách mà NYT cho biết bao gồm cả con trai của Mark.
Mặc dù không thể phủ nhận việc bảo vệ trẻ em khỏi bị lạm dụng là điều quan trọng, nhưng nhiều chuyên gia cho rằng việc quét ảnh của người dùng đã xâm phạm quyền riêng tư của họ một cách bất hợp lý.