Thuật toán tự tử bên trong Facebook: Đây là cách công ty sử dụng trí tuệ nhân tạo để dự đoán trạng thái tinh thần của bạn từ các bài đăng của bạn

Khoa Học/Công Nghệ

Thuật toán ngăn ngừa tự tử của Facebook quét các bài đăng của mọi người về nguy cơ tự tử tiềm ẩn. Là tạo và lưu trữ dữ liệu sức khỏe tâm thần là một mối nguy hiểm mới?

  • Facebook đang quét gần như mọi bài đăng trên nền tảng này trong nỗ lực đánh giá nguy cơ tự tử.
  • Facebook chuyển thông tin cùng với cơ quan thực thi pháp luật để kiểm tra sức khỏe.
  • Các chuyên gia về quyền riêng tư cho biết việc Facebook không nhận được sự đồng ý từ người dùng đối với chương trình này dẫn đến các rủi ro về quyền riêng tư có thể dẫn đến tiếp xúc hoặc tệ hơn.

Vào tháng 3 năm 2017, Facebook đã khởi động một dự án đầy tham vọng nhằm ngăn chặn tự tử bằng trí tuệ nhân tạo.

Sau một loạt các vụ tự tử được phát trực tiếp trên nền tảng, nỗ lực sử dụng thuật toán để phát hiện các dấu hiệu tự hại tiềm tàng đã tìm cách chủ động giải quyết một vấn đề nghiêm trọng.

Nhưng hơn một năm sau, sau một làn sóng bê bối về quyền riêng tư khiến Facebook sử dụng dữ liệu bị nghi ngờ, ý tưởng về việc Facebook tạo và lưu trữ dữ liệu sức khỏe tâm thần có thể hành động mà không có sự đồng ý của người dùng đã khiến nhiều chuyên gia về quyền riêng tư lo lắng về việc liệu Facebook có thể tin tưởng được không lưu trữ những suy luận về những chi tiết gần gũi nhất trong tâm trí chúng ta.

Facebook đang tạo thông tin sức khỏe mới về người dùng, nhưng nó không tuân theo tiêu chuẩn bảo mật giống như các nhà cung cấp dịch vụ chăm sóc sức khỏe

Ảnh minh họa của Ute Grabowsky / Photothek qua Getty Images

Theo thuật toán của đại diện Facebook, thuật toán này chạm vào gần như mọi bài đăng trên Facebook, đánh giá từng phần nội dung theo thang điểm từ 0 đến 1, với khả năng "tác hại sắp xảy ra" cao nhất.

Chỉ riêng quá trình tạo dữ liệu đó đã làm dấy lên mối lo ngại cho Natasha Duarte, một nhà phân tích chính sách tại Trung tâm Dân chủ và Công nghệ.

"Tôi nghĩ rằng điều này nên được coi là thông tin sức khỏe nhạy cảm," cô nói. "Bất cứ ai đang thu thập loại thông tin này hoặc những người đang đưa ra những suy luận về mọi người nên xem đây là thông tin sức khỏe nhạy cảm và đối xử với nó thực sự nhạy cảm như vậy."

Luật bảo vệ dữ liệu chi phối thông tin y tế ở Mỹ hiện không áp dụng cho dữ liệu được tạo bởi thuật toán ngăn ngừa tự tử của Facebook, theo Duarte. Tại Hoa Kỳ, thông tin về sức khỏe của một người được bảo vệ bởi Đạo luật Trách nhiệm và Khả năng Giải quyết Bảo hiểm Y tế (HIPAA), quy định bắt buộc bảo vệ quyền riêng tư cụ thể, bao gồm hạn chế mã hóa và chia sẻ, khi xử lý hồ sơ sức khỏe. Nhưng những quy tắc này chỉ áp dụng cho các tổ chức cung cấp dịch vụ chăm sóc sức khỏe như bệnh viện và công ty bảo hiểm.

Các công ty như Facebook đang suy luận về sức khỏe của một người từ các nguồn dữ liệu phi y tế không phải tuân theo các yêu cầu bảo mật tương tự, và theo Facebook, họ biết nhiều và không phân loại thông tin họ cung cấp là thông tin sức khỏe nhạy cảm.

Facebook đã không minh bạch về các giao thức bảo mật xung quanh dữ liệu xung quanh việc tự tử mà nó tạo ra. Một đại diện của Facebook nói với Business Insider rằng điểm số rủi ro tự tử quá thấp để xem xét hoặc leo thang công đức được lưu trữ trong 30 ngày trước khi bị xóa, nhưng Facebook đã không trả lời khi được hỏi trong bao lâu và dưới dạng dữ liệu nào về điểm số rủi ro tự tử cao hơn và các can thiệp tiếp theo được cất giữ.

Facebook sẽ không giải thích lý do tại sao dữ liệu được lưu giữ nếu không có sự leo thang nào được thực hiện.

Vi phạm dữ liệu lớn tiếp theo của Facebook có thể bao gồm dữ liệu sức khỏe tâm thần của bạn không?

Thuật toán của Facebook có nghĩa là một bước tiếp theo từ đường dây nóng tự sát, chỉ những người gọi màn hình đang tích cực tìm kiếm sự giúp đỡ. ANWAR AMRO / AFP / Getty Hình ảnh

Các rủi ro của việc lưu trữ thông tin nhạy cảm như vậy là rất cao nếu không có sự bảo vệ và tầm nhìn xa phù hợp, theo các chuyên gia về quyền riêng tư.

Rủi ro rõ ràng nhất là tính nhạy cảm của thông tin đối với vi phạm dữ liệu.

"Đây không phải là câu hỏi liệu họ có bị hack hay không, đó là câu hỏi khi nào", Matthew Erickson thuộc nhóm bảo mật người tiêu dùng của Liên minh bảo mật kỹ thuật số cho biết.

Vào tháng 9, Facebook tiết lộ rằng một vụ vi phạm dữ liệu quy mô lớn đã làm lộ hồ sơ của khoảng 30 triệu người. Đối với 400.000 trong số đó, bài viết và hình ảnh đã bị bỏ ngỏ. Facebook sẽ không bình luận về việc liệu dữ liệu từ thuật toán ngăn ngừa tự tử của họ có từng là chủ đề của vi phạm dữ liệu hay không.

Sau khi phát sóng công khai dữ liệu từ vụ hack trang web hẹn hò kết hôn Ashley Madison, nguy cơ nắm giữ thông tin nhạy cảm như vậy là rõ ràng, theo Erickson: "Ai đó sẽ có thể Google thông tin sức khỏe tâm thần của bạn từ Facebook vào lần tới khi bạn đi phỏng vấn xin việc?"

Tiến sĩ Dan Reidenberg, một chuyên gia phòng chống tự tử được công nhận trên toàn quốc, người đã giúp Facebook khởi động chương trình ngăn ngừa tự tử, thừa nhận những rủi ro của việc nắm giữ và tạo ra dữ liệu đó, nói rằng "hãy chọn một công ty không còn vi phạm dữ liệu nữa".

Nhưng Reidenberg nói rằng mối nguy hiểm nằm nhiều hơn ở sự kỳ thị đối với các vấn đề sức khỏe tâm thần. Reidenberg lập luận rằng sự phân biệt đối xử chống lại bệnh tâm thần bị cấm bởi Đạo luật Người khuyết tật Hoa Kỳ, khiến cho kết quả tiềm năng tồi tệ nhất có thể giải quyết được tại tòa án.

Ai được xem thông tin về sức khỏe tâm thần tại Facebook

Khi một bài đăng được gắn cờ cho nguy cơ tự tử tiềm ẩn, nó sẽ được gửi đến nhóm người kiểm duyệt nội dung của Facebook. Facebook sẽ không đi sâu vào chi tiết cụ thể về những người điều hành nội dung đào tạo nhận được xung quanh việc tự tử nhưng nhấn mạnh rằng họ được đào tạo để sàng lọc chính xác các bài đăng về nguy cơ tự tử tiềm ẩn.

Trong một bài đánh giá của Wall Street Journal về hàng ngàn người điều hành nội dung của Facebook năm 2017, họ được mô tả là hầu hết các nhân viên hợp đồng có kinh nghiệm cao và ít được đào tạo về cách đối phó với nội dung gây nhiễu. Facebook nói rằng nhóm kiểm duyệt nội dung ban đầu được đào tạo về "nội dung có khả năng chấp nhận Tự tử, tự cắt xén & rối loạn ăn uống" và "xác định mối đe dọa tự tử tiềm ẩn / đáng tin cậy" đã được phát triển bởi các chuyên gia tự tử.

Facebook cho biết, trong giai đoạn đánh giá ban đầu này, các tên không được đính kèm với các bài đăng được xem xét, nhưng Duarte nói rằng việc không nhận dạng các bài đăng trên phương tiện truyền thông xã hội có thể khó đạt được.

"Thực sự rất khó để xác định lại các bài đăng của mọi người, có thể có rất nhiều bối cảnh trong một thông điệp mà mọi người đăng trên phương tiện truyền thông xã hội tiết lộ ai là người ngay cả khi tên của họ không được gắn với nó", ông nói.

Nếu một bài đăng được đánh giá bởi một người đánh giá ban đầu là có chứa thông tin về nguy cơ sắp xảy ra, nó sẽ được chuyển đến một nhóm có kinh nghiệm phản ứng nhanh hơn, theo Facebook, các nhân viên chuyên môn có nền tảng từ thực thi pháp luật đến cưỡng hiếp và tự tử .

Những nhân viên có nhiều kinh nghiệm này có nhiều quyền truy cập hơn vào thông tin về người mà họ đang xem xét.

"Tôi đã khuyến khích Facebook thực sự nhìn vào hồ sơ của họ để xem xét nhiều thứ khác nhau xung quanh nó để xem liệu họ có thể đặt nó trong bối cảnh hay không", Reidenberg nói, nhấn mạnh rằng thêm bối cảnh là một trong những cách duy nhất để xác định rủi ro hiện tại độ chính xác tại thời điểm này. "Cách duy nhất để có được điều đó là nếu chúng ta thực sự nhìn vào một số lịch sử của họ và chúng ta xem xét một số hoạt động của họ."

Đôi khi cảnh sát tham gia

Nếu một bài đăng đủ nghiêm trọng, Facebook sẽ liên hệ với người trả lời khẩn cấp. Giống như Groll / AP Photo

Sau khi xem xét, hai hành động tiếp cận có thể diễn ra. Người phản biện có thể gửi thông tin tài nguyên tự tử của người dùng hoặc liên hệ với người ứng cứu khẩn cấp.

"Trong năm ngoái, chúng tôi đã giúp những người trả lời đầu tiên nhanh chóng tiếp cận khoảng 3.500 người trên toàn cầu, những người cần sự giúp đỡ", CEO Mark Zuckerberg của Facebook viết trong một bài đăng trên sáng kiến.

Duarte nói rằng việc Facebook đầu hàng thông tin người dùng cho cảnh sát là rủi ro riêng tư quan trọng nhất của chương trình.

"Rủi ro lớn nhất trong tâm trí tôi là một dương tính giả dẫn đến liên hệ thực thi pháp luật không cần thiết", ông nói

Facebook đã chỉ ra rất nhiều sự can thiệp thành công từ mối quan hệ đối tác với cơ quan thực thi pháp luật, nhưng trong một báo cáo gần đây của tờ New York Times, một sự cố được cảnh sát ghi lại dẫn đến sự can thiệp với người nói rằng họ không tự tử. Cảnh sát đã đưa người này đến bệnh viện để đánh giá sức khỏe tâm thần. Trong một trường hợp khác, cảnh sát đã công bố thông tin cá nhân về người bị gắn cờ vì nguy cơ tự tử của Facebook cho tờ New York Times.

Tại sao thuật toán tự sát của Facebook bị cấm ở EU

GDPR yêu cầu công ty phải có được sự đồng ý trước khi tạo hoặc lưu trữ dữ liệu sức khỏe tâm thần. Hình ảnh Carl / Getty

Facebook sử dụng thuật toán tự sát để quét các bài đăng bằng tiếng Anh, tiếng Tây Ban Nha, tiếng Bồ Đào Nha và tiếng Ả Rập, nhưng họ không quét các bài đăng trong Liên minh châu Âu.

Triển vọng sử dụng thuật toán ở EU đã bị dừng lại do các biện pháp bảo vệ quyền riêng tư đặc biệt của khu vực theo Quy định bảo vệ dữ liệu chung (GDPR), yêu cầu người dùng cung cấp cho các trang web sự đồng ý cụ thể đối với thông tin nhạy cảm tập thể như liên quan đến sức khỏe tâm thần của ai đó.

Ở Mỹ, Facebook xem chương trình của mình là vấn đề trách nhiệm.

Reidenberg mô tả sự hy sinh quyền riêng tư là một điều mà các chuyên gia y tế thường xuyên phải đối mặt.

"Các chuyên gia y tế đưa ra một quyết định chuyên nghiệp quan trọng nếu họ gặp rủi ro và sau đó họ sẽ bắt đầu giải cứu tích cực", Reidenberg nói. "Các công ty công nghệ, bao gồm Facebook, không khác gì họ phải xác định có hay không kích hoạt thực thi pháp luật để cứu ai đó."

Nhưng Duarte cho biết một sự khác biệt quan trọng tồn tại giữa các chuyên gia khẩn cấp và các công ty công nghệ.

"Đó là một trong những lỗ hổng lớn mà chúng tôi có trong các biện pháp bảo vệ quyền riêng tư ở Mỹ, lĩnh vực này theo lĩnh vực có nhiều thông tin y tế hoặc thông tin y tế giả nằm dưới sự bảo trợ của các công ty không được HIPAA bảo vệ và cũng có vấn đề thông tin là thông tin sức khỏe bên ngoài nhưng được sử dụng để đưa ra các kết luận hoặc xác định sức khỏe hiện không được xử lý với độ nhạy cảm mà chúng tôi muốn có về thông tin sức khỏe. "

Các chuyên gia về quyền riêng tư đồng ý rằng phiên bản tốt hơn của chương trình của Facebook sẽ yêu cầu người dùng xác nhận chọn tham gia hoặc ít nhất cung cấp cách để người dùng từ chối tham gia chương trình, nhưng hiện tại không có tùy chọn nào khả dụng.

Emily Cain, đại diện truyền thông chính sách của Facebook, nói với INSIDER, "Bằng cách sử dụng Facebook, bạn đang chọn để có các bài đăng, nhận xét và video (bao gồm cả FB Live) được quét vì có nguy cơ tự tử".

Các chuyên gia đồng ý rằng thuật toán tự tử có tiềm năng tốt

Hầu hết các chuyên gia về quyền riêng tư và sức khỏe cộng đồng nói về câu chuyện này đều đồng ý rằng thuật toán của Facebook có tiềm năng tốt.

Theo Tổ chức Y tế Thế giới, gần 800.000 người tự tử hàng năm, ảnh hưởng không tương xứng đến thanh thiếu niên và dân số dễ bị tổn thương như LGBT và người dân bản địa.

Facebook cho biết, theo tính toán của họ, nguy cơ xâm phạm quyền riêng tư là đáng giá.

"Khi nói đến các nỗ lực ngăn ngừa tự tử, chúng tôi cố gắng cân bằng sự riêng tư của mọi người và sự an toàn của họ", công ty cho biết trong một tuyên bố. "Mặc dù những nỗ lực của chúng tôi không hoàn hảo, chúng tôi đã quyết định sai lầm khi cung cấp cho những người cần trợ giúp càng sớm càng tốt. Và chúng tôi hiểu đây là vấn đề nhạy cảm nên chúng tôi có một số biện pháp bảo vệ quyền riêng tư."

Kyle McGregor, Giám đốc Khoa Đạo đức Sức khỏe Tâm thần Nhi khoa của Đại học New York, đã đồng ý với tính toán, nói rằng "tự tử ở thanh thiếu niên đặc biệt là một vấn đề có thể sửa chữa và chúng tôi là người lớn có trách nhiệm đảm bảo rằng trẻ em có thể vượt qua được bướu của thời kỳ phát triển chính này và sống một cuộc sống hạnh phúc, khỏe mạnh. Nếu chúng ta có khả năng ngăn chặn một hoặc hai vụ tự tử một cách chính xác và hiệu quả, điều đó thật đáng giá. "

Nếu bạn đang có ý nghĩ tự tử, hãy gọi Đường dây cứu hộ tự tử quốc gia theo số 1-800-273-TALK (8255) hoặc Mạng lưới đường dây quốc gia theo số 1-800-SUICIDE (1-800-784-2433).

Có tiền boa không? Gửi email cho Benjamin Goggin tại bgoggin@businessinsider.com hoặc DM cho anh ấy trên Twitter @BenjaminGoggin.

Nếu bạn hoặc ai đó bạn biết đang phải vật lộn với chứng trầm cảm hoặc có suy nghĩ làm hại bản thân hoặc tự lấy mạng sống của mình, hãy nhờ giúp đỡ. Đường dây nóng phòng chống tự tử quốc gia (1-800-273-8255) cung cấp hỗ trợ bí mật, miễn phí, 24/7 cho những người gặp nạn, cũng như các biện pháp tốt nhất cho các chuyên gia và các nguồn lực để hỗ trợ phòng ngừa và khủng hoảng.

Có thể bạn quan tâm