Tạo phiên bản AI của chính mình, qua mặt cả ngân hàng

Khả năng lạm dụng

Stern sử dụng cả hai công cụ AI để "thử" người thân. Bà yêu cầu AI gọi video cho em gái, sau đó là bố mình. Cả hai bị thuyết phục, nhưng nhận xét "nó như bản ghi âm" hoặc do bot tạo vì các câu nói "không có chỗ dừng lấy hơi".

Tuy nhiên, khi bà ra lệnh cho Joanna AI kết nối với ngân hàng Chase, công cụ này đã qua mặt được hệ thống. "Ở bước xác thực sinh trắc học, khi hệ thống tự động hỏi tên và địa chỉ, Joanna AI đã trả lời chính xác. Hệ thống nhận ra giọng tôi và ngay lập tức kết nối", Stern cho biết. Bà liên lạc trực tiếp với ngân hàng để nói mình không có giao dịch nào với Chase.

Hany Farid, chuyên gia pháp y kỹ thuật số tại Đại học California, cho rằng khi người dùng đã tải dữ liệu kỹ thuật số của bản thân lên Internet, họ cần phải chấp nhận việc chúng có thể bị sử dụng cho mục đích lạm dụng. "Cách phát hiện âm thanh và video giả mạo dạng này ư? Theo tôi chỉ có ba từ: Chúc may mắn", ông nói.

Stern nói bà may mắn vì người thân nhận ra giọng AI, nhưng điều này có thể được cải tiến bằng thuật toán theo thời gian. Bà lo ngại công cụ như Synthesia hay ElevenLabs bị sử dụng cho mục đích lừa đảo.

Theo đại diện Synthesia, chính sách của nền tảng yêu cầu người dùng cân nhắc trước khi tải âm thanh và video để tạo phiên bản ảo của chính mình, đồng thời sẽ loại bỏ nội dung có hại trên đó. Trong khi đó, ElevenLabs nói sẽ chấm dứt các tài khoản có dấu hiệu tạo nội dung lừa đảo hoặc vi phạm pháp luật. Công ty cũng đang nghiên cứu công cụ dán nhãn AI cho video tạo từ nền tảng của hãng.

Trước đó, đã có nhiều trường hợp mất hàng nghìn USD vì AI giả giọng người thân, thậm chí sử dụng video deepfake để tăng độ tin cậy. Giới chuyên gia đánh giá, công cụ AI giả giọng nói và video đang tràn lan, nhưng các cơ quan quản lý vẫn loay hoay kiểm soát. Hầu hết nạn nhân đều khó xác định thủ phạm vì kẻ lừa đảo hoạt động khắp thế giới. Các công ty AI cũng chưa phải chịu trách nhiệm về việc công cụ bị kẻ khác lạm dụng.