An ninh mạng trong mã được tạo ra bởi trí tuệ nhân tạo

  • Lập trình có sự hỗ trợ của AI giúp tăng năng suất, nhưng lại làm tăng đáng kể các lỗ hổng trong mã nguồn và nguy cơ xuất hiện AI bóng tối.
  • Các mô hình AI phòng thủ giúp cải thiện khả năng phát hiện, ưu tiên và phản ứng với các mối đe dọa, với điều kiện phải có sự giám sát của con người và quản trị dữ liệu tốt.
  • Các khuôn khổ như SHIELD giới hạn quyền hạn của AI, yêu cầu đánh giá của chuyên gia và tăng cường các biện pháp kiểm soát kỹ thuật để sử dụng "mã hóa cảm xúc" mà không ảnh hưởng đến bảo mật.

an ninh mạng và mã được tạo bởi AI

La lập trình có sự hỗ trợ của trí tuệ nhân tạo Nó không còn là lời hứa trong tương lai mà đã trở thành hiện thực hàng ngày đối với hàng ngàn nhóm phát triển. Chỉ trong vài giây, trợ lý AI có thể tạo ra các chức năng, kịch bản hoàn chỉnh, thậm chí cả ứng dụng hoàn chỉnh, điều này giúp tăng năng suất nhưng cũng làm tăng rủi ro.

Điều mà nhiều tổ chức vẫn chưa hiểu rõ là: Trí tuệ nhân tạo không chịu trách nhiệm.Khi mã nguồn gặp lỗi, đội ngũ kỹ thuật là người phải chịu trách nhiệm. Và vấn đề không chỉ nằm ở chỗ mã nguồn được thiết kế kém hoặc khó bảo trì; thách thức thực sự là, trong rất nhiều trường hợp, nó được đưa vào môi trường sản xuất với những lỗ hổng bảo mật nghiêm trọng.

Mã do AI tạo ra: năng suất kỷ lục và bề mặt tấn công vượt tầm kiểm soát

Chỉ trong một thời gian rất ngắn, chúng ta đã chuyển sang một tình huống mà Một tỷ lệ rất cao mã nguồn sản xuất hiện nay có nguồn gốc từ các mô hình AI.Các nghiên cứu chỉ ra rằng một phần ba số lập trình viên thừa nhận hơn 60% nội dung họ viết ra đến từ các trợ lý ảo, và các công ty đã và đang chứng kiến ​​sự gia tăng năng suất ngoạn mục nhờ vào cái gọi là "lập trình dựa trên cảm nhận" (vibe coding), hay lập trình dựa trên lời nhắc.

Mặt trái của vấn đề đó là... Khoảng một nửa số mã được tạo tự động có một số lỗ hổng bảo mật.Các lỗ hổng này bao gồm từ tấn công SQL injection đến lỗi mã hóa và thiết kế kiểm soát truy cập kém. Trong một số ngôn ngữ lập trình, chẳng hạn như Java, người ta đã phát hiện ra rằng hơn 70% mã do AI đề xuất chứa các lỗ hổng bảo mật.

Tình huống này đang gây ra Nhiều tổ chức đưa phần mềm vào sử dụng thực tế ngay cả khi họ đã nghi ngờ nó chưa hoàn hảo.Có những báo cáo cho thấy hơn 80% các nhóm thừa nhận đã triển khai mã nguồn khi biết rằng nó chưa hoàn thiện, và hầu hết trong số họ đều đã phải chịu một số sự cố an ninh mạng liên quan đến các lỗ hổng trong mã nguồn đó.

Tệ hơn nữa, hiện tượng này AI bóng tốiNhân viên sử dụng các công cụ AI tạo sinh mà không có sự giám sát của tổ chức, sao chép và dán các đoạn mã hoặc thậm chí dán thông tin nhạy cảm vào các lời nhắc. Điều này mở ra nguy cơ rò rỉ dữ liệu và sự lan rộng âm thầm của các thành phần không an toàn, mà sau đó không thể truy vết được.

Nhiều rủi ro trong số này trở nên trầm trọng hơn do... lượng lớn "nhà phát triển nghiệp dư"Những nhân viên không có nền tảng vững chắc về kỹ thuật phần mềm thường dựa vào trí tuệ nhân tạo (AI) để tạo ra các hệ thống tự động hóa, các ứng dụng nội bộ nhỏ hoặc các hệ thống tích hợp. Mã nguồn tạo ra kết quả hoạt động được, nhưng thường thiếu ngay cả những đảm bảo cơ bản nhất về bảo mật và chất lượng.

Các rủi ro bảo mật chính trong mã được tạo bởi AI

Sự xuất hiện của trí tuệ nhân tạo trong phát triển phần mềm không tạo ra các lỗ hổng bảo mật mới, nhưng đã làm tăng tốc độ và mức độ xuất hiện của những điểm yếu cũ.Một số phân tích từ các công ty an ninh mạng đều đồng ý về một số rủi ro đặc biệt nghiêm trọng khi nhóm phụ thuộc quá nhiều vào các công cụ tạo sinh.

Một trong những ví dụ dễ thấy nhất là “Mã hóa cảm xúc” mà không trải qua hàng loạt bài kiểm tra hoặc đánh giá nghiêm túc.Các chức năng hoặc dịch vụ hoàn chỉnh được tạo ra ngay tại thời điểm yêu cầu, được kiểm tra sơ bộ để đảm bảo chúng "hoạt động", và sau đó được tích hợp mà không cần kiểm tra bảo mật, đánh giá ngang hàng hoặc phân tích tự động. Điều này cho phép các lỗ hổng cơ bản lọt qua, những lỗ hổng mà bất kỳ cuộc kiểm tra nào cũng có thể phát hiện được nếu thực hiện tối thiểu nghiêm ngặt.

Những điều đáng quan ngại khác là hướng dẫn tổng hợp phần mềmCác mô hình AI thường đề xuất các thư viện bên thứ ba để giải quyết các vấn đề phổ biến. Nếu các thư viện này không được giám sát và phân tích bằng các công cụ Phân tích Thành phần Phần mềm (SCA), nó sẽ mở ra nguy cơ đưa các thư viện độc hại hoặc các phiên bản bị xâm phạm vào hàng nghìn dự án chỉ bằng một thao tác duy nhất.

La Thiếu sự giám sát và kiểm toán liên tục đối với các gói dịch vụ bên ngoài. Nó cho phép các mô-đun có mã bị che giấu hoặc hành vi đáng ngờ chạy trong hệ thống mà không gây ra cảnh báo. Khi AI đề xuất và tích hợp các thành phần này dễ dàng như vậy, nguy cơ phần mềm độc hại xâm nhập dưới dạng thư viện "vô hại" sẽ tăng vọt.

Một mặt trận tế nhị khác là... Tích hợp các mô hình ngôn ngữ với cơ sở dữ liệu và hệ thống nội bộ.Việc kết nối LLM với thông tin doanh nghiệp mà không có các biện pháp kiểm soát thích hợp sẽ mở ra kẽ hở cho các cuộc tấn công tiêm mã độc và tấn công đầu độc dữ liệu: các chỉ thị độc hại được ẩn trong dữ liệu hoặc tin nhắn buộc mô hình phải tiết lộ bí mật, bỏ qua các chính sách hoặc thực hiện các hành động không đúng đắn.

Ngoài ra, những điều sau đây đã được phát hiện: hàng nghìn thông tin xác thực và bí mật đang hoạt động trong các tập dữ liệu công khai được sử dụng để huấn luyện mô hình Từ trí tuệ nhân tạo (AI), các khóa API, mật khẩu và mã thông báo có thể bị nhúng vào các kho lưu trữ, diễn đàn hoặc các mẫu mã, và có thể xuất hiện lại trong phản hồi của mô hình hoặc bị kẻ tấn công khai thác bằng cách phân tích các tập dữ liệu đó.

Chúng ta không được quên nguồn gốc của vấn đề: An toàn theo thiết kế vẫn hầu như không được chú trọng.Đa số các nhà phát triển thừa nhận dành nhiều thời gian vá lỗi hơn là tích hợp các yêu cầu bảo mật ngay từ giai đoạn thiết kế. Trong môi trường mà tốc độ triển khai là tối quan trọng, áp lực kinh doanh thúc đẩy các nhà phát triển "phát hành chức năng ngay bây giờ" và để lại vấn đề bảo mật cho sau này... nếu thời điểm đó có đến.

Tầm nhìn của các CISO, kiến ​​trúc sư và chuyên gia: chấp nhận AI, nhưng phải có sự kiểm soát.

Trong nhiều cuộc họp và hội thảo chuyên nghiệp, các nhà quản lý an ninh mạng từ lĩnh vực ngân hàng, công nghiệp, tư vấn công nghệ và các công ty dịch vụ đều nhất trí rằng: Việc ứng dụng AI trong phát triển mã nguồn không còn là tùy chọn nữa.Nó đang được sử dụng rộng rãi và không một giám đốc an ninh thông tin nào có lý trí lại cân nhắc việc cấm hoàn toàn nó.

Điều họ đang cân nhắc là Làm thế nào để giảm thiểu rủi ro mà không cản trở sự đổi mới?Nhiều người đang thúc đẩy các chiến lược phát triển an toàn dựa trên phương pháp "chuyển dịch sang trái": đưa việc kiểm thử bảo mật, phân tích SAST và xem xét phụ thuộc vào các giai đoạn sớm nhất của vòng đời phần mềm, ngay khi nhà phát triển—hoặc AI—viết những dòng mã đầu tiên.

Thay đổi này giả định rằng Các nhóm an ninh mạng không còn chỉ xuất hiện vào giai đoạn cuối, khi mọi thứ đã được phát triển và đưa vào sản xuất.Thay vì chỉ đơn giản nói rằng cần phải loại bỏ và xây dựng lại, họ hỗ trợ quá trình phát triển ngay từ lần commit đầu tiên, tích hợp các công cụ phân tích mã nguồn theo thời gian thực và đưa ra các đề xuất tức thì.

Trong các tổ chức nơi việc phát triển được thuê ngoài hoặc khối lượng mã nguồn độc quyền không quá lớn, các nhà quản lý an ninh yêu cầu có thể hiểu rõ cách thức mã đó được tạo ra.Họ muốn được đảm bảo rằng các nhà cung cấp sử dụng các biện pháp bảo mật, không dựa dẫm một cách mù quáng vào trợ lý AI, và kiểm tra mã nguồn thông qua máy quét và các quy trình đánh giá chính thức trước khi giao hàng.

Các CISO khác đang bắt đầu xem các nhà phát triển như... “Người thẩm định” những gì AI tạo raThay vì là tác giả của từng dòng mã, vai trò đã thay đổi: không chỉ đơn thuần là tạo ra mã, mà còn là hiểu mã đó, đặt câu hỏi về nó, xem xét lại nó và cải thiện những gì mô hình đề xuất, đặc biệt là trong các lĩnh vực nhạy cảm như xác thực, ủy quyền, mã hóa hoặc xử lý dữ liệu cá nhân.

Tại các công ty có nhiều phần mềm cũ, trọng tâm là... kiểm soát các lỗ hổng xuất hiện trong thư viện của bên thứ ba và trong các lớp hệ thống cũ mà không ai dám động đến. Tại đây, các công cụ phân tích tự động và các tác nhân AI chuyên về bảo mật đang bắt đầu giúp lập bản đồ rủi ro và ưu tiên những gì cần được vá lỗi trước tiên.

Trí tuệ nhân tạo như một đồng minh phòng thủ: phát hiện, ưu tiên và phản ứng.

Công nghệ giúp việc viết mã không an toàn trở nên dễ dàng hơn cũng đang thay đổi mạnh mẽ cách chúng ta phòng chống nó. Trong các trung tâm điều hành an ninh (SOC), nền tảng SIEM và các công cụ phân tích mã, Trí tuệ nhân tạo tạo sinh và các mô hình học sâu đang trở thành những thành phần quan trọng..

Công cụ phát hiện dựa trên trí tuệ nhân tạo Họ không chỉ giới hạn việc tìm kiếm các dấu hiệu hoặc mô hình tĩnh.Chúng có khả năng phân tích hành vi của mã, luồng thực thi và mối quan hệ ngữ nghĩa giữa các hàm. Được huấn luyện với các kho dữ liệu khổng lồ và dữ liệu về các mối đe dọa thực tế, chúng xác định được các lỗ hổng và logic độc hại ngay cả khi mã được viết theo phong cách không thông thường hoặc kết hợp nhiều ngôn ngữ.

Hơn nữa, các mẫu này cung cấp bối cảnh mối đe dọa và ưu tiên thông minhKhông phải tất cả các lỗ hổng đều cần cùng một mức độ nỗ lực: một lỗ hổng có thể khai thác trong một dịch vụ quan trọng được kết nối với internet có mức độ nghiêm trọng cao hơn nhiều so với một lỗi trong một công cụ nội bộ. Trí tuệ nhân tạo (AI) có thể đối chiếu thông tin về mức độ tiếp xúc, mức độ quan trọng của tài sản, lịch sử khai thác và cấu hình thực tế để ưu tiên các cảnh báo và tập trung nhóm vào những gì thực sự nguy hiểm.

Một điểm mạnh khác là kỹ năng học tập và thích ứng liên tụcKhi chiến thuật của kẻ tấn công phát triển và phong cách lập trình thay đổi, các mô hình cũng được điều chỉnh, kết hợp các vectơ tấn công mới và các quy tắc thu thập được từ các sự cố thực tế. Điều này biến hệ thống phòng thủ thành một thực thể sống phát triển song song với chính hệ sinh thái phần mềm.

Trong lĩnh vực ứng phó sự cố, trí tuệ nhân tạo tạo sinh (generative AI) cho phép... tự động hóa phần lớn các hành động ban đầuPhân loại sự kiện, tạo kịch bản phản hồi, cô lập các hệ thống bị ảnh hưởng, đưa ra khuyến nghị giảm thiểu rủi ro và tạo báo cáo rõ ràng cho các nhóm kỹ thuật và quản lý. Tất cả những điều này giúp giảm thời gian phản hồi, ngăn ngừa lỗi và giảm bớt các nhiệm vụ lặp đi lặp lại cho các nhà phân tích.

Các mô hình tạo sinh cũng đang được sử dụng cho mô phỏng các cuộc tấn công mạng và huấn luyện các nhóm. Với các kịch bản thực tế, AI tạo ra các chiến dịch lừa đảo trực tuyến khả thi, các chuỗi tấn công phức tạp hoặc các mô hình hành vi bất thường buộc các nhà phân tích phải phản ứng và nâng cao khả năng ra quyết định của họ dưới áp lực.

Phần mềm độc hại và trí tuệ nhân tạo: sự cường điệu, những hạn chế hiện tại và sự phát triển có thể xảy ra

Cùng với sự trỗi dậy của trí tuệ nhân tạo phòng thủ, các công nghệ khác cũng đã xuất hiện. nguyên mẫu phần mềm độc hại tích hợp mô hình ngôn ngữ hoặc tận dụng các dịch vụ AI để thay đổi một cách linh hoạt. Các thử nghiệm như BlackMamba, EyeSpy, hay sâu máy tính Morris II đã chứng minh rằng về mặt kỹ thuật, hoàn toàn có thể sử dụng LLM để tạo ra mã độc hại trong thời gian chạy, đánh giá mục tiêu hoặc lan truyền các cuộc tấn công thông qua các lệnh được tiêm vào.

Tuy nhiên, một số chuyên gia về kỹ thuật đảo ngược và tấn công mô phỏng chỉ ra rằng, Hiện tại, những ví dụ này chỉ là những điều thú vị về mặt kỹ thuật chứ chưa phải là những mối đe dọa không thể vượt qua.Các khả năng mà chúng thể hiện—đa hình thái, thực thi trong bộ nhớ, làm xáo trộn mã nguồn hoặc lựa chọn mục tiêu—đã tồn tại trong các phần mềm độc hại tiên tiến và vẫn có thể bị phát hiện bằng các biện pháp phòng thủ hiện tại.

Một trong những lý do là Mã được tạo ra bởi các mô hình được huấn luyện trên dữ liệu công khai thường kém tinh vi hơn so với mã được viết riêng bởi một chuyên gia tấn công.Các LLM (Level Microsystems Learning) dựa vào các mô hình đã học; chúng thường không tự tạo ra các kiến ​​trúc phần mềm độc hại hoàn toàn mới từ đầu, và thường tạo ra các đoạn mã tầm thường, dư thừa hoặc dễ dàng được ký điện tử.

Bên cạnh đó, Để phần mềm độc hại dựa trên trí tuệ nhân tạo có hiệu quả, nó phải mang lại lợi nhuận đầu tư rõ ràng. Đối với những người phát triển nó. Cũng giống như trường hợp của ransomware hay cryptojacking, chúng ta sẽ không thấy việc sử dụng rộng rãi một số kỹ thuật nhất định cho đến khi chúng được tích hợp liền mạch vào phần mềm hợp pháp và có một cơ sở hạ tầng hoàn thiện để hỗ trợ chúng.

Tuy nhiên, các chuyên gia đều đồng ý rằng, nếu các mô hình tiếp tục được cải thiện với tốc độ hiện tạiSẽ đến lúc chúng thực sự có thể giúp tạo ra những mối đe dọa phức tạp và dễ thích nghi hơn. Trong trường hợp đó, cần phải tăng cường hơn nữa sự giám sát của con người, bảo vệ các mô hình khỏi bị thao túng và đảm bảo an ninh cho toàn bộ quy trình AI.

Đảm bảo toàn bộ vòng đời AI: dữ liệu, mô hình và quy trình.

Khi thảo luận về an ninh mạng trong mã nguồn do AI tạo ra, chỉ nhìn vào kho lưu trữ thôi là chưa đủ: Toàn bộ quy trình AI phải được bảo vệ từ đầu đến cuối.Từ thu thập dữ liệu đến triển khai và bảo trì mô hình.

Trụ cột đầu tiên là bảo vệ dữ liệu huấn luyện và lời nhắcvà việc lựa chọn các nền tảng an toàn như hệ điều hành miễn phíNếu các tập dữ liệu chứa thông tin nhạy cảm, chưa được ẩn danh, hoặc nếu người dùng dán các bí mật và dữ liệu cá nhân vào các truy vấn, sẽ có nguy cơ rò rỉ thông tin, thông tin đăng nhập xuất hiện lại trong phản hồi, hoặc thậm chí là vi phạm dữ liệu quy mô lớn nếu nhà cung cấp AI bị xâm phạm.

Trụ cột thứ hai là tính toàn vẹn của các mô hình và thuật toánCác cuộc tấn công như làm nhiễm độc dữ liệu có thể làm ô nhiễm dữ liệu huấn luyện để làm sai lệch kết quả đầu ra; các phương thức khác tìm cách khai thác các lỗ hổng trong API suy luận để trích xuất mô hình hoặc sửa đổi hành vi của nó. Việc duy trì kiểm soát truy cập nghiêm ngặt, mã hóa, giám sát và đánh giá liên tục là điều cần thiết.

Mảnh thứ ba là quản trị và giám sát toàn bộ quy trìnhĐiều này bao gồm việc theo dõi ai sử dụng AI, sử dụng cho mục đích gì, loại mã nào được tạo ra, trải qua những đánh giá nào và kết quả của nó được tích hợp vào hệ thống sản xuất như thế nào. Nếu thiếu khả năng giám sát này, AI bóng tối sẽ lan rộng và việc quản lý rủi ro trở nên bất khả thi.

Các thực tiễn tốt trong lĩnh vực này bao gồm: các chính sách dữ liệu mạnh mẽ, mã hóa mạnh, xác thực đa yếu tố, nguyên tắc quyền hạn tối thiểu để truy cập các mô hình, các biện pháp bảo vệ trong các lời nhắc, việc xem xét thủ công bắt buộc và giám sát liên tục các đầu vào, đầu ra và tác động thực tế đến môi trường.

Khung SHIELD: Thiết lập giới hạn rõ ràng cho lập trình hỗ trợ bởi trí tuệ nhân tạo

Để chuyển tất cả những điều trên thành các biện pháp kiểm soát thực tiễn, một số công ty tư vấn an ninh đã đề xuất các khuôn khổ cụ thể cho việc này. giảm thiểu rủi ro của việc "mã hóa cảm xúc"Một trong những khuôn khổ toàn diện nhất là khuôn khổ SHIELD, tóm tắt trong sáu chữ cái các nguyên tắc cơ bản để sử dụng AI một cách có trách nhiệm trong phát triển phần mềm.

Chữ "S" trong SHIELD đề cập đến Tách biệt nhiệm vụMục tiêu là ngăn chặn các tác nhân AI có nhiều quyền hạn khác nhau dẫn đến môi trường sản xuất. Cách tiếp cận hợp lý là giới hạn phạm vi hoạt động của chúng trong môi trường phát triển và thử nghiệm, không cho phép chúng có quyền hạn cao hoặc truy cập trực tiếp vào các cơ sở dữ liệu thực.

Chữ “H” tương ứng với Con người trong mạch điệnĐiều này có nghĩa là mã do AI tạo ra luôn phải được xem xét và phê duyệt bởi nhân viên có chuyên môn, đặc biệt khi được sử dụng bởi những người không phải là nhà phát triển chuyên nghiệp. Không nên hợp nhất bất kỳ thay đổi quan trọng nào mà không có yêu cầu kéo (pull request) được giám sát.

Chữ “I” chỉ vào Xác thực đầu vào và đầu raCần phải phân biệt rõ ràng giữa các hướng dẫn đáng tin cậy và dữ liệu không đáng tin cậy, làm sạch các lời nhắc, kiểm soát những gì được yêu cầu từ mô hình và gửi kết quả đến các công cụ như SAST trước khi tích hợp vào mã nguồn.

Chữ “E” tập trung vào Các mô hình phụ trợ hướng đến sự an toànThay vì chỉ dựa vào một công cụ hỗ trợ đa năng duy nhất, nên bổ sung thêm các công cụ chuyên dụng để quét bí mật, xác minh quyền kiểm soát, phân tích chuỗi cung ứng (SCA), phát hiện phụ thuộc ảo và xác minh cấu hình cơ sở hạ tầng dưới dạng mã.

Chữ “L” đề cập đến nguyên tắc “Tác động tối thiểu” hay tác động tối thiểuCác tác nhân AI nên hoạt động với quyền hạn tối thiểu: không được truy cập vào các tập tin nhạy cảm, giới hạn nghiêm ngặt đối với các lệnh gây hại và không có khả năng tự động thực hiện thay đổi trong các môi trường quan trọng.

Cuối cùng, chữ “D” đề cập đến Các biện pháp kiểm soát kỹ thuật phòng thủTrước khi triển khai, điều cần thiết là phải chạy SCA, vô hiệu hóa bất kỳ cơ chế tự động triển khai nào ngăn cản sự can thiệp của con người, buộc các pipeline phải có các giai đoạn bảo mật và ghi lại kỹ lưỡng mọi hành động phát sinh từ đề xuất của AI.

Những loại khung này hướng đến một mục đích rất đơn giản: Tận dụng khả năng tăng tốc mà trí tuệ nhân tạo mang lại mà không cần từ bỏ quyền kiểm soát.Hay nói một cách trực tiếp hơn, trợ lý nên viết được nhiều dòng hơn mỗi phút, nhưng trách nhiệm, tiêu chí và quyết định vẫn thuộc về đội ngũ nhân viên.

Toàn bộ hệ sinh thái mới này—với trí tuệ nhân tạo (AI) tạo ra mã với tốc độ cao, các biện pháp phòng thủ dựa trên mô hình, các khung phần mềm như SHIELD, và một nền văn hóa giằng xé giữa sự vội vàng và thận trọng—đang buộc các tổ chức phải trưởng thành. Những tổ chức nào kết hợp được các thực tiễn kỹ thuật tốt, đào tạo an ninh mạng liên tục, sự giám sát chặt chẽ của con người và việc sử dụng trí tuệ nhân tạo một cách thông minh sẽ là những tổ chức tạo ra mã nguồn của riêng mình… Sản xuất nhanh chóng, mạnh mẽ, an toàn và phù hợp với mục tiêu kinh doanh.mà không rơi vào cái bẫy trở thành những người vận hành phản hồi nhanh chóng đơn thuần hoặc liên tục giải quyết các sự cố an ninh.

Bài viết liên quan:
10 hệ điều hành miễn phí mà chắc chắn bạn chưa biết!

Thêm vào làm nguồn ưu tiên