Експерт з безпеки Бар Ланьядо нещодавно провів деякі дослідження щодо того, як генеративні моделі штучного інтелекту ненавмисно сприяють величезним потенційним загрозам безпеці у світі розробки програмного забезпечення. Таке дослідження Ланьядо виявило тривожну тенденцію: штучний інтелект пропонує пакети уявного програмного забезпечення, а розробники, навіть не підозрюючи, включають його у свої кодові бази.
Випуск розкритий
Тепер проблема полягає в тому, що згенероване рішення було вигаданим ім’ям — чимось типовим для ШІ. Однак ці вигадані назви пакетів потім впевнено пропонуються розробникам, які мають труднощі з програмуванням за допомогою моделей ШІ. Дійсно, деякі вигадані назви пакунків частково базувалися на людях, як-от Lanyado, а деякі пішли вперед і перетворили їх на справжні пакунки. Це, у свою чергу, призвело до випадкового включення потенційно шкідливого коду в реальні та законні проекти програмного забезпечення.
Одним із компаній, які потрапили під цей вплив, була Alibaba, один із головних гравців у технологічній індустрії. У своїх інструкціях зі встановлення GraphTranslator Lanyado виявив, що Alibaba включила пакет під назвою «huggingface-cli», який був підробленим. Насправді існував реальний пакет із такою ж назвою, розміщений на Python Package Index (PyPI), але посібник Alibaba посилався на той, який створив Ланьядо.
Тестування стійкості
Дослідження Ланьядо мали на меті оцінити довговічність і потенційне використання цих назв пакетів, згенерованих ШІ. У цьому сенсі LQuery розробив різні моделі штучного інтелекту щодо проблем програмування та між мовами в процесі розуміння, якщо, ефективно, у систематичний спосіб, ці фіктивні імена були рекомендовані. У цьому експерименті зрозуміло, що існує ризик того, що шкідливі організації можуть зловживати назвами пакетів, згенерованими ШІ, для розповсюдження шкідливого програмного забезпечення.
Ці результати мають глибоке значення. Зловмисники можуть скористатися сліпою довірою розробників до отриманих рекомендацій таким чином, що вони можуть почати публікувати шкідливі пакети під фальшивими іменами. З моделями штучного інтелекту ризик зростає, оскільки дають узгоджені рекомендації штучного інтелекту щодо вигаданих назв пакетів, які необізнані розробники включатимуть як зловмисне програмне забезпечення. **Шлях вперед**
Таким чином, у міру подальшої інтеграції штучного інтелекту з розробкою програмного забезпечення може виникнути потреба у виправленні вразливостей у зв’язку з рекомендаціями, створеними ШІ. У таких випадках необхідно ретельно перевірити, щоб програмні пакети, запропоновані для інтеграції, були законними. Крім того, платформа, на якій розміщено репозиторій програмного забезпечення, повинна бути достатньо надійною, щоб не розповсюджувати код зловмисної якості.
Перетин штучного інтелекту та розробки програмного забезпечення виявив серйозну загрозу безпеці. Крім того, модель штучного інтелекту може призвести до випадкової рекомендації підроблених програмних пакетів, що створює великий ризик для цілісності програмних проектів. Той факт, що в його інструкції Alibaba включив коробку, яка ніколи не мала бути там, є доказом того, як насправді можуть виникнути можливості, коли люди автоматизовано дотримуються рекомендацій
дано А.І. У майбутньому слід проявляти пильність у профілактичних заходах, щоб уникнути зловживання ШІ для розробки програмного забезпечення.
Джерело: https://www.cryptopolitan.com/ai-generated-software-packages-threats/