派拓網絡：挖掘AI潛力，在確保安全的前提下增加AI使用

作者：派拓網絡網絡安全高級副總裁Rich Campagna

AI應用與企業(yè)的快速融合為企業(yè)創(chuàng)造了巨大的機遇。這些智能系統(tǒng)具有徹底改變運營方式、推動創(chuàng)新和提高生產力的潛力。雖然企業(yè)愈發(fā)積極地采用AI，但要充分發(fā)揮AI的潛力，關鍵在于落實強大的安全措施。如果企業(yè)能夠積極主動地解決安全問題，就能營造一個推動AI技術安全與普及的可信環(huán)境。

在這種環(huán)境下，企業(yè)需要對AI工具在執(zhí)行訓練、推理等功能時訪問的海量數據實施管控。應對這些威脅的最好方法是使用AI驅動的解決方案，這樣采用AI的企業(yè)將脫穎而出。

AI的普及以及隨之產生的風險

生成和分析工具等AI應用的快速普及給各個行業(yè)帶來了一場巨變。麥肯錫最新調查顯示，超過75%的企業(yè)已將AI應用于各種業(yè)務功能。這一快速發(fā)展證明了AI所帶來的巨大價值。

但同其他強大技術一樣，負責任地使用AI非常重要。雖然AI的普及速度驚人，但企業(yè)仍需密切關注底層數據以及AI系統(tǒng)的安全性。如果能夠將安全融入到AI開發(fā)和部署的每一個環(huán)節(jié)，企業(yè)就可以放心地發(fā)揮AI的優(yōu)勢并減輕潛在風險。

底層數據面臨的挑戰(zhàn)

企業(yè)在整合AI的過程中，需要采取擁有前瞻性的數據管理方法。Hugging Face等平臺提供了海量模型和數據集（截至目前已有超過150萬個模型和40萬個數據集）且其中大部分為開源，而企業(yè)應確保以負責任且道德的方式使用這些信息，例如使用醫(yī)療數據集時應嚴格遵守隱私法規(guī)。企業(yè)可通過落實強有力的數據治理實踐，更好地應對這些復雜性。

同樣，有關大語言模型（LLM）訓練數據的持續(xù)討論突出了尊重知識產權的重要性。如果能夠積極主動地解決這些問題，AI生態(tài)系統(tǒng)將變得更加可持續(xù)且合法。此外，派拓網絡研究人員發(fā)現的惡意AI模型不僅證明了保持警惕的必要性，同時也促使企業(yè)開發(fā)出專門用于識別和緩解此類威脅的安全解決方案。

需要更多的控制措施

那么企業(yè)應采取什么樣的措施？無論如何停止使用AI絕非明智之舉，而且對于希望保持競爭力的現代企業(yè)而言并不現實。

關鍵在于采用“安全設計”理念，即將安全因素融入到AI應用開發(fā)生命周期的各個階段，幫助開發(fā)者和數據專家構建強大、可信的模型。一個綜合全面的AI安全平臺應涵蓋多個關鍵領域：

·AI智能體安全：防止智能體受到新型代理威脅，例如工具濫用、身份冒充和內存操控。

·AI模型掃描：通過主動掃描AI模型發(fā)現漏洞，確保模型的使用安全。這能夠保護AI生態(tài)系統(tǒng)免受反序列化攻擊、模型篡改、惡意腳本等風險。

·安全態(tài)勢管理：通過監(jiān)視與AI生態(tài)系統(tǒng)相關的安全態(tài)勢風險，幫助企業(yè)避免因訪問或平臺配置錯誤、敏感數據泄露，及過度授權導致的安全態(tài)勢風險。

·運行時安全：防止大語言模型（LLM）驅動的數據、AI應用和模型受到幻覺、有毒內容、資源過載、提示注入、敏感數據泄露、惡意代碼等運行時境威脅。

防御基于AI的數據泄露

在AI這片“無人區(qū)”，機遇與挑戰(zhàn)并存。一旦AI模型和數據集缺乏保護，隨時可能發(fā)生大規(guī)模數據泄露。鑒于AI伴隨的風險，企業(yè)似乎既離不開AI，又對其有所忌憚。但當競爭對手和攻擊者都在應用AI時，企業(yè)別無選擇。

AI能夠給企業(yè)帶來明顯的優(yōu)勢，如加快應用開發(fā)速度、提高流程自動化程度、大幅提升生產力等。而要充分發(fā)揮這些優(yōu)勢，企業(yè)從一開始就參考最佳實踐打下強大、安全的牢固基礎，以保障AI應用開發(fā)生命周期每個階段的安全，追蹤和監(jiān)控每位員工的AI使用情況，并時刻防止AI應用中的數據遭到泄露和未經授權的訪問。