LLM Guard’s repository was switched to archive mode on July 9, 2026, ending all code and model updates.
Why the change matters
LLM Guard was one of the few free, community-maintained toolkits that let developers add “rails” – checks that sit in front of or behind a large language model (LLM) – without paying for a managed service. With the project frozen, those safeguards disappear. At the same time, the broader AI-security market is consolidating: Protect AI has been absorbed by Palo Alto Networks, Lakera by Check Point, and OpenAI has acquired promptfoo. The market is shifting from a patchwork of indie projects to a handful of platform-level offerings, and developers must decide where to place their next line of defense.
The three guardrail problems to solve
- Input rails – filters that examine a user’s prompt before it reaches the model, blocking injection attempts and jailbreak techniques.
- Output rails – scanners that evaluate the model’s response, suppressing toxic language, copyrighted material, or inadvertent exposure of private data.
- Red-team testing – an adversarial test suite run during development (usually in CI/CD pipelines) to verify that the model and its guards hold up against known attack patterns. This step surfaces weaknesses before they reach production; it is not a runtime filter.
Treating red-team testing as a live block can give a false sense of security.
Open-source alternatives still in play
| Tool | License | Sweet spot |
|---|---|---|
| NeMo Guardrails | Apache 2.0 | Complex multi-turn dialogs and retrieval-augmented generation; uses the domain-specific language Colang to declare guardrail logic. |
| Guardrails AI | Apache 2.0 | Incremental validation – add one rule at a time for a specific risk such as profanity or disallowed topics. |
| Presidio | MIT | Offline detection and masking of personally identifiable information (PII); now community-owned, but you must define the entity list yourself to avoid noisy false positives. |
| Llama Prompt Guard 2 | Self-hosted classifier focused on spotting prompt injections and jailbreak attempts. | |
| promptfoo | MIT | Red-team framework that integrates with CI pipelines; can run hundreds of attack vectors against your model and report the ones that succeed. |
These projects still receive community contributions, and their source code is freely available for self-hosting or embedding into custom pipelines.
Managed guardrails worth a look
If you prefer a turnkey solution, the two major cloud providers now bundle guardrails into their LLM offerings:
- Amazon Bedrock Guardrails – configurable policies that can be toggled per request.
- Azure Prompt Shields – similar runtime filters integrated with Azure OpenAI Service.
Both charge per-request fees; a million calls can quickly add up to several hundred dollars. Budget-conscious teams should model expected traffic before enabling them at scale.
How to rebuild your security stack
- Map the “lethal trifecta.” Identify where your application touches (a) private data stores, (b) untrusted user input, and (c) external network calls. Removing any one of these reduces the attack surface more than any single guardrail can.
- Deploy Presidio early. Run it on any data you plan to feed the model. Customize the entity list – the default set flags many benign strings as PII, which can break downstream processing.
- Add an input rail. Start with a lightweight classifier like Llama Prompt Guard 2 or a rule-based guard from Guardrails AI. Block obvious injection patterns before they reach the model.
- Layer output checks. NeMo Guardrails or Guardrails AI can post-process the model’s reply, stripping toxic language or confidential snippets that slipped through.
- Integrate promptfoo into CI. Treat its reports as a checklist; each newly discovered bypass should be codified as a rule in your input or output rail.
- Log every block. Store the original request, the reason for rejection, and the action taken. Without logs you cannot tune thresholds or audit compliance.
Counter-point: managed services vs. open source
گاردریلهای مدیریتشده شما را از بار عملیاتی میزبانی شخصی، وصلهگذاری و مقیاسبندی طبقهبندها بینیاز میکنند. با این حال، آنها شما را به مدل قیمتگذاری و سیاستهای یک ارائهدهنده وابسته میکنند که ممکن است با الزامات نظارتی خاص همخوانی نداشته باشد. ابزارهای متنباز کنترل کامل را به شما میدهند و میتوانند بهصورت محلی (on-premise) اجرا شوند، اما برای بهروز نگه داشتن آنها و نظارت بر تکنیکهای جدید حمله، به تلاش مهندسی نیاز دارند. تیمها باید هزینه زمان کارکنان را در مقابل هزینههای هر درخواست در یک گاردریل ابری بسنجند.
آنچه باید در ادامه زیر نظر داشت
- نقشهراههای فروشندگان. اخبار مربوط به محصولات امنیت هوش مصنوعی Palo Alto و Check Point را دنبال کنید؛ احتمالاً آنها قابلیتهای ابزارهای خریداریشده را در مجموعههای گستردهتری ادغام خواهند کرد.
- فعالیت جامعه کاربری. سلامت پروژههایی مانند NeMo Guardrails و Presidio را از طریق فعالیتهای اخیر در pull-requestها و فرکانس انتشار نسخهها بسنجید. یک مخزن (repo) راکد ممکن است نشاندهنده ظهور یک جایگزین جدیدتر باشد.
- رهنمودهای نظارتی. با سختگیرانهتر شدن قوانین دولتها در مورد محتوای تولیدشده توسط هوش مصنوعی و حفاظت از دادهها، هر استراتژی گاردریل باید قابلیت حسابرسی داشته باشد. ثبت وقایع (Logging) و قابلیت ردیابی در بسیاری از حوزههای قضایی اجباری خواهد شد.
نتیجهگیری
با بازنشستگی رسمی LLM Guard، توسعهدهندگان باید ترکیبی از فیلترهای ورودی، پاکسازهای خروجی و تستهای خصمانه را برای ایمن نگه داشتن اپلیکیشنهای مبتنی بر LLM خود در کنار هم قرار دهند. پروژههای متنباز مانند NeMo Guardrails، Guardrails AI، Presidio، Llama Prompt Guard 2 و promptfoo بلوکهای سازنده را فراهم میکنند، در حالی که گاردریلهای cloud-native راحتی را با هزینهای مشخص ارائه میدهند. عامل تعیینکننده این نیست که کدام ابزار را انتخاب میکنید، بلکه این است که آیا یک فرآیند سیستماتیک — حسابرسی، محافظت، تست و ثبت وقایع — ایجاد میکنید که از محیط تهدیدات در حال تکامل پیشی بگیرد یا خیر.