Certus AI by Boostwith.ai

The AI that knows when not to answer.

Certus AI answers from your verified materials. When the source support is missing, vague, or incomplete, it says so instead of guessing.

Built for policies, contracts, manuals, HR documents and other business knowledge where confident guesses are not acceptable.

The problem

Confident AI errors are worse than visible uncertainty.

Generic AI tools are optimized to produce an answer. In business use, a fluent but unsupported answer creates verification work, compliance risk, and loss of trust.

Gartner wrote in 2026 that more than 50% of GenAI projects are abandoned after proof of concept, citing poor data quality, inadequate risk controls, escalating costs and unclear business value.1

MIT NANDA's 2025 report found that 95% of organizations in its research were seeing no measurable return from generative AI, with failures linked especially to brittle workflows, lack of contextual learning and poor fit with day-to-day operations.2

McKinsey's 2025 State of AI survey found that 51% of respondents from organizations using AI had seen at least one negative consequence, with nearly one-third reporting consequences related to AI inaccuracy.3

The result is an AI initiative that creates more checking work than usable knowledge.

The solution

Source-grounded answers. Honest refusal when evidence is missing.

Certus AI is designed to answer from your company's verified knowledge base and to make uncertainty visible. When source support is insufficient, it is designed to say "I don't know" rather than present an unsupported answer as fact.

This is not a chatbot with a disclaimer. Certus is configured around your approved sources and a clear answer policy: answer when supported, ask when unclear, refuse when evidence is too weak.

The strongest reliability feature is not more fluent text. It is correct abstention.

Proof

A real test: the value of not guessing.

We tested a large, high-stakes HR document against general AI tools and Certus AI. This is an internal demonstration, not a universal benchmark. It shows the failure mode Certus is built to catch.

4.1 - The setup

We took the KVTES 2022 to 2025 Finnish municipal sector collective agreement, a large and complex document that HR teams rely on daily, and gave the same PDF and the same Finnish prompt to three general AI tools:

"Listaa kaikki vapaat ja lomat sopimuksesta."

We tested:

  • GPT-5.5 Pro Extended (OpenAI)
  • Claude Opus 4.7 Adaptive (Anthropic)
  • NotebookLM (Google's source-grounded document and research assistant)

We also tested Certus under intentionally adverse source-processing conditions: if the material was not sufficiently available for a complete answer, would the system warn the user instead of guessing?

4.2 - What the big models did

All three produced confident but incomplete or partly irrelevant answers.

  • All 3Included entries outside the requested scope.
  • All 3Missed valid entries that are present in the document.
  • ClaudeAdded a version-status note that sounded helpful, but still did not flag uncertainty about whether the list was complete.
  • GPT-5.5Produced a lengthy response with many entries outside vacations or holidays.
  • NotebookLMPerformed best of the three in this test, but still included entries that did not belong on the list and missed some that did.

None of the three treated completeness as uncertain. Each proceeded to answer.

The cards below show the model outputs from the internal test. They are examples, not a general benchmark of the products.

GPT-5.5 Pro Extended
OpenAI Response in Finnish · scroll for full text

Tässä sopimuksesta löytyvät vapaat ja lomat ryhmiteltynä. Lähde on lataamasi KVTES-sopimus.

1. Vuosilomat ja lomaan liittyvät vapaat

  • Vuosiloma. Varsinainen vuosiloma määräytyy täysien lomanmääräytymiskuukausien, palvelussuhteen pituuden ja työkokemuslisään oikeuttavan palvelusajan perusteella.
  • Kesäloma. Vuosilomasta 20 vuosilomapäivää, vähintään 65 % ansaitusta lomasta, sijoitetaan lomakaudelle.
  • Talviloma. Lomakauden ulkopuolelle jäävä osa vuosilomasta annetaan talvilomana. Jos lomaa on vähintään 25 päivää, talvilomana annetaan yleensä 5 päivää.
  • Säästövapaa. 15 vuosilomapäivää ylittävä osa voidaan sopia säästettäväksi.
  • Lomarahavapaa. Lomaraha tai osa siitä voidaan sopia annettavaksi vapaana. Päivien määrä on 50 % ansaituista vuosilomapäivistä.
  • Eräiden osa-aikaisten vapaa. Jos täysiä lomanmääräytymiskuukausia ei kerry, oikeus 2 arkipäivään kultakin palvelussuhdekuukaudelta.
  • Vuosiloman siirto työkyvyttömyyden takia. Sairauden, synnytyksen tai tapaturman vuoksi loma siirretään myöhemmäksi pyynnöstä.

2. Sairauspoissaolot ja työkyvyttömyyteen liittyvät vapaat

  • Sairauspoissaolo. 60 kalenteripäivää täydellä palkalla, sen jälkeen 120 päivää 2/3 palkalla, harkinnanvaraisesti enintään 185 päivää 2/3 palkalla.
  • Työtapaturma, ammattitauti tai työväkivalta. 120 päivää täydellä palkalla, sen jälkeen 120 päivää 2/3 palkalla, harkinnanvaraisesti vielä 125 päivää 2/3 palkalla.
  • Tartuntatautilain mukainen poissaolo tai eristys. Palkka kuten sairauspoissaolossa.
  • Päihdeongelmaisen vapaaehtoinen laitoshoito. Etukäteen sovittuna palkka kuten sairauspoissaolossa.
  • Osasairauspäivärahaan perustuva osa-aikatyö. Ehdot määräytyvät osa-aikatyömääräysten mukaan.

3. Perhevapaat

  • Erityisraskausvapaa. Palkaton.
  • Raskausvapaa. Palkallinen 40 arkipäivää, jos edellytykset täyttyvät.
  • Vanhempainvapaa. 32 ensimmäistä arkipäivää palkallisia.
  • Osittainen vanhempainvapaa. Ehdot kuten osa-aikatyössä.
  • Hoitovapaa. Palkaton.
  • Osittainen hoitovapaa. Ehdot kuten osa-aikatyössä.
  • Tilapäinen hoitovapaa. Enintään 4 työpäivää, palkkaa enintään 3 perättäiseltä kalenteripäivältä.
  • Poissaolo pakottavista perhesyistä. Palkaton.
  • Poissaolo perheenjäsenen tai läheisen hoitamiseksi. Palkaton.
  • Omaishoitovapaa. Palkaton, 1.8.2022 alkaen.
  • Adoptiolapsen hoitoon liittyvä vanhempainvapaa.
  • Äitiysvapaa (vanha järjestelmä). 72 ensimmäistä arkipäivää palkallisia.
  • Isyysvapaa (vanha järjestelmä). Enintään 12 arkipäivää palkallisia.
  • Erityisäitiysvapaa (vanha järjestelmä).

4. Opintovapaa ja koulutukseen liittyvät vapaat

  • Opintovapaa.
  • Opintovapaan keskeytyminen sairauden tai synnytyksen vuoksi.
  • Ammattiyhdistyskoulutus.
  • Luottamusmiehen koulutus.
  • Työn edellyttämä koulutusvapaa.
  • Oppisopimuksen tietopuolinen koulutus.

5. Eräät palkalliset virka- ja työvapaat

  • Reservin kertausharjoitus.
  • Lain nojalla määrätty väestönsuojelukoulutus.
  • Lain nojalla määrätty siviilipalveluksen täydennyspalvelus.
  • 50-vuotispäivä työpäivänä.
  • 60-vuotispäivä työpäivänä.
  • Oma vihkiäispäivä työpäivänä.
  • Parisuhteen rekisteröimispäivä työpäivänä.
  • Aviopuolison, vanhemman, lapsen tai sisaruksen hautajaispäivä työpäivänä.
  • Asevelvollisuuslain mukainen kutsuntapäivä työpäivänä.

6. Harkinnanvaraiset virka- ja työvapaat

  • Muu harkinnanvarainen virka- tai työvapaa.
  • Poissaolo muun pätevän syyn vuoksi ilman erikseen myönnettyä vapaata.
  • Koulutusta varten myönnettävä harkinnanvarainen vapaa.

7. Työaikaan perustuvat vapaat ja lepoajat

  • Arkipyhälyhennykset.
  • Viikkolepo (vähintään 35 tuntia).
  • Kaksi peräkkäistä vapaapäivää.
  • Päivittäinen lepoaika eli ruokailutauko.
  • Jaksotyön joutuisan aterioinnin tauko.
  • Kahvitauko.
  • Lisätyön vapaa-aikakorvaus.
  • Ylityön vapaa-aikakorvaus.
  • Ilta-, yö-, lauantai-, sunnuntai- ja aattotyön vapaa-aikakorvaukset.
  • Varallaolon vapaa-aikakorvaus.
  • Työaikapankkivapaa.
  • Liukuvan työajan saldovapaa.
  • Viikkolevon menetyksen korvaaminen vapaana.

8. Työstä vapautukset tutkimuksia ja tarkastuksia varten

  • Työnantajan määräämät terveystarkastukset.
  • Viran tai työn edellyttämät lakimääräiset tarkastukset.
  • Lääkärin määräämät tutkimukset.
  • Synnytystä edeltävät lääketieteelliset tutkimukset.
  • Äkillinen hammassairaus.

9. Liitteissä olevat erityisryhmät

  • Omassa kodissaan työskentelevät perhepäivähoitajat.
  • Maatalouslomittajat.

10. Ei varsinainen loma tai vapaa, vaikka nimi muistuttaa sitä

Lomautus ei ole työntekijän loma eikä normaali vapaa.

Claude Opus 4.7 Adaptive
Anthropic Response in Finnish · scroll for full text

Sopimus on KVTES 2022 to 2025 (Kunta-alan yleinen virka- ja työehtosopimus). Vapaat ja lomat löytyvät pääosin luvuista IV (Vuosiloma) ja V (Virka- ja työvapaat sekä perhevapaat), sekä allekirjoituspöytäkirjan liitteestä (Perhevapaat).

IV luku - Vuosiloma

Vuosiloma (5 §). Pituus määräytyy lomanmääräytymiskuukausien, palvelusvuosien ja palvelussuhteen pituuden mukaan. Kolme tasoa:

  • Pisin loma 38 vuosilomapäivää (vähintään 15 v työkokemuslisään oikeuttavaa palvelusaikaa).
  • Keskitaso enintään 28 tai 30 päivää.
  • Lyhin enintään 23 päivää.
  • Vähintään 20 päivää, jos lyhyempi loma johtuu työkyvyttömyydestä tai lääkinnällisestä kuntoutuksesta.
  • Säästövapaa (12 §). 15 vuosilomapäivää ylittävä osa voidaan säästää.
  • Lomarahavapaa (19 §). Lomaraha tai osa siitä voidaan vaihtaa vapaaksi, päivien määrä 50 % vuosilomapäivistä.
  • Eräiden osa-aikaisten oikeus vapaaseen (22 §). 2 arkipäivää kalenterikuukaudelta.
  • Lomakorvaus (16 §, 17 §). Pitämättömistä vuosilomapäivistä palvelussuhteen päättyessä.

V luku - Virka- ja työvapaat sekä perhevapaat

Sairauspoissaolo (1 to 2 §).

  • Varsinainen palkka 60 kalenteripäivältä.
  • Sen jälkeen 2/3 palkasta 120 päivältä.
  • Harkinnanvaraisesti 2/3 palkasta enintään 185 päivältä.
  • Karenssiaika 60 kalenteripäivää.

Työtapaturma ja ammattitauti (3 §).

  • Varsinainen palkka 120 päivältä.
  • Sen jälkeen 2/3 palkasta 120 päivältä.
  • Harkinnanvaraisesti 2/3 palkasta enintään 125 päivältä.

Tartuntatautilain mukainen poissaolo ja päihdehoito (2 § 8 mom.). Sama palkkaoikeus kuin sairauspoissaolossa.

Perhevapaat (vanha järjestelmä, synnytys ennen 4.9.2022)

  • Äitiysvapaa, palkallinen 72 ensimmäistä arkipäivää.
  • Isyysvapaa, palkallinen 12 ensimmäistä arkipäivää.
  • Erityisäitiysvapaa, palkaton.
  • Vanhempainvapaa, palkaton.
  • Hoitovapaa, palkaton.
  • Osittainen hoitovapaa, osa-aikainen.

Perhevapaat (uusi järjestelmä, synnytys 4.9.2022 tai myöhemmin)

  • Raskausvapaa, palkallinen 40 arkipäivää.
  • Vanhempainvapaa, palkallinen 32 ensimmäistä arkipäivää.
  • Erityisraskausvapaa, palkaton.
  • Hoitovapaa, palkaton.
  • Osittainen vanhempainvapaa ja osittainen hoitovapaa, osa-aikatyötä.

Muut perhevapaat

  • Tilapäinen hoitovapaa (9 §), enintään 4 työpäivää, palkallinen enintään 3 peräkkäiseltä päivältä.
  • Poissaolo pakottavista perhesyistä, palkaton.
  • Poissaolo perheenjäsenen tai läheisen hoitamiseksi, palkaton.
  • Omaishoitovapaa 1.8.2022 lähtien, palkaton.

Muut virka- ja työvapaat

  • Opintovapaa (10 §).
  • Reservin kertausharjoitukset, väestönsuojelukoulutus, siviilipalveluksen täydennyspalvelus.
  • Palkalliset merkkipäivät (50- ja 60-vuotispäivä, oma vihkiäispäivä, hautajaispäivä, kutsuntapäivä).
  • Harkinnanvarainen virka- tai työvapaa.

Sopimuskausi päättyi 30.4.2025, joten ajankohtaisia oikeuksia kysyttäessä kannattaa varmistaa, onko nykyinen KVTES uudempi.

NotebookLM
Google Response in Finnish · scroll for full text

Vuosiloma ja siihen liittyvät vapaat

  • Vuosiloma. Työntekijöillä ja viranhaltijoilla on oikeus ansaittuun vuosilomaan lomanmääräytymiskuukausien ja palvelusajan pituuden perusteella.
  • Säästövapaa. 15 vuosilomapäivää ylittävä osa voidaan sopia säästettäväksi.
  • Lomarahavapaa. Lomaraha tai osa siitä voidaan vaihtaa vapaaksi.

Perhevapaat

  • Raskausvapaa ja erityisraskausvapaa.
  • Vanhempainvapaa ja osittainen vanhempainvapaa.
  • Hoitovapaa ja osittainen hoitovapaa.
  • Tilapäinen hoitovapaa. Enintään 4 työpäivää alle 12-vuotiaan tai vammaisen lapsen äkillisesti sairastuessa.
  • Omaishoitovapaa.
  • Poissaolo pakottavista perhesyistä.
  • Poissaolo perheenjäsenen tai läheisen hoitamiseksi.

Sairauspoissaolot ja lääkinnälliset vapaat

  • Sairauspoissaolo työkyvyttömyyden vuoksi.
  • Osa-aikainen sairauspoissaolo.
  • Lääkinnällinen kuntoutus.
  • Tartuntataudin leviämisen estämiseksi määrätty poissaolo tai eristys.
  • Päihdeongelmaisen vapaaehtoinen laitoshoito.

Työaikaan ja korvauksiin perustuvat vapaat

  • Vapaa-aikakorvaukset. Lisä-, yli-, ilta-, yö-, vuoro-, lauantai- tai sunnuntaityöstä sekä varallaolosta kertyvät korvaukset rahan sijaan vapaana.
  • Työaikapankkivapaa.
  • Arkipyhälyhennysvapaat.

Muut lakisääteiset tai sopimukseen perustuvat vapaat

  • Opintovapaa.
  • Ammattiyhdistyskoulutusta varten myönnettävä vapaa.
  • Työn edellyttämä koulutusvapaa.
  • Palkalliset merkkipäivät ja omaisten hautajaiset.
  • Maanpuolustukseen ja väestönsuojeluun liittyvät vapaat.
  • Työllistymisvapaa.
  • Harkinnanvarainen virka- tai työvapaa.
Certus AI
Boostwith.ai Response in Finnish · scroll for full text

Tarkistan ensin, onko KVTES-materiaali jo opittu uudelleen pienempiin kategorioihin.

Materiaalin uudelleenopetus ei onnistunut kunnolla, iso 753 000 merkin kategoria "Finnish municipal and wellbeing area agreements" on edelleen yhtenä massiivisena palana, eikä sitä pilkottu pienempiin alakategorioihin kuten oli tarkoitus. Timeout esti prosessin.

Tästä syystä en pysty luotettavasti listaamaan kaikkia KVTES:n vapaita ja lomia opitusta materiaalista, haku palauttaa vain pintapuolisia osumia.

Mitä tiedän varmasti (rakennetasolla)

  • KVTES Luku IV. Vuosiloma (annual leave).
  • KVTES Luku V. Virka- ja työvapaat sekä perhevapaat.

Luku V sisältää tyypillisesti

  • Sairausloma.
  • Äitiys-, isyys- ja vanhempainvapaa.
  • Hoitovapaa.
  • Tilapäinen hoitovapaa (alle 10v lapsen sairaus).
  • Opintovapaa.
  • Vuorotteluvapaa.
  • Poissaolo pakottavista perhesyistä.
  • Kuntoutus.
  • Reservin harjoitukset.

Luku IV sisältää

  • Vuosiloman kertyminen, pituus, ajankohta.
  • Vuosilomapalkka ja lomaraha.
  • Lomakorvaus.

Mutta, en voi taata tämän listan kattavuutta, koska se perustuu KVTES:n yleistuntemukseen, ei onnistuneeseen hakuun opitusta materiaalista.

4.3 - What Certus AI did

Certus refused to guess.

Certus recognized that the document had failed to process correctly. Instead of guessing, it said:

I cannot reliably list all KVTES leaves and holidays from the learned material.

It separated what was structurally visible from what was actually verified, and explicitly warned that completeness could not be guaranteed.

That is the difference between an AI that sounds right and an AI that respects the evidence boundary.

4.4 - The consistency test

Same input. Same model. Same prompt. Three different answers..

We then ran a cross-evaluation. We gave the three model answers to GPT-5.5 Pro Extended and asked it to compare them in a structured table, identifying agreements, disagreements, hallucinations and omissions.

TWe ran this exact same prompt, with the same model, three times. We got three different answers.

Three different conclusions about what's accurate and what's hallucinated. This inconsistency isn't just an academic concern, it's a severe operational risk. When critical decisions depend on AI responses, even minor discrepancies can undermine processes, erode employee trust, and create ongoing uncertainty in business-critical operations. Reliable, repeatable answers are essential for any system tasked with handling sensitive or impactful business decisions.

Run 1
VertailuluokkaMäärä
Kaikilla sama23
Kaikilla melkein sama3
Vain kahdella10
Vain yhdellä27
Prompt-relevanssiMäärä
Ydinvastaus27
Relevantti18
Rajatapaus11
Ei vastaa promptiin7
MalliLöydöksiä / osittaisia
Notebook LM35
Claude Opus32
GPT-5.5 Pro Extended58
Run 2
KategoriaRivimäärä
Kaikki kolme tunnistivat29
Täsmälleen kaksi tunnistivat18
Vain yksi tunnisti21
Ei varsinainen loma tai vapaa, tai epärelevantti14
RelevanssiRivimäärä
Kyllä64
Rajatapaus9
Ei9
Run 3
Status / categoryCountWhat it means
All three29Valid entries identified by all three models
Exactly two: Notebook LM + GPT-5.5 Pro Extended15Valid entries identified by Notebook LM and GPT only
Exactly two: Claude Opus 4.7 + GPT-5.5 Pro Extended3Valid entries identified by Claude and GPT only
Exactly two: Notebook LM + Claude Opus 4.70Valid entries identified by Notebook LM and Claude only
Only one: Notebook LM4Valid entries identified only by Notebook LM
Only one: Claude Opus 4.70Valid entries identified only by Claude
Only one: GPT-5.5 Pro Extended17Valid entries identified only by GPT
Not a holiday/day off15Entries included by a model but not actually holidays or days off
Valid or mostly valid entries68Rows where Validity does not start with "No"
Misclassified / irrelevant entries15Rows where Validity starts with "No"
4.5 - The business impact

Confident wrong answers are a liability, not a productivity feature.

Gartner's finding about abandoned GenAI projects points to a practical reality: failed AI is not only wasted budget. It is also the operational damage that confident wrong answers can do before anyone notices.1

If your HR team relies on AI for policy guidance and mistakenly denies entitled leave, the result could be legal disputes, compliance violations and reputational damage. A confident yet incorrect regulatory interpretation can create the same problem in another function.

Certus AI is built specifically to prevent these scenarios by fundamentally refusing to present guesses as facts.

4.6 - Why RAG isn't enough

Retrieval-Augmented Generation (RAG) alone doesn't solve hallucination problems.

Retrieval-Augmented Generation reduces hallucination risk, but it does not eliminate it.

Google Research's ICLR 2025 work on sufficient context found that models can still produce incorrect answers when context is insufficient; in those insufficient-context cases, reported hallucination rates ranged from 15.4% to 40.4%, depending on the model.5

Stanford and Yale-affiliated researchers also found that leading legal AI research tools hallucinated between 17% and 33% in the tested legal research tasks, depending on the product.6

The point is not that RAG is bad. The point is that enterprise RAG must be evaluated for retrieval quality, answer faithfulness and correct refusal when context is insufficient.

How it works

Test Certus on your actual documents, including questions where the answer may not exist.

01

Reliability scoping

We review your materials, user groups, risk level and the kinds of questions Certus should answer, clarify or refuse.

02

Demo with your documents

We test Certus against real scenarios: supported questions, unsupported questions, vague questions and false-premise questions. The demo is designed to show not only what Certus answers, but what it correctly refuses.

03

Refinement and optimization

Based on the test results, we refine the knowledge structure, answer boundaries and user experience for your business environment.

04

Launch proposal

We deliver a clear proposal covering scope, integrations, expected usage, pricing assumptions and the controls needed for safe deployment.

Integration

Fits into the channels your team already uses.

Certus AI can be deployed through Microsoft Teams, Slack, WhatsApp, Discord, ERP systems and custom workflows, so trusted answers are available close to the work itself.

Microsoft Teams Slack WhatsApp Discord ERP systems Custom workflows
Trust & security

Built for controlled business knowledge use.

Designed to support GDPR-compliant deployments and source-controlled knowledge work.

  • Customer data is not used to train public foundation models.
  • Designed to support GDPR-compliant data handling.
  • Access controls and source boundaries are defined before launch.
  • Answer policy controls when Certus answers, asks or refuses.
Comparison

How Certus compares.

Feature Generic AI chatbots Certus AI
Answer policy Optimized to respond. Designed to answer when supported and say "I don't know" when support is insufficient.
Source grounding Varies by tool and setup. Configured around verified materials and explicit source boundaries.
Correct abstention Inconsistent. Core product behavior.
Hallucination risk control Often prompt-level or user-led. Source gating, refusal behavior and knowledge engineering before launch.
Prompt-injection and unsupported-answer controls Varies by tool and setup. Built into the configured workflow.
Knowledge setup before launch User uploads documents and hopes retrieval works. Materials are reviewed, structured and tested before deployment.
GDPR and data handling Varies. Designed to support GDPR-compliant deployment.
About

Built by people who take accuracy personally.

Boostwith.ai is an Espoo, Finland-based AI company building precision tools for business. Founded in 2023 when Heikki saw Jani's multi-agent system autonomously managing Linux servers and recognized that foundation models had serious, untapped potential for enterprise value creation, far beyond content generation.

From the start, the work was the same conversation repeated. Customers complained about hallucinations and unreliability, but the explanations of what causes them and what fixing them actually looks like did not land. The problem was not the message. It was the medium. Reliability cannot be sold with a slide. It has to be shown.

So we built Certus AI. A knowledge assistant where the difference between confident guessing and grounded answering is visible in 30 minutes, on your own documents, side by side against the leading general models.

Certus shows what source-grounded AI and correct refusal look like in practice.

Technology

Jani Pitkänen

20+ years in tech. Wrote his first logic program at age 11. University-trained in algorithm theory and AI, including logic programming, neural networks, and evolutionary algorithms. 7 years in software engineering, 11 years in server administration, 3 years in leadership roles, and over a decade as an entrepreneur. Since 2012, focused on system administration with emphasis on security, personal data management, and GDPR compliance. Built a multi-agent system that autonomously managed Linux servers before reasoning models existed. That system was the direct precursor to Certus AI.

Business Development & Sales

Heikki Lehmuskoski

25+ years as an entrepreneur, investor, advisor, and board professional across 20+ companies in Finland and the United States. Sector expertise spanning security, education, transport, health, SaaS, restaurant, and metal construction industries. AI-advisor since 2023, focused on extracting practical value from generative AI and helping businesses avoid AI theater.

Book a demo

Bring the questions your current AI should not answer.

A global University of Melbourne and KPMG study found that 66% of employees who use AI at work had relied on AI-generated output without evaluating its accuracy. Certus AI is designed to reduce this risk by separating source-grounded answers from uncertainty and refusing to present unverified answers as facts.4

Book a 30-minute demo with your own documents. Bring supported questions, unsupported questions, vague questions and false-premise questions. The point is to see not only whether Certus answers, but whether it refuses correctly.

Sources

Evidence behind the claims.

Selected sources used for the market, risk and RAG reliability claims on this page.

  1. Gartner, Why 50% of GenAI Projects Fail. Used for the abandoned-after-proof-of-concept claim and listed failure drivers.
  2. MIT NANDA, The GenAI Divide: State of AI in Business 2025. Used for the gap between enterprise GenAI pilots and measurable business return.
  3. McKinsey, The State of AI: Global Survey 2025. Used for negative-consequence and AI inaccuracy findings.
  4. University of Melbourne and KPMG, Trust, attitudes and use of artificial intelligence: A global study 2025. Used for employee reliance on AI output without evaluating accuracy.
  5. Joren et al., Sufficient Context: A New Lens on Retrieval Augmented Generation Systems, ICLR 2025. Used for insufficient-context RAG hallucination rates.