פלוני מוצא את מה שהכלים המובילים מפספסים
אחרים שומרים על הטקסט שלכם כשהם מוחקים אותו. פלוני שומר עליו כי הוא מבין אותו.
בדקנו 16 כלים בהתממה ובהסרת פרטים מזהים: 4 מסחריים ו-12 קוד פתוח. פלוני מוצא עד פי 6 יותר מהתיאורים שמסגירים אדם, עם שיעור התרעות שווא נמוך עד פי 3. במבחנים שלנו אף כלי לא ניצח אותו בפרטיות, והוא עושה בערך חצי מהנזק של הכלים המובילים בפרטיות.
טבלת התוצאות
בירוק פלוני, באדום מה שגרוע בבירור מפלוני. בעמודות "נמצאו" גבוה יותר עדיף, ובשאר נמוך יותר עדיף. כל טווח משקף את שני מבחני העברית שלנו. פלוני מופיע במחמיר, המצב המחמיר ביותר שלנו.
למה בלי שמות?
רוב הספקים המובילים מגבילים פרסום של השוואות מול הכלים שלהם, ולכן אנחנו לא נוקבים בשמות. אל תסמכו על המילה שלנו: בדקו בחינם על הטקסט שלכם, מול כל כלי שתרצו. מצאתם כלי שעובד טוב יותר? נאמן את פלוני בחינם עד שינצח, ונעניק לכם 2,000 דולר קרדיט במתנה. התנאים המלאים
הכלים שמגינים הכי הרבה מגיעים לשם כשהם מסתירים יותר. פלוני מבין אילו מילים מצביעות על אדם, ולכן הוא מוצא יותר, מסתיר פחות סתם, ומשאיר את מה שבקשות בדרך כלל צריכות. מציאת יותר תיאורים היא מה שמבדיל את פלוני מכלי הענן הגדולים, שמשאירים 9 עד 32 מכל 100 אנשים שאפשר לזהות. מדד אחרי מדד:
- טוב יותרתיאורים שמסגירים אדם: פלוני מוצא 89 מכל 100, עד פי 6 יותר. כלים מסחריים: 15 עד 58.
- טוב יותרהתרעות שווא, מילים שהוסתרו סתם: 12 עד 15 מכל 100 דברים שפלוני מסמן להסתרה, עד פי 3 פחות. כלים מסחריים: 21 עד 39.
- טוב יותר מהכלים המובילים בפרטיותטקסטים שכבר אי אפשר לעבוד איתם: במחמיר, במבחן הכללי שלנו, 3 מכל 100, מול 7 עד 13 בכלים המובילים בפרטיות.
- טוב יותרטקסטים שהתשובה עליהם נפגעה באופן מורגש: במחמיר, בערך חצי מהכלים המובילים בפרטיות.
- טוב יותר מכלי הענן הגדולים, ברמה של הכלים המובילים בפרטיותאנשים ש-AI חזק עדיין הצליח לזהות בטקסט המנוקה: הרבה לפני כלי הענן הגדולים (אחד 9 עד 23, השני 32 מכל 100). ברמה של הכלים המובילים בפרטיות בשני המבחנים (כללי: 2 מתוך 205, מול 2 מתוך 205 ו-3 מתוך 210; סוגים נדירים: 0* מתוך 178, מול 0 מתוך 181 ו-0 מתוך 190).
- טוב יותר מכלי הענן הגדולים, ברמה של הכלים המובילים בפרטיותשמות ומספרים שפוספסו: 0.1 עד 0.3 מכל 100. הרבה לפני כלי הענן הגדולים (אחד 7 עד 13, השני 32 עד 40). ברמה של הכלי הקרוב ביותר.
פלוני במחמיר, המצב המחמיר ביותר שלנו. הספקים המובילים הם הכלים המסחריים שבדקנו; רוב הספקים המובילים מגבילים פרסום של השוואות, ולכן הם מופיעים במספר. בטקסט למעלה, הכלים המובילים בפרטיות הם השניים שמשאירים הכי מעט אנשים שאפשר לזהות, וכלי הענן הגדולים הם שני שירותי הענן המסחריים הגדולים.
| כלים | אנשים ש-AI חזק עדיין הצליח לזהות (תוצאות מדידה) | טקסטים שהניקוי הרס או פגע בהם | שמות ומספרים שנמצאו | תיאורים שמסגירים אדם: נמצאו | התרעות שווא: מתוך מה שסומן להסתרה |
|---|---|---|---|---|---|
| פלוני | כללי: 2 מתוך 205 סוגים נדירים: 0* מתוך 178 בקשות ל-AI: 0* מתוך 180 | 20–24% | 99.7–99.9% | 89% | 12–15% |
| ספק מוביל 1 | 9–23% | 19–36% | 87–93% | 27–28% | 22–31% |
| ספק מוביל 2 | כללי: 2 מתוך 205 סוגים נדירים: 0 מתוך 181 | 40–55% | 98–99.9% | 54–58% | 21–27% |
| ספק מוביל 3 | 32%† | 28%† | 60–68% | 15–16% | 38–39% |
| ספק מוביל 4 | כללי: 3 מתוך 210 סוגים נדירים: 0 מתוך 190 | 39–49% | 99.8–99.9% | 45–52% | 31–36% |
| HebSafeHarbor (קוד פתוח) | 8%‡ | 28%‡ | 93% | 24–31% | 13–16% |
אנשים ש-AI חזק עדיין הצליח לזהות (תוצאות מדידה)
- פלוניכללי: 2 מתוך 205
סוגים נדירים: 0* מתוך 178
בקשות ל-AI: 0* מתוך 180 - ספק מוביל 19–23%
- ספק מוביל 2כללי: 2 מתוך 205
סוגים נדירים: 0 מתוך 181 - ספק מוביל 332%†
- ספק מוביל 4כללי: 3 מתוך 210
סוגים נדירים: 0 מתוך 190 - HebSafeHarbor (קוד פתוח)8%‡
טקסטים שהניקוי הרס או פגע בהם
- פלוני20–24%
- ספק מוביל 119–36%
- ספק מוביל 240–55%
- ספק מוביל 328%†
- ספק מוביל 439–49%
- HebSafeHarbor (קוד פתוח)28%‡
שמות ומספרים שנמצאו
- פלוני99.7–99.9%
- ספק מוביל 187–93%
- ספק מוביל 298–99.9%
- ספק מוביל 360–68%
- ספק מוביל 499.8–99.9%
- HebSafeHarbor (קוד פתוח)93%
תיאורים שמסגירים אדם: נמצאו
- פלוני89%
- ספק מוביל 127–28%
- ספק מוביל 254–58%
- ספק מוביל 315–16%
- ספק מוביל 445–52%
- HebSafeHarbor (קוד פתוח)24–31%
התרעות שווא: מתוך מה שסומן להסתרה
- פלוני12–15%
- ספק מוביל 122–31%
- ספק מוביל 221–27%
- ספק מוביל 338–39%
- ספק מוביל 431–36%
- HebSafeHarbor (קוד פתוח)13–16%
כל כלי יכול להגיע לאפס אם יסתיר הכול. השאלה האמיתית היא כמה פרטיות מקבלים ובאיזה מחיר לטקסט. הכלים המובילים בפרטיות מגיעים לשם כשהם מסתירים יותר: עם 7 עד 13 מכל 100 טקסטים כבר אי אפשר לעבוד, ובערך פי 2 טקסטים נפגעים לעומת פלוני.
*0 נמדד בבדיקה שלנו, על אותם טקסטים לכל הכלים. אי אפשר להבטיח 0 בכל בדיקה. פלוני מחמיר: המדידה האחרונה, שני מבחנים של 100 מסמכים כל אחד. הכלים האחרים: נמדדו ב-25 באוקטובר ולא נמדדו מחדש; במבחן הכללי, ספירת האנשים בכלים המובילים בפרטיות מכסה 99 מתוך 100 המסמכים; טקסטים שאי אפשר לעבוד איתם, בשורות למעלה, הם מהמבחן הכללי. †במבחן הכללי בלבד. ‡נמדד על מדגם בדיקה אחד של 100 מסמכים. מבחן הזיהוי: AI חזק קורא כל טקסט מנוקה ומנסה לזהות מי האנשים. תיאורים שנמצאו הם מה שפלוני מזהה; כברירת מחדל הוא מסתיר מקומות, מקומות עבודה, תפקידים וגילים ומשאיר בריאות, כספים, אירועים, הרגלים ומשפחה, בין השאר, ואתם בוחרים לפי סוג. התרעות שווא נספרות לפי סוגי הפרטים שהמדד שלנו סופר. חלק מהכלים מסמנים גם תאריכים, מספרים וסכומים שהמדד לא סופר, וזה מעלה את הנתון שלהם. כלי הענן הגדולים הורסים פחות טקסטים מפלוני מחמיר, ומשאירים הרבה יותר אנשים שאפשר לזהות.
מאוזן: למי שבוחר להסתיר פחות
פלוני מתחיל במחמיר, וזו ההגדרה שהושוותה לכלים האחרים למעלה. המאוזן מסתיר קצת פחות, ולכן פחות טקסטים נפגעים וקצת יותר אנשים ניתנים לזיהוי. AI חזק זיהה 3 מתוך 209 אנשים במבחן הכללי ו-0 מתוך 172 בסוגים נדירים. עם 1 מכל 100 טקסטים כבר אי אפשר היה לעבוד במבחן הכללי, ו-83 עד 84 מכל 100 לא איבדו כלום או כמעט כלום. נמדד ב-25 באוקטובר.
התוצאות הן להתנהגות ברירת המחדל של הכלים: כל כלי מסתיר את כל מה שהוא מזהה.
כלי קוד פתוח נוספים שבדקנו: אף אחד לא התקרב
| כלים | שמות ומספרים שנמצאו | תיאורים שמסגירים אדם: נמצאו |
|---|---|---|
| פלוני | 99.7–99.9% | 89% |
| Stanford Stanza | 55–67% | 21–27% |
| NVIDIA GLiNER-PII | 64–67% | 14–16% |
| DICTA BERT-large NER | 64% | 28% |
| DICTA BERT NER | 49–65% | 26–32% |
| GLiNER multilingual PII | 49–54% | 19–20% |
| OpenAI Privacy Filter | 35–53% | 8–12% |
| OpenMed multilingual | 41% | 9% |
| מודל קוד פתוח נוסף | 33% | 11% |
| ai4privacy | 29% | 6% |
| Microsoft Presidio | 22% | 0% |
| Knowledgator GLiNER-PII | 4% | 1% |
ל-Microsoft Presidio אין מודל לעברית, ולכן הוא רץ עם מזהי התבניות שלו בלבד. גם חלק מהאחרים לא נבנו לעברית; כולם רצו על אותם טקסטים בעברית.
מה המספרים אומרים
כמה אנשים מזוהים, ובאיזה מחיר
במבחן הכללי AI חזק זיהה 2 מתוך 205 אנשים בפלוני מחמיר, מול 2 מתוך 205 ו-3 מתוך 210 בכלים המובילים בפרטיות. בסוגים נדירים, 0* מתוך 178, מול 0 מתוך 181 ו-0 מתוך 190. אבל במבחן הכללי, בכלים האלה, עם 7 עד 13 מכל 100 טקסטים כבר אי אפשר היה לעבוד. בפלוני, 3. בבקשות ל-AI בלבד: 0* מתוך 180 אנשים זוהו, 4 מתוך 92 בקשות לא ניתן לבצע.
מוצא את מה שמסגיר אדם
מקצוע נדיר, מקום, גיל: כל אלה מזהים אנשים לא פחות משם. פלוני מוצא 89 מכל 100. הכלים המובילים בפרטיות מוצאים 45 עד 58, כלי הענן הגדולים 15 עד 28, כלי קוד פתוח 0 עד 32.
מסתיר פחות סתם
מתוך כל 100 דברים שפלוני מסמן להסתרה, 12 עד 15 הם התרעות שווא. הכלים המובילים בפרטיות: 21 עד 36. כלי הענן הגדולים: 22 עד 39. בשמות פלוני צודק 99 עד 100 פעמים מכל 100. אחד הכלים המובילים בפרטיות: 70 עד 74, והוא גם חותך אותיות שימוש ממילים.
פחות נזק לא שווה אם הפרטיות נופלת
כלי הענן הגדולים הורסים רק 1 מכל 100 טקסטים, במבחן הכללי. אבל AI חזק מזהה איתם 9 עד 32 מכל 100 אנשים.
מה קורה לטקסט אחרי הניקוי
פגיעה קלה
התשובה קצת פחות ספציפית, והעבודה נעשית. במחמיר, 76 עד 80 מכל 100 טקסטים נמצאים כאן או לא מאבדים כלום. במאוזן, 83 עד 84.
נפגע
העבודה נעשית, עם תשובה חלשה יותר באופן מורגש או שגויה בחלקה. במחמיר, בערך חצי מהכלים המובילים בפרטיות.
נהרס
כבר אי אפשר לעבוד עם הטקסט. זה המספר להשוות: במחמיר, 3 מכל 100, מול 7 עד 13 בכלים המובילים בפרטיות, במבחן הכללי שלנו.
הריצו את זה על הטקסטים שלכם
כל הכלים רצו על אותו מאגר פנימי של טקסטים בעברית, ממגוון סוגות יומיומיות, ונוקדו באותו אופן. בודק AI נפרד קרא כל טקסט מנוקה כדי לשפוט פגיעה וזיהוי. המדד עצמו לא מתפרסם. הטקסטים שלכם הם מבחן טוב יותר, והערבות שלנו עומדת מאחורי התוצאה.