@duckduckgo/autoconsent 16.30.0 → 16.32.0

package/tests/cookiebot.spec.ts

@@ -10,6 +10,10 @@ generateCMPTests(
         // "https://www.ab-in-den-urlaub.de/", // often blocked by botwall
         'https://www.vatera.hu/',
         'https://www.bax-shop.nl/',
+        // Dialogs whose only decline control is CybotCookiebotDialogBodyButtonDecline
+        'https://www.drukwerkdeal.nl/',
+        'https://www.freelance.de/',
+        'https://www.printdeal.be/',
     ],
     {
         skipRegions: ['US'],

package/tests/doordash-storefront.spec.ts

@@ -0,0 +1,6 @@
+import generateCMPTests from '../playwright/runner';
+
+// DoorDash only serves the banner in some markets; Canada is the one covered by the test regions.
+generateCMPTests('doordash-storefront', ['https://order.online/store/25309440', 'https://earlsca.order.online/store/-98335/'], {
+    onlyRegions: ['CA'],
+});

package/tests/walmart-ca.spec.ts

@@ -0,0 +1,3 @@
+import generateCMPTests from '../playwright/runner';
+
+generateCMPTests('walmart-ca', ['https://www.walmart.ca/en', 'https://www.walmart.ca/fr'], { testOptIn: false });

package/tests/xnxx.spec.ts

@@ -1,5 +1,11 @@
 import generateCMPTests from '../playwright/runner';
 
-generateCMPTests('xnxx-com', ['https://xnxx.com/', 'https://xvideos.com/'], {
-    onlyRegions: ['US'],
+// the disclaimer is only shown without a preceding age gate in the UK
+generateCMPTests('xnxx-com', ['https://www.xnxx.com/'], {
+    onlyRegions: ['GB'],
+});
+
+// the same rule also covers a bottom cookie bar used by an unrelated group of sites
+generateCMPTests('xnxx-com', ['https://newtabtvsearch.com/', 'https://socialnewpagessearch.com/'], {
+    onlyRegions: ['GB', 'DE'],
 });

package/tests/xvideos.spec.ts

@@ -1,5 +1,5 @@
 import generateCMPTests from '../playwright/runner';
 
-generateCMPTests('xvideos', [
-    // 'https://www.xvideos.com/' // pop-up appears only after choosing the region
-]);
+generateCMPTests('xvideos', ['https://www.xvideos.com/'], {
+    onlyRegions: ['GB'],
+});

package/tests-wtr/heuristics/get-actionable-popups.html

@@ -98,6 +98,21 @@
             <button>Accept All</button>
         </div>
 
+        <div id="popup-accept-with-empty-fixed-child" class="popup">
+            <p>We use cookies to improve your experience.</p>
+            <button>Accept All</button>
+            <div style="position: fixed"></div>
+        </div>
+
+        <div id="popup-with-contentful-fixed-child" class="popup">
+            <p>We use cookies to improve your experience.</p>
+            <button>Reject All</button>
+            <div id="contentful-fixed-child" style="position: fixed">
+                <p>We use cookies to improve your experience.</p>
+                <button>Accept All</button>
+            </div>
+        </div>
+
         <div id="popup-acknowledge-only" class="popup">
             <p>We use cookies to improve your experience.</p>
             <button>OK</button>

package/tests-wtr/heuristics/get-actionable-popups.ts

@@ -71,6 +71,26 @@ describe('getActionablePopups', () => {
             expect(popups[0].buttons.filter((b) => b.regexClassification === 'accept')).to.have.length(1);
         });
 
+        it('keeps a contentful popup containing an empty fixed child', () => {
+            showPopup('popup-accept-with-empty-fixed-child');
+
+            const popups = getActionablePopups('tier2');
+
+            expect(popups).to.have.length(1);
+            expect(popups[0].element.id).to.equal('popup-accept-with-empty-fixed-child');
+            expect(popups[0].regexClassification).to.equal('tier2');
+        });
+
+        it('prefers a contentful fixed child over its contentful container', () => {
+            showPopup('popup-with-contentful-fixed-child');
+
+            const popups = getActionablePopups('tier2');
+
+            expect(popups).to.have.length(1);
+            expect(popups[0].element.id).to.equal('contentful-fixed-child');
+            expect(popups[0].regexClassification).to.equal('tier2');
+        });
+
         it('finds acknowledge-only popup with no reject buttons', () => {
             showPopup('popup-acknowledge-only');
 

package/tests-wtr/heuristics/heuristic-cmp.html

@@ -34,6 +34,23 @@
             <button>Reject All</button>
         </div>
 
+        <div id="popup-reject-russian-cookie-word" class="popup">
+            <p>Мы используем куки, чтобы сайт работал лучше.</p>
+            <button>Принять всё</button>
+            <button>Отклонить всё</button>
+        </div>
+
+        <div id="popup-acknowledge-only-russian" class="popup">
+            <p>Мы используем куки для улучшения работы сайта.</p>
+            <button>Понятно</button>
+        </div>
+
+        <div id="popup-accept-settings-russian" class="popup">
+            <p>Мы используем файлы cookie для улучшения работы сайта.</p>
+            <button>Принять всё</button>
+            <button>Настроить</button>
+        </div>
+
         <div id="popup-acknowledge-only" class="popup">
             <p>We use cookies to improve your experience.</p>
             <button>OK</button>

package/tests-wtr/heuristics/heuristic-cmp.ts

@@ -40,6 +40,40 @@ describe('AutoConsentHeuristicCMP', () => {
             expect(cmp.name).to.equal('HEURISTIC-REJECT');
         });
 
+        it('detects a Russian popup using the Cyrillic word for cookies', async () => {
+            const autoconsent = createAutoconsent('tier2');
+            const cmp = new AutoConsentHeuristicCMP(autoconsent, 'tier2');
+            showPopup('popup-reject-russian-cookie-word');
+
+            const detected = await cmp.detectCmp();
+
+            expect(detected).to.be.true;
+            expect(cmp.name).to.equal('HEURISTIC-REJECT');
+            expect(cmp.getTargetButton()?.text).to.equal('Отклонить всё');
+        });
+
+        it('detects a Russian acknowledge-only popup as HEURISTIC-TIER1', async () => {
+            const autoconsent = createAutoconsent('tier2');
+            const cmp = new AutoConsentHeuristicCMP(autoconsent, 'tier2');
+            showPopup('popup-acknowledge-only-russian');
+
+            const detected = await cmp.detectCmp();
+
+            expect(detected).to.be.true;
+            expect(cmp.name).to.equal('HEURISTIC-TIER1');
+            expect(cmp.getTargetButton()?.text).to.equal('Понятно');
+        });
+
+        it('does not detect a Russian popup with accept and settings buttons', async () => {
+            const autoconsent = createAutoconsent('tier2');
+            const cmp = new AutoConsentHeuristicCMP(autoconsent, 'tier2');
+            showPopup('popup-accept-settings-russian');
+
+            const detected = await cmp.detectCmp();
+
+            expect(detected).to.be.false;
+        });
+
         it('detects acknowledge-only popup as HEURISTIC-TIER1', async () => {
             const autoconsent = createAutoconsent('tier2');
             const cmp = new AutoConsentHeuristicCMP(autoconsent, 'tier2');

package/tests-wtr/heuristics/heuristics-utils.test.ts

@@ -4,6 +4,7 @@ import {
     cleanButtonText,
     classifyButtonTextRegex,
     classifyButtons,
+    getActionablePopups,
     isDisabled,
     excludeContainers,
     getButtonData,
@@ -60,6 +61,40 @@ describe('checkHeuristicPatterns', () => {
         expect(snippets.length).to.be.greaterThan(0);
         expect(snippets.every((s) => typeof s === 'string')).to.be.true;
     });
+
+    it('detects website cookie experience notices', () => {
+        const { patterns, snippets } = checkHeuristicPatterns(
+            'The Algonquin College website uses cookies to enhance your browsing experience.',
+        );
+
+        expect(patterns.length).to.be.greaterThan(0);
+        expect(snippets).to.include('website uses cookies to enhance your browsing experience');
+    });
+});
+
+describe('checkHeuristicPatterns with Russian popups', () => {
+    it('detects Russian cookie notices', () => {
+        const texts = [
+            'Мы используем файлы cookie для улучшения работы сайта. Правила сайта используют технологии cookie.',
+            'Этот сайт использует cookie, чтобы вам было удобнее',
+            'Продолжая работу с сайтом, вы соглашаетесь с использованием файлов cookie',
+            'Мы используем куки, чтобы сайт работал лучше',
+            'Этот сайт использует куки-файлы',
+            'Сайт использует технологии куки. Продолжая, вы принимаете обработку файлов куки',
+            'Мы применяем файлы cookie, чтобы предложить вам лучший сервис',
+            'Сайт собирает cookie для аналитики',
+            'Сохраняем куки на вашем устройстве',
+            'На сайте установлены cookie-файлы',
+            'Оставаясь на сайте, вы соглашаетесь с политикой в отношении файлов cookie',
+        ];
+        for (const text of texts) {
+            expect(checkHeuristicPatterns(text).patterns.length, text).to.be.greaterThan(0);
+        }
+    });
+
+    it('does not detect unrelated Russian text', () => {
+        expect(checkHeuristicPatterns('Дешевые авиабилеты онлайн и бронирование отелей').patterns).to.have.length(0);
+    });
 });
 
 describe('isExcludedPopup', () => {
@@ -155,10 +190,82 @@ describe('classifyButtonTextRegex', () => {
         expect(classifyButtonTextRegex('no')).to.equal('reject');
     });
 
+    it('classifies essential-only buttons as reject choices', () => {
+        expect(classifyButtonTextRegex('Essential Only')).to.equal('reject');
+        expect(classifyButtonTextRegex('Only use essential cookies')).to.equal('reject');
+        expect(classifyButtonTextRegex('Only accept necessary cookies')).to.equal('reject');
+    });
+
+    it('does not classify bare essential category labels as reject choices', () => {
+        expect(classifyButtonTextRegex('Essential')).to.equal('other');
+    });
+
     it('does not match partial exact string patterns', () => {
         expect(classifyButtonTextRegex('no problem')).to.equal('other');
     });
 
+    it('matches Russian reject buttons', () => {
+        expect(classifyButtonTextRegex('Отклонить всё')).to.equal('reject');
+        expect(classifyButtonTextRegex('Отклонить все файлы cookie')).to.equal('reject');
+        expect(classifyButtonTextRegex('Отказаться')).to.equal('reject');
+        expect(classifyButtonTextRegex('Только необходимые')).to.equal('reject');
+        expect(classifyButtonTextRegex('Принимать только необходимые файлы cookie')).to.equal('reject');
+        expect(classifyButtonTextRegex('Только необходимые куки')).to.equal('reject');
+        expect(classifyButtonTextRegex('Отклонить куки')).to.equal('reject');
+        expect(classifyButtonTextRegex('Не принимаю')).to.equal('reject');
+    });
+
+    it('matches Russian settings buttons', () => {
+        expect(classifyButtonTextRegex('Настроить')).to.equal('settings');
+        expect(classifyButtonTextRegex('Настройки')).to.equal('settings');
+        expect(classifyButtonTextRegex('Настроить файлы cookie')).to.equal('settings');
+        expect(classifyButtonTextRegex('Настройки куки')).to.equal('settings');
+        expect(classifyButtonTextRegex('Параметры конфиденциальности')).to.equal('settings');
+        expect(classifyButtonTextRegex('Мои предпочтения')).to.equal('settings');
+        expect(classifyButtonTextRegex('Управление файлами cookie')).to.equal('settings');
+        expect(classifyButtonTextRegex('Изменить настройки')).to.equal('settings');
+        expect(classifyButtonTextRegex('Подробные настройки')).to.equal('settings');
+    });
+
+    it('does not treat Russian policy links as settings buttons', () => {
+        expect(classifyButtonTextRegex('Подробнее')).to.equal('other');
+        expect(classifyButtonTextRegex('Подробнее о cookie')).to.equal('other');
+        expect(classifyButtonTextRegex('Подробнее о файлах cookie')).to.equal('other');
+        expect(classifyButtonTextRegex('Политика конфиденциальности')).to.equal('other');
+    });
+
+    it('matches Russian acknowledge buttons', () => {
+        expect(classifyButtonTextRegex('Понятно')).to.equal('acknowledge');
+        expect(classifyButtonTextRegex('Всё понятно')).to.equal('acknowledge');
+        expect(classifyButtonTextRegex('Хорошо')).to.equal('acknowledge');
+        expect(classifyButtonTextRegex('Закрыть')).to.equal('acknowledge');
+        expect(classifyButtonTextRegex('Закрыть уведомление о cookie')).to.equal('acknowledge');
+        expect(classifyButtonTextRegex('Больше не показывать')).to.equal('acknowledge');
+        expect(classifyButtonTextRegex('Продолжить')).to.equal('acknowledge');
+    });
+
+    it('treats Russian confirm and save buttons as acknowledge rather than accept', () => {
+        expect(classifyButtonTextRegex('Подтвердить')).to.equal('acknowledge');
+        expect(classifyButtonTextRegex('Подтверждаю')).to.equal('acknowledge');
+        expect(classifyButtonTextRegex('Подтверждаю выбор')).to.equal('acknowledge');
+        expect(classifyButtonTextRegex('Подтвердить мой выбор')).to.equal('acknowledge');
+        expect(classifyButtonTextRegex('Сохранить настройки')).to.equal('acknowledge');
+        expect(classifyButtonTextRegex('Сохранить выбор')).to.equal('acknowledge');
+        expect(classifyButtonTextRegex('Сохранить и закрыть')).to.equal('acknowledge');
+    });
+
+    it('does not treat Russian subscription buttons as reject', () => {
+        expect(classifyButtonTextRegex('Отказаться от подписки')).to.equal('other');
+    });
+
+    it('matches Russian accept buttons', () => {
+        expect(classifyButtonTextRegex('Принять всё')).to.equal('accept');
+        expect(classifyButtonTextRegex('Принять все файлы cookie')).to.equal('accept');
+        expect(classifyButtonTextRegex('Разрешить куки')).to.equal('accept');
+        expect(classifyButtonTextRegex('Принять куки-файлы')).to.equal('accept');
+        expect(classifyButtonTextRegex('Я согласен')).to.equal('accept');
+    });
+
     it('does not treat revoke links as reject buttons', () => {
         expect(classifyButtonTextRegex('Widerrufen')).to.equal('other');
     });
@@ -368,6 +475,34 @@ describe('excludeContainers', () => {
     });
 });
 
+describe('getActionablePopups', () => {
+    let container: HTMLDivElement;
+
+    beforeEach(() => {
+        container = document.createElement('div');
+        document.body.appendChild(container);
+    });
+
+    afterEach(() => {
+        container.remove();
+    });
+
+    it('keeps text-bearing popups that contain decorative sticky children', () => {
+        container.innerHTML = `
+            <div style="position: fixed; display: block;">
+                <p>This website uses cookies to enhance your browsing experience.</p>
+                <div style="position: sticky;"></div>
+                <button>Essential Only</button>
+            </div>
+        `;
+
+        const popups = getActionablePopups('tier2');
+
+        expect(popups).to.have.length(1);
+        expect(popups[0].regexClassification).to.equal('reject');
+    });
+});
+
 describe('getButtonData', () => {
     let container: HTMLDivElement;
 

package/tests-wtr/rules/cmp-test-urls.json

@@ -276,7 +276,6 @@
     ["auto_CA_407etr.com_wrd", "https://www.407etr.com/"],
     ["auto_CA_admission.umontreal.ca_vi5_+3", "https://umontreal.ca/"],
     ["auto_CA_airbnb.ca_d52_+1", "https://airbnb.co.uk/"],
-    ["auto_CA_algonquincollege.com_o8v", "http://www.algonquincollege.com/"],
     ["auto_CA_arte.tv_7nv", "https://www.arte.tv/"],
     ["auto_CA_babel.hathitrust.org_i6g", "http://www.babel.hathitrust.org/"],
     ["auto_CA_bahia-principe.com_nll", "http://bahia-principe.com/"],

package/rules/generated/auto_CA_algonquincollege.com_o8v.json

@@ -1,40 +0,0 @@
-{
-    "name": "auto_CA_algonquincollege.com_o8v",
-    "cosmetic": false,
-    "_metadata": {
-        "vendorUrl": "http://www.algonquincollege.com/"
-    },
-    "runContext": {
-        "main": true,
-        "frame": false,
-        "urlPattern": "^https?://(www\\.)?algonquincollege\\.com/"
-    },
-    "prehideSelectors": [],
-    "detectCmp": [
-        {
-            "exists": "body > div#accn-cookie-consent-wrapper > div#accn-cookie-consent > div:nth-child(2)#accn-statement-scroller > div:nth-child(2):not([id]) > div:nth-child(3):not([id]) > button:not([id])"
-        }
-    ],
-    "detectPopup": [
-        {
-            "visible": "body > div#accn-cookie-consent-wrapper > div#accn-cookie-consent > div:nth-child(2)#accn-statement-scroller > div:nth-child(2):not([id]) > div:nth-child(3):not([id]) > button:not([id])"
-        }
-    ],
-    "optIn": [],
-    "optOut": [
-        {
-            "wait": 500
-        },
-        {
-            "waitForThenClick": "body > div#accn-cookie-consent-wrapper > div#accn-cookie-consent > div:nth-child(2)#accn-statement-scroller > div:nth-child(2):not([id]) > div:nth-child(3):not([id]) > button:not([id])",
-            "comment": "Essential Only"
-        }
-    ],
-    "test": [
-        {
-            "waitForVisible": "body > div#accn-cookie-consent-wrapper > div#accn-cookie-consent > div:nth-child(2)#accn-statement-scroller > div:nth-child(2):not([id]) > div:nth-child(3):not([id]) > button:not([id])",
-            "timeout": 1000,
-            "check": "none"
-        }
-    ]
-}

package/tests/generated/auto_CA_algonquincollege.com_o8v.spec.ts

@@ -1,6 +0,0 @@
-import generateCMPTests from '../../playwright/runner';
-generateCMPTests('auto_CA_algonquincollege.com_o8v', ['https://www.algonquincollege.com/'], {
-    testOptIn: false,
-    testSelfTest: true,
-    onlyRegions: ['CA'],
-});