Sauce Labs: Найстабільніші (нестабільні) веб-браузери

1. Частота помилок різних браузерів
2. Частота помилок різних версій браузерів
3. IE постійно поліпшується

Компанія Sauce Labs, яка розробляє сервіси по тестуванню програмного забезпечення, опублікувала звіт за результатами оцінки стабільності роботи популярних веб-браузерів при використанні пакета Selenium

Лабораторія Sauce Labs проводить велику кількість тестів за допомогою пакета інструментів для перевірки веб-додатків - Selenium. Під час тестування виникає велика кількість помилок. Іноді невдачі викликані не поганим кодом, а критичним завершенням роботи браузера. На щастя, система, що здійснює тестування, підтримує автоматичну перезавантаження браузера. Все це відбувається навіть без участі фахівця, процес повністю автоматизований.

У лабораторії ще пам'ятають часи, коли браузер аварійно закривався під час проведення ручного тесту. Збір даної статистики допоможе проаналізувати надійність браузера при взаємодії з Selenium. Піднявши дані за 2011 рік, експерти Sauce Labs з'ясували, які браузери мали найбільше помилок і критичних станів.

Аналогічна, але актуальна на 2013 рік інформація була представлена ​​для порівняння і висновки, який же браузер має найбільшу кількість помилок в роботі.

Частота помилок різних браузерів

Фахівці лабораторії підрахували загальну кількість проведених тестів - 55 мільйонів і обробили інформацію про помилки за весь час. Результати не дивні.

Дійсно, Internet Explorer виявився нестабільним серед всіх браузерів з 0,25 відсотками помилок. Але це інформація неповна, тому що немає поділу за версією браузера, тому що всі версії окремого продукту згруповані разом. Було вирішено обробити статистику по конкретним версіями браузерів.

Частота помилок різних версій браузерів

Нижче подано діаграму з рівнем помилок в залежності від версії браузера. Кожна версія проходила не менше 1000 тестувань в Sauce Labs.

Ми бачимо, що IE 6 і IE 7 «лідирують» з рівнем помилок 0,31 і 0,29 відсотків відповідно. Нижче розташувалися Chrome 5 і Firefox 3.5. Всього одна пізніша версія Chrome присутній в діаграмі - Chrome 19. Більшість версії Chrome мають недостатній рівень помилок, щоб потрапити в діаграму. Схожа ситуація і у випадку з Firefox .

Всі браузери постійно розвиваються і поліпшуються, тому давайте поглянемо на результати останніх версій браузерів, які пройшли не менше 1000 Selenium-тестувань.

Як можна бачити Safari 6 має найвищу частоту помилок - 0,12 відсотків, що більш ніж в два рази менше показника IE 6. Chrome 27 і Firefox 22 практично не мають помилок роботи, в середині діаграми Opera і IE.

Opera має досить високий показник помилок, що дивно в порівнянні з останніми версіями браузерів. Safari 5 мав рівень помилок 0,16 відсотків, Safari 6 - 0,12 відсотків, тому ситуація в цілому поліпшується.

Половина тестованих браузером мала показник нижче 0,07 відсотків. Низький показник стає індикатором того, що з виходом нових версій браузери стають надійніше і стабільніше в роботі.

IE постійно поліпшується

Подивимося на рівні помилок різних версій Internet Explorer і зауважимо цікаву закономірність.

Частота помилок браузера значно знижується з виходом кожної нової версії. Microsoft успішно знизив історично сформований високий рівень помилок і домігся результату в 0,05 відсотка.

Microsoft позиціонує нову версію Internet Explorer як найсучасніший і високопродуктивний браузер лінійки. Результати тестів доводять слова розробників з Microsoft. Браузер став стабільнішим, помилки в роботі практично відсутні. Але чи зможуть зміни в Internet Explorer підняти позиції на ринку і повернути довіру користувачів? Почекаємо і перевіримо.

за матеріалами офіційного блогу Sauce Labs .

Знайшли друкарську помилку? Виділіть і натисніть Ctrl + Enter