Уобичајени проблеми у експериментима за поређење редундантности двоструких{0}}сензора углавном се фокусирају на три аспекта: контролу варијабли, статистику података и процену резултата. Ево 8 најчешћих проблема и њихова решења:
И. Проблеми са контролом променљивих (Најсклонији замкама, директно утичу на валидност резултата)
Проблем: Истовремене промене хардвера и алгоритама, променљиве нису јединствене. Многи људи мењају и сензор и алгоритам истовремено током експеримената, а када се резултати побољшају, не знају да ли је сензор или алгоритам крив.
Решење: Користите исти пар сензора на истој локацији за монтажу, само промените алгоритам и тестирајте један сет пре него што пређете на други.
Проблем: Недоследни услови испитивања, параметри процеса су прилагођени. Контролна група користи производ А, док експериментална група користи производ Б. Флуктуације процеса два производа су различите, што резултате чини неупоредивим.
Решење: Одржавајте фиксну производњу истог производа током теста, без прилагођавања параметара процеса као што су температура, притисак и брзина. Ако су потребна подешавања, забележите промене и поново израчунајте.
Проблем: Недовољан период тестирања, недовољна величина узорка. Извлачење закључака након само 3-5 дана тестирања омогућава случајне сметње, што доводи до статистичке пристрасности и непоузданих резултата.
ИИ. Статистика података (лако доводи до грешака у прорачуну)
Проблем: Израчунавање стопе лажних аларма је нетачно, рачунајући случајеве без{0}}неисправности као тачне. Рачунају се само лажни аларми, игноришући стварне, али неоткривене грешке, што доводи до потцењене стопе лажних аларма.
Решење: Лажни аларми треба да се рачунају само за „потврђене стварне грешке“. Директно пребројите колико пута алгоритам није покренуо аларм за познате грешке; не обухватају нормалне случајеве{1}без грешака.
Проблем: Именилац за израчунавање стопе лажних аларма је нетачан, користећи укупан производни циклус као именилац. Нетачна формула: Стопа лажних аларма=Број лажних аларма / Укупан производни циклус. Тачна формула је „Број лажних аларма / Укупан број аларма“, што доводи до значајно потцењене стопе лажних аларма.
Решења: Стриктно се придржавајте стандардне формуле за прорачун. Само аларми који се активирају треба да буду укључени у статистику; нормална производња без аларма не би требало да буде укључена у именилац.
Проблем: Нема ручног означавања аутентичности аларма; алгоритам директно излази из класификације. Сам алгоритам одређује сопствене аларме као тачне, што резултира много нижом стопом лажних аларма од стварне стопе, што доводи до фалсификованих резултата.
Решење: Сви аларми морају бити ручно растављени и сензори замењени ради верификације да би се потврдило да ли је у питању стварна грешка или сметња, а сваки аларм мора бити означен и класификован.
ИИИ. Категорија процене резултата (лако извући погрешне закључке)
Проблем: Гледате само краткорочне-резултате, занемарујући дугорочну-стабилност. Ако стопа лажних аларма задовољи стандард након једне недеље тестирања, алгоритам се директно сматра квалификованим. После три месеца употребе, стопа лажних аларма нагло расте јер није извршена верификација старења и прилагођавања.
Решење: За формалну финализацију производа, мора се додати 90-дугорочни тест да би се статистички анализирала стопа промене стопе лажних аларма; за верификацију модификације, такође се морају извршити симулирани тестови старења ради потврде.
Проблем: Мале разлике не подлежу тестирању значајности; закључци се изводе директно. Разлика од неколико процентних поена између две групе стопа лажних аларма се користи да се закључи да је нови алгоритам бољи, када је то можда последица случајних флуктуација.
Решење: Ако се стопа лажних аларма смањи за мање од 60%, урадите хи-квадрат тест; ап-вредност < 0,05 је потребна да би се утврдило да је разлика важећа. Ако је смањење веће или једнако 60%, закључак се може извести директно.
