Как мога да интерпретирам разликата между валидирането и точността на теста?


Отговор 1:

За точност А, мисля, че моделът ви работи добре. Предполагам, че сте използвали данни за валидиране, за да обучите модела A и тестовите данни, за да го оцените. Тъй като точността на валидиране и точността на изпитването са високи, може да се каже, че моделът е обучен правилно. Имам обаче две притеснения.

  1. Ако се нуждаете от модел с по-висока точност, трябва да настроите хиперпараметрите, за да станете по-добри. Поддържаното обучение не е всичко за точността. Ако това е две бинарни класификации, трябва да получите ROC област под крива, за да видите дали има проблеми с класифицирането на фалшиво положителни. Ако имате високо фалшиво положително, моделът е безполезен.

За B мисля, че е прекалено подходящ. Превишаването означава, че вашият модел работи добре само на данни за обучение и валидиране, а не за тестови данни или нови неизвестни данни. Със сигурност искате по-обобщен модел. Трябва да разберете защо е обзаведен. Вие също трябва да оцените ROC площ под крива.

http: //gim.unmc.edu/dxtests/roc3 ...

Предоставяне и недостатъчност с алгоритми за машинно обучение - майсторство на машинно обучение