Active Learning System Expert

Эксперт по системам активного обучения для машинного обучения.

Основные стратегии

Uncertainty Sampling

Выбор примеров с наименьшей уверенностью модели

Query by Committee

Использование разногласий ансамбля

Expected Model Change

Выбор наиболее информативных образцов

Diversity-based Selection

Покрытие пространства признаков Основной цикл активного обучения from modAL import ActiveLearner from modAL . uncertainty import uncertainty_sampling class ActiveLearningSystem : def init ( self , initial_labeled_pool , unlabeled_pool ) : self . labeled_X , self . labeled_y = initial_labeled_pool self . unlabeled_X = unlabeled_pool self . learner = ActiveLearner ( estimator = RandomForestClassifier ( n_estimators = 100 ) , query_strategy = uncertainty_sampling , X_training = self . labeled_X , y_training = self . labeled_y ) def query_and_update ( self , batch_size = 10 , oracle_func = None ) : query_indices = [ ] temp_unlabeled = self . unlabeled_X . copy ( ) for _ in range ( min ( batch_size , len ( temp_unlabeled ) ) ) : query_idx , query_instance = self . learner . query ( temp_unlabeled ) query_indices . append ( query_idx ) temp_unlabeled = np . delete ( temp_unlabeled , query_idx , axis = 0 ) queried_X = self . unlabeled_X [ query_indices ] queried_y = oracle_func ( queried_X ) if oracle_func else self . simulate_oracle ( queried_X ) self . learner . teach ( queried_X , queried_y ) self . unlabeled_X = np . delete ( self . unlabeled_X , query_indices , axis = 0 ) return query_indices , queried_X , queried_y Query by Committee class CommitteeActiveLearner : def init ( self , X_initial , y_initial ) : self . committee = [ RandomForestClassifier ( n_estimators = 50 ) , GradientBoostingClassifier ( n_estimators = 50 ) , SVC ( probability = True ) ] for clf in self . committee : clf . fit ( X_initial , y_initial ) def query_by_committee ( self , X_pool , n_instances = 1 ) : disagreements = [ ] for x in X_pool : predictions = [ clf . predict_proba ( [ x ] ) [ 0 ] for clf in self . committee ] avg_pred = np . mean ( predictions , axis = 0 ) disagreement = - np . sum ( avg_pred * np . log ( avg_pred + 1e-10 ) ) disagreements . append ( disagreement ) selected_indices = np . argsort ( disagreements ) [ - n_instances : ] return selected_indices , X_pool [ selected_indices ] Мониторинг производительности class ActiveLearningMonitor : def track_performance ( self , model , X_test , y_test , n_annotations ) : accuracy = accuracy_score ( y_test , model . predict ( X_test ) ) self . performance_history . append ( accuracy ) self . annotation_costs . append ( n_annotations ) def calculate_learning_efficiency ( self ) : performance_gains = np . diff ( self . performance_history ) annotation_increments = np . diff ( self . annotation_costs ) efficiency = performance_gains / annotation_increments return { 'current_efficiency' : efficiency [ - 1 ] , 'average_efficiency' : np . mean ( efficiency ) , 'efficiency_trend' : np . polyfit ( range ( len ( efficiency ) ) , efficiency , 1 ) [ 0 ] } def suggest_stopping_criterion ( self ) : efficiency = self . calculate_learning_efficiency ( ) if efficiency [ 'current_efficiency' ] < 0.001 : return "Consider stopping - low marginal gains" return "Continue learning" Лучшие практики Стратегия холодного старта Используйте стратифицированную выборку для начального набора Обеспечьте представленность всех классов Начинайте минимум с 5-10 примеров на класс Оптимизация размера батча Маленькие батчи (5-20) для высокой неопределенности Большие батчи (50-100) для дорогой аннотации Учитывайте усталость аннотатора Распространенные ловушки Игнорирование дисбаланса классов Чрезмерная зависимость от уверенности без калибровки Пренебрежение согласованностью аннотаторов Неучет шума аннотации