Różnica między oryginalnym Xgboost a sklearn XGBClassifier

Question

Używam interfejsu sklearn xgboots poniżej, aby utworzyć i wyszkolić model xgb-1.

clf = xgb.XGBClassifier(n_estimators = 100, objective= 'binary:logistic',) 
clf.fit(x_train, y_train, early_stopping_rounds=10, eval_metric="auc", 
    eval_set=[(x_valid, y_valid)]) 

A model xgboost mogą być tworzone przez pierwotnego xgboost jako model-2 poniżej:

param = {} 
param['objective'] = 'binary:logistic' 
param['eval_metric'] = "auc" 
num_rounds = 100 
xgtrain = xgb.DMatrix(x_train, label=y_train) 
xgval = xgb.DMatrix(x_valid, label=y_valid) 
watchlist = [(xgtrain, 'train'),(xgval, 'val')] 
model = xgb.train(plst, xgtrain, num_rounds, watchlist, early_stopping_rounds=10) 

Myślę, że wszystkie parametry są takie same od modelu 1 i modelu-2. Ale wynik sprawdzania poprawności jest inny. Czy jest jakaś różnica między modelem-1 a modelem-2?

Answer 1

Wyniki powinny być takie same, ponieważ XGBClassifier to tylko interfejs sklearn, który na końcu wywołuje bibliotekę xgb.

Możesz spróbować dodać ten sam seed do obu podejść, aby uzyskać takie same wyniki. Na przykład w interfejsie Twój sklearn „s:

clf = xgb.XGBClassifier(n_estimators = 100, objective= 'binary:logistic',seed=1234) 

Answer 2

Jak rozumiem, istnieje wiele różnic między domyślnymi parametrami w xgb iw jego interfejs sklearn. Na przykład: domyślne xgb ma eta = 0.3, podczas gdy drugie ma eta = 0.1. Możesz dowiedzieć się więcej o domyślnymi parametrami każdego implementuje tutaj:

https://github.com/dmlc/xgboost/blob/master/doc/parameter.md http://xgboost.readthedocs.io/en/latest/python/python_api.html#module-xgboost.sklearn