Kaggle, онлайн общността на аналитикс експертите, известни още като data scientists публикува проучване обхващащо цялата индустрия. Над 16 хил. са участниците в него, като те са учени, аналитици, експерти и статистици. Анкетата показва, че 3 от 4 професионалисти разчитат на Python, следван от R и SQL. Логистичната регресия е най-използваният аналитичен метод, следван от дърво на решенията и от метода на случайната гора.
Най-големият проблем, който експертите трябва да решават в своята работа са зле структурираните дани. От Kaggle добавят, че привеждането на данните в подходящ за работа вид отнема много повече време, отколкото незапознатите с индустрията биха предположили. Основателят на общността Антъни Голдблум коментира пред The Verge, че създаването на модели заема не повече от 10% от времето на един учен.
Повечето от участниците в анкетата имат магистърска степен, а най-добре платените от тях с висока степен на вероятност имат и докторска такава. Въпреки това, сред хората с големи заплати в сектора има и такива с професионално образование или колеж.
Около половината от аналитичните експерти обявяват, че зле структурираните данни са сред най-големите им проблеми. Един от всеки 4 казва, че резултатът от тяхната работа не се използва от мениджърите, които взимат решения. Това е доста жалко, доколкото зад този резултат стоят образование, опит, талант и креативност. Над 30% обявяват, че липсата на ясен аналитичен въпрос, на който да търсят отговор е сред трудностите в тяхната работа. 25 на сто споделят, че като експерти по големи данни имат трудности да обяснят работата си на други хора.
Средната възраст на участниците в проучването на Kaggle е 30 години, като тази стойност варира за различните държави. В Индия, например, средната възраст на респондетите е с 9 години по-ниска в сравнение с тази на колегите им в Австралия.
Всеобщо схващане е, че експертите по големи данни са сред най-добре платените в STEM (Science, Technology, Engineering, Mathematics) професионалното направление. Оказва се, че те не са особено готови да говорят за възнагражденията си, тъй като на този въпрос има едва 4 хил. отговора при 16 хил. анонимни участника. Средната годишна заплата на такъв професионалист е $55 441, но има значителни вариации в зависимост от държавата. В САЩ например, средните заплати в сектора са два пъти по-високи, докато в Индия възнагражденията са около $11 хил. годишно или пет пъти по-малки от средното за света.