Wat hebben de beste interviewers gemeen? We hebben duizenden echte interviews bekeken om daarachter te komen.

Bij interviewing.io hebben we geanalyseerd en geschreven over wat een goed interview maakt vanuit het perspectief van een geïnterviewde. Maar ondanks de inherente machtsongelijkheid, is interviewen een tweerichtingsverkeer.

Ik schreef een tijdje geleden over hoe het bij werving in deze markt niet zozeer gaat om doorlichting als wel om verkopen. Kandidaten niet betrekken bij een interview van een uur is een zeer gemiste kans.

Het oplossen van interviewvragen is een aangeleerde vaardigheid die veel oefening vereist. Dat geldt ook voor de andere kant van de tafel. Een goede interviewer zijn kost tijd, moeite en de bereidheid om zinvol met de andere persoon om te gaan.

Iedereen heeft een sterke mening over wat iemand tot een goede interviewer maakt. Dus in plaats van waxfilosofie beantwoorden we de volgende vragen, en meer, met gegevens:

  • Maakt het uit hoe sterk een technisch merk uw bedrijf heeft?
  • Helpen de vragen die u stelt echt om kandidaten enthousiast te maken?
  • Hoe belangrijk is het om goede tips te geven aan uw kandidaat?
  • Hoeveel moet je over jezelf praten?
  • Klopt het dat wat je zegt uiteindelijk minder belangrijk is dan hoe je mensen zich laat voelen? [1]

Voordat ik inga op onze bevindingen, zal ik een paar woorden zeggen over interviewing.io en de gegevens die we verzamelen.

De opzet

interviewing.io is een anoniem technisch interviewplatform. Mensen kunnen anoniem anoniem technisch oefenen. Als het goed gaat, kunnen ze echte (nog steeds anonieme) interviews ontgrendelen met bedrijven als Lyft, Twitch, Quora en meer.

Zowel de praktijk als echte interviews vinden plaats binnen het ecosysteem interviewing.io. We kunnen behoorlijk wat gegevens verzamelen en analyseren om technische interviews beter te begrijpen.

Een van de belangrijkste gegevens die we verzamelen, is feedback van beide partijen over hoe ze dachten dat het interview ging en wat ze van elkaar vonden.

Als je nieuwsgierig bent, kun je de feedbackformulieren voor interviewers en geïnterviewden hieronder bekijken.

Feedbackformulier voor interviewersFeedbackformulier voor geïnterviewden

In dit artikel analyseren we feedback en resultaten van duizenden echte interviews om erachter te komen wat de beste interviewers gemeen hebben.

Voordat we erin duiken, laten we eerst de waarde van een goede interviewer in context plaatsen door te kijken naar de impact van het merk van een bedrijf op de uitkomst. Immers, als het merk er veel toe doet, is een goede interviewer misschien niet zo belangrijk.

Merk sterkte

Dus, maakt merk echt uit voor interviewresultaten?

Een waarschuwing voordat we de gegevens ingaan: elk interview op het platform is door de gebruiker geïnitieerd. Zodra je ons banenportaal hebt ontgrendeld (je moet het echt goed doen in oefeninterviews om dit te doen), bepaal je met wie je praat. Onze gebruikers zijn geneigd vooruit te gaan omdat ze het bedrijf in de eerste plaats hebben gekozen. Veel van de bedrijven waarmee we werken hebben behoorlijk sterke merken, maar we werken ook met kleine, opkomende startups.

Om de merksterkte te kwantificeren, hebben we drie verschillende maatregelen gebruikt:

  • Klout Score (ja, dat bestaat nog steeds)
  • Mattermark Mindshare Score
  • Glassdoor (onder algemene recensies). [2]

De impact van interviewresultaten met betrekking tot merksterkte was niet statistisch significant. We ontdekten dat merksterkte helemaal niet uitmaakte als het ging om de vraag of de kandidaat vooruit wilde gaan of hoe enthousiast de kandidaat was om bij het bedrijf te werken.

Dit was een beetje verrassend, dus besloot ik dieper te graven.

Misschien maakt merksterkte in het algemeen niet uit, maar doet het er toe wanneer de interviewer of de vragen die ze stellen niet hoog worden gewaardeerd? Met andere woorden, kunnen merkinterviewers minder dan geweldige interviewers steunen?

Volgens onze gegevens niet.

Het merk deed er niet toe, zelfs niet wanneer je de kwaliteit van de interviewer corrigeerde. Dit is de uitsplitsing van de 10 best beoordeelde bedrijven op ons platform:

  • 5 hebben geen merk om van te spreken
  • 3 zijn middelgrote YC-bedrijven die respect afdwingen in Bay Area-kringen maar niet universeel herkenbaar zijn
  • 2 hebben iets in de buurt van de status van de huishoudens

Dus, wat is de afhaalmaaltijd hier?

Hoewel het merk er waarschijnlijk toe doet om kandidaten in de deur te krijgen, zijn ze van jou te verliezen als ze eenmaal binnen zijn, ongeacht hoe goed je bent gebrandmerkt.

De vraag kiezen

Als het merk er niet toe doet als je eenmaal een kandidaat in de deur hebt gekregen, wat dan wel? Blijkt dat de vragen die je stelt een ton zijn.

Een van de vragen die we aan kandidaten stellen, is hoe goed de vraag (en) die ze zijn gesteld, was.

De vraagkwaliteit was buitengewoon belangrijk (p <0,002 met een effectgrootte van 1,25) als het ging om de vraag of de kandidaat met het bedrijf wilde doorgaan. Dit gold zowel voor de kandidaten als voor de kandidaten slecht.

Dit is wat de kandidaten te zeggen hadden over de beste en slechtst beoordeelde vragen op het platform:

De goede

Ik vond het leuk dat vragen bovenop elkaar werden gebouwd, zodat eerder werk niet werd verspild en manieren werden gevonden om de gegeven oplossing te verbeteren.
Altijd leuk om vragen te krijgen die meer zijn dan gewone algoritmen.
Echt goed stellen van een klassieke vraag, stelde me open voor randgevallen en overwegingen die ik nooit heb overwogen de paar keer dat ik werd blootgesteld aan de binnenkant van deze gegevensstructuur.
Dit was het langste interview.io-interview dat ik ooit heb gedaan, en het is ook de leukste! Ik vind het heel leuk hoe we begonnen met een eenvoudige datastructuur en daar bovenop algoritmen implementeerden. Het voelde als werken aan een eenvoudig kleinschalig project en was leuk.
Hij koos voor een interessant en uitdagend interviewprobleem waardoor ik het gevoel kreeg dat ik aan het leren was terwijl ik het aan het oplossen was. Ik kan geen verbeteringen bedenken. Hij zou geweldig zijn om mee te werken.
Ik vond de vraag leuk - er is een relatief eenvoudig algoritmenprobleem voor nodig (een boom bouwen en doorkruisen) en het voegt wat diepte toe. Ik vond het ook leuk dat de interviewer het probleem koppelde aan een echt product bij [Redacted], waardoor het minder op een speelgoedprobleem leek en meer op een uitgeklede versie van een echt probleem.
Dit is mijn favoriete vraag die ik op deze site ben tegengekomen. het was een van de weinigen die leek alsof het echte toepasbaarheid had en werd getrokken uit een echte (of potentieel echte) zakelijke uitdaging. En het is ook mooi verweven in uitdagingen zoals complexiteit, efficiëntie en blokkering.

De slechte

De vraag was niet eenvoudig en vereiste veel nadenken / begrijpen, omdat functies / gegevensstructuren pas veel later werden gedefinieerd. [Redacted] is absoluut een cool bedrijf om voor te werken, maar een vorm van structuur in interviews zou veel nuttiger zijn geweest. Lange tijd doorgebracht met het uitzoeken wat de vraag zelfs stelde, en interviewer was niet taal-agnostisch.
Ik verwachtte een meer technische / ontwerpvraag die de mogelijkheid toont om na te denken over een probleem. Het hebben van een domeinspecifieke vraag (regex) beperkt het vermogen om probleemoplossende vaardigheden te tonen. Ik weet zeker dat met voldoende onderzoek je een mooie regex-expressie zou kunnen bedenken, maar tenzij dit iets is dat je vaak doet, denk ik niet dat het een zeer goede beoordeling is.
Dit is geen goede algemene interviewvraag. Een goede interviewvraag moet meer dan één oplossing hebben met vereenvoudigde beperkingen.

Anatomie van een goede interviewvraag

  1. Laagcomplexiteit (inclusief het vragen om een ​​warming-up)
  2. Geen trivia
  3. Real-world componenten / relevantie voor het werk van het bedrijf hebben de voorkeur boven algoritmische handboekproblemen
  4. Als je een klassieke algoritmische vraag stelt, breng dan wat nuance en diepte aan de tafel. Als je de geïnterviewde iets interessants in het proces kunt leren, nog beter!

De vraag stellen

We vragen de kandidaten ook hoe behulpzaam hun interviewer was om hen naar de oplossing te begeleiden. Het geven van goed getimede tips om ze uit het onkruid te halen zonder teveel weg te geven, is een delicate kunst. Hoeveel maakt het uit?

Het blijkt heel belangrijk te zijn om dit goed te doen.

Goed zijn in het geven van hints was buitengewoon belangrijk (p <0.00001 met een effectgrootte van 2,95) als het ging om de vraag of de kandidaat met het bedrijf verder wilde gaan. Zoals eerder hebben we gecorrigeerd of het interview goed is verlopen.

Hintkwaliteit kan een specifiek geval zijn van iets groters, hoewel het moeilijk te kwantificeren is. Het verandert iets tegenstanders in een gezamenlijke oefening die beide mensen op een betere plek achterlaat dan waar ze begonnen zijn. [3]

Als je dat niet elke keer kunt doen, moet je op zijn minst aanwezig en betrokken zijn tijdens het interview. Wat de duivel op je schouder je ook vertelt, het zal nooit goed zijn om Reddit op een ander tabblad te openen. [4]

Een van de meest memorabele, pittige gesprekken die ik ooit heb gehad over sollicitatiegesprekken was met een ervaren ingenieur. Hij bracht jaren door als senior software-architect bij een enorm technologiebedrijf voordat hij terugkeerde naar wat hij altijd al leuk vond, het schrijven van code. Hij had tijdens een carrière van meerdere decennia veel interviews afgenomen. Nadat hij verschillende stijlen had uitgeprobeerd, was hij elegant, eenvoudig en bevredigend. Volgens hem is het doel van elk interview om 'te zien of we samen slim kunnen zijn'.

Dat vind ik zo leuk, en het is een advies dat ik herhaal wanneer iemand wil luisteren.

Dit is wat kandidaten van hun interviewers vonden met betrekking tot behulpzaamheid en betrokkenheid:

De goede

Ik vond het leuk dat je de structuur van het interview vanaf het begin hebt uiteengezet en zei dat de eerste vraag geen trucjes had. Dat hielp bij het bepalen van het tempo van het interview, dus ik besteedde geen buitensporige hoeveelheid tijd aan de eerste.
Het interview was niet eenvoudig, maar het was echt leuk. Het voelde meer aan als een ontwerpdiscussie met een collega dan een interview. Ik denk dat de vraag is ontworpen / voorbereid om de 45 minuten durende slot perfect te vullen.
Ik ben onder de indruk van hoe snel hij het probleem (typefout) in mijn hash-berekeningscode heeft geïdentificeerd en hoe zacht hij me ertoe bracht het zelf te lokaliseren met twee hints op zeer hoog niveau ("welke andere testgevallen zou je proberen?" En "zou werkt uw code altijd als u op zoek bent naar het patroon dat er gewoon is aan het begin van de tekenreeks? ”). Goed werk!
Hij heeft me nooit gecorrigeerd, maar in plaats daarvan vragen gesteld en dieper ingegaan op gebieden waar ik onjuist was - ik waardeer dit zeer.
De vraag leek in het begin erg overweldigend, maar de interviewer was goed in het oplossen van kleinere problemen en suggereerde dat we ons op een van die eerste zouden concentreren.

De slechte

Het was een beetje zenuwslopend je te horen geeuwen terwijl ik codeerde.
Wat ik veel moeilijker vond aan dit interview was het gebrek aan heen en weer gaandeweg, ook al was het een simpele bevestiging dat "ja, die code die je zojuist hebt geschreven er goed uitziet". Er waren momenten dat het leek alsof ik de enige was die in de afgelopen vijf minuten had gepraat (ik weet zeker dat dat overdreven is). Hierdoor voelde het veel meer als een optreden dan als een samenwerking, en mijn hart klopte aan het eind als gevolg.
Hoewel de vraag heel eenvoudig was en [hij] waarschijnlijk naar me op zoek was om er doorheen te blazen zonder enige aanleiding om te overwegen vooruit te gaan in een interviewproces, zou het nuttig zijn geweest om een ​​discussie of zelfs een milde hint van hem te krijgen toen ik duidelijk vast zat te denken aan een aanpak ... Hoewel ik uiteindelijk het antwoord kreeg, zou een gesprek erover hebben geleid dat het meer op een reis en leerervaring leek. Dat zou ook een sterke demonstratie zijn geweest van de samenwerkingscultuur die bestaat tijdens het werken met teams van mensen bij een technologiebedrijf, en zou me meer hebben verkocht ten opzichte van mijn opwindingsniveau.
Als een interview is ingesteld op 45 minuten, moeten de vragen binnen dit tijdsbestek passen, omdat mensen dienovereenkomstig plannen. Ik denk dat als je van plan bent om een ​​langer interview te hebben, je de geïnterviewde vooraf moet informeren, zodat hij er klaar voor kan zijn.
Eén probleem dat ik met de vraag had, is echter wat hij precies van mij probeerde te evalueren met de vraag. Op punten spraken we over zeer nitty-gritty details over python gekoppelde lijst of array iteratie, maar het was op enig moment onduidelijk of dat was wat hij me beoordeelde. Ik denk dat hij in de toekomst in het begin zou kunnen schetsen waar hij precies naar op zoek was met het probleem om het gesprek geconcentreerd te houden en ervoor te zorgen dat hij goed geijkt is om kandidaten te beoordelen.
Probeer meer bekend te zijn met alle mogelijke oplossingen voor het probleem dat u kiest voor de kandidaat. Probeer te werken aan een duidelijkere communicatie met de kandidaat.

Anatomie van een goed interview

  1. Stel verwachtingen in en bepaal timing / pacing
  2. Verloofd zijn!
  3. Bekendheid met het probleem en de bijbehorende konijnengaten / tuinpaden
  4. Goede balans tussen hints en kandidaten laten nadenken
  5. Verander het interview in een gezamenlijke oefening waarbij beide mensen vrij zijn om samen slim te zijn

De kunst van het vertellen van verhalen ... en het belang van mens zijn

Naast het kiezen en maken van goede vragen en het betrokken zijn, hebben de best beoordeelde interviewers nog meer gemeen?

De doordringende rode draad die ik opmerkte, was moeilijk te kwantificeren. Maar het past bij betrokkenheid en het creëren van een samenwerkingservaring. Het verandert een ontmenselijkingsproces in een organische ervaring tussen twee capabele, denkende mensen.

Dat betekent vaak iets echts over jezelf onthullen en een verhaal vertellen. Het kan een beetje over het bedrijf vertellen en waarom je, uit alle plaatsen waar je had kunnen landen, daar belandde. Of een aspect van de missie van het bedrijf dat met u resoneerde. Of hoe de projecten waaraan u heeft gewerkt, aansluiten bij uw eigen, persoonlijke doelen.

De goede

Ik hou van het interview-formaat, met name hoe het vooral een discussie over coole technologie was, evenals een eerlijke beschrijving van het bedrijf ... de discussiesectie was waardevol en kan in elk geval een betere maatstaf zijn. Het is leuk om een ​​bedrijf te zien dat daar waarde aan hecht
De interviewer was het hele interview behulpzaam. Hij vond het niet erg om vragen te stellen over de interne technologiebeslissingen van hun bedrijf of hoe het gestructureerd is. Ik vond het leuk dat de interviewer me een goed inzicht gaf in hoe het bedrijf functioneert.
Uiterst vriendelijk en erg gul met uitleg over alles wat ze doen bij [redacted]. Echt geïnteresseerd in de technische uitdagingen waaraan ze werken. Super goed!
Interessante vragen maar het meest waardevolle en interessante waren de inzichten die hij me gaf over [geredigeerd]. Hij klonk erg gepassioneerd over engineering in het algemeen, met name over de uitdagingen waarmee ze worden geconfronteerd [geredigeerd]. Zou graag met hem samenwerken.

De slechte

[Een] beetje vriendelijk geklets (zelfs als het alleen maar "hoe gaat het"?) Aan het begin van het interview zou waarschijnlijk een beetje helpen om de kandidaat kalm en comfortabel te houden.
Ik vond het interview erg onpersoonlijk, [en] ik kon geen goed beeld krijgen van het doel of de missie van het bedrijf.

Een van de meest authentieke, menselijke dingen die je kunt doen, is mensen onmiddellijk bruikbare feedback geven.

Na elk interview vragen we geïnterviewden of ze met hun interviewer willen werken. Er is een zeer statistisch significante relatie (p <0.00005) [5] tussen of mensen denken dat ze het goed hebben gedaan en of ze met de interviewer willen werken. Als mensen denken dat ze het slecht hebben gedaan, is de kans kleiner dat ze met u en, bij uitbreiding, met uw bedrijf willen werken.

Hoe kan men deze verliezen beperken? Geef zo ​​snel mogelijk positieve, bruikbare feedback! Op deze manier gaan mensen niet door de zelfkastijgende handschoen die gebeurt na een waargenomen slechte prestatie, gevolgd door de onvermijdelijke rationalisatie dat ze daar toch niet wilden werken.

Hoe mens te zijn

  1. Praat over wat uw bedrijf doet, en wat u ervan aantrok en dat u wilde doen meedoen
  2. Praat over waar je momenteel aan werkt en hoe het past bij waar je gepassioneerd over bent
  3. Geef onmiddellijke, positieve feedback
  4. En, weet je, wees vriendelijk. Een beetje warmte kan een lange weg gaan.

Een betere interviewer worden

Mensen interviewen is moeilijk. Het is moeilijk om goede vragen te stellen. Het is moeilijk om een ​​goed interview te geven. En het is vooral moeilijk om mens te zijn in een nooit eindigende parade van interviews.

Maar een goede interviewer zijn is belangrijk. Hoewel het merk van uw bedrijf mensen binnen laat komen, is het speelveld gelijk wanneer ze het technische interview hebben bereikt. Je kunt je merk niet als kruk gebruiken om slechte vragen of een gebrek aan betrokkenheid te maskeren.

Een goed interview kan een mogelijk koude, transactionele interactie tot iets echts verheffen. Het kan het verkoopargument zijn waardoor geweldige ingenieurs voor u werken, of u nu een bekende naam of een nieuwe startup bent.

Gezien het belang van het goed afnemen van interviews, wat zijn enkele dingen die je kunt doen om meteen beter te worden?

Laat uw team interessante problemen documenteren om goede, originele vragen te stellen. Telkens wanneer iemand een probleem oplost dat zij interessant vinden, hoe klein ook, noteren ze het in een gedeeld document. Deze aantekeningen hoeven niet te worden uitgewerkt, maar kunnen wel de basis vormen voor unieke interviewvragen die kandidaten inzicht geven in de dagelijkse gang van zaken. Het veranderen van deze onsamenhangende zaden in vragen vergt gedachte en moeite, maar de uitbetaling kan enorm zijn.

Een ander ding dat je kunt doen om bruikbare feedback te krijgen, is door interviewing.io te interviewen als interviewer. Niemand zal weten wie u bent of welk bedrijf u vertegenwoordigt in onze dubbelblinde oefenpool. Dit geeft u onbevooroordeelde feedback over uw vraagkwaliteit, hoe enthousiast mensen zouden zijn om met u te werken, hoe goed u bent in het begeleiden van mensen en meer. Het is ook een geweldige manier om verder te gaan dan je team en nieuwe vragen uit te proberen met een zeer betrokken, kwalitatief hoogstaand gebruikersbestand. Je krijgt ook herhalingen van je interviews, zodat je erachter kunt komen wat je de volgende keer beter moet doen.

[1] "Mensen zullen vergeten wat je zei, mensen zullen vergeten wat je hebt gedaan, maar mensen zullen nooit vergeten hoe je ze hebt laten voelen." -Maya Angelou

[2] Het is belangrijk om erop te wijzen dat merk en engineeringmerk enorm kunnen verschillen. Target heeft bijvoorbeeld een sterk algemeen merk, maar waarschijnlijk niet het beste technische merk (sorry). Heap is daarentegen een van de beter gerespecteerde plaatsen om te werken onder ingenieurs, maar het heeft geen enorm algemeen merk. Zowel de Klout- als de Mattermark Mindshare-scores zijn niet slecht voor het kwantificeren van merksterkte, maar ze zijn niet geweldig in het engineeren van merksterkte (ze zijn hoog voor Target en laag voor Heap). De Glassdoor-score is een beetje beter omdat reviewers de neiging hebben engineering-zwaar te scheeftrekken, maar het is nog steeds niet zo'n goede maatregel. Dus, als iemand een betere manier heeft om dit soort dingen te kwantificeren, laat het me weten. Als ik het zou doen, zou ik waarschijnlijk GitHub-repo's van het bedrijf en zijn werknemers bekijken, wie hun investeerders zijn, enzovoort. Maar dat is een project dat buiten het bereik van dit bericht valt.

[3] Als je bekend bent met de campingregel van Dan Savage voor relaties, denk ik dat er iets soortgelijks moet zijn voor het interviewen ... laat je kandidaten beter in vorm dan toen je ze vond.

[4] Laten we je de tijd besparen: Trump is slecht, honden zijn schattig, iemand heeft iets gegeten.

[5] Deze keer met nog meer betekenis!