Machine assistant – ett hjälpmedel för maskinoperatörer - examensarbete

Machine assistant är ett verktyg vars syfte är att assistera användaren med den information som är nödvändig för att lösa en uppgift relaterad till en maskin. Användaren vägleds med textinstruktioner samt hologram, indikationsmasker och vägledningssymboler, placerade relativt maskinen. Verktyget används med smartglasögonen HoloLens, som har kapacitet för uppspelning av förstärkt verklighet-material.

Applikationen startas av användaren genom HoloLens ordinarie användargränssnitt, där de primära interaktionsmetoderna utgörs av markör placerad mitt i synfältet samt gesten Air tap. Gesten utförs med en nyprörelse och tillåter användaren att genomföra det primära klicket.

Vid start av applikationen möts användaren av huvudmenyn. Huvudmenyn utgörs av alternativen Start, Help och About. Tryck på knappen Start för användaren till maskinidentifieringssteget.

Under maskinidentifieringssteget identifieras den maskin för vilken instruktioner ska ges, vilket löses genom inskanning av QR-kod som behandlas med biblioteket ZXing. Användaren instrueras att betrakta den QR-kod som hör till maskinen, och när användaren har gjort så och inläsning har lyckats startas resursinsamlingssteget.

Resursinsamlingssteget går ut på att hämta, och därefter förbereda, de resurser som behövs under instruktionssession med maskinen från en server. Resurserna utgörs av instruktionernas text- och relationsdata samt 3D-modeller. När resurserna har insamlats och förberetts startar maskinlokaliseringssteget.

Maskinlokaliseringssteget sker med hjälp av föremålsspårningssystemet VisionLib. Användaren visas en 3D-modell av hela maskinen, en modell som fungerar som ett slags sikte. Detta sikte ska användaren genom huvudrörelse placera ungefär där den reella maskinens befinner sig. När användaren så har gjort bestämmer föremålsspårningen automatiskt maskinens position och instruktionssteget tar därefter vid.

I instruktionssteget visas en instruktionsmeny. I en lista i instruktionsmenyn väljer användaren först en instruktionsuppsättning, vilket leder till att instruktionsmenyn övergår till instruktionsstegsläge. I detta läge visas instruktionsstegets beskrivning, och associerade hologram, indikationsmasker och vägledningssymboler, visas i anslutning till maskinen. Med knapparna Next och Previous kan användaren flytta framåt och bakåt i instruktionsuppsättningens steg. Dessa funktioner kan även utföras med röstkommandon.

Genom att med hjälp av texten, indikationsmaskerna och vägledningssymbolerna följa stegen i instruktionsuppsättningen kan användaren lösa uppgiften även utan förkunskap.

Examensarbetet Kompetenselevering inom industrin medelst förstärkt verklighet har styrkt att det är möjligt att åstadkomma ett förstärkt verklighet-hjälpmedel för maskinoperatörer. Dock beroende på applikation indikerade förstudien beträffande tillämpbarhet att Machine assistant inte är konkurrenskraftigt jämfört med exempelvis filminstruktioner på grund av den ytterligare användarinteraktion och tidsåtgång vid uppstart som verktyget kräver.

Länk till examensarbetet

Nedan är en film som visar hur applikationen fungerar.