开云体育- 开云体育官方网站- 开云体育APP

　　【专利摘要】借助与服务器通信的头戴式视线追踪装置来实施视线追踪技术。所述服务器从捕获由佩戴所述头戴式装置的用户观察的外部场景的所述头戴式视线追踪装置接收场景图像。所述服务器还从所述头戴式视线追踪装置接收视线方向信息。所述视线方向信息指示所述用户在观察所述外部场景时正注视所述外部场景中的何处。对所述场景图像执行图像辨识算法以识别所述外部场景内由所述用户观察的物项。产生追踪由所述用户观察的所述所识别物项的注视日志。

　　[0003]提供用于视线追踪系统的技术、设备及系统的实施方案。在一个方面中，一种方法包含:从捕获由佩戴头戴式装置的用户观察的外部场景的所述头戴式视线追踪装置接收场景图像，所述场景图像经由网络在服务器处接收；从所述头戴式视线追踪装置连同所述场景图像一起接收视线方向信息，所述视线方向信息指示所述用户在观察所述外部场景时正注视所述外部场景中的何处，所述视线方向信息经由所述网络在所述服务器处接收；对所述场景图像执行图像辨识算法以识别所述外部场景内由所述用户观察的物项；及产生追踪由所述用户观察的所述所识别物项的注视日志。

　　[0004]在另一方面中，一种方法包含:捕获由用户感知的包含多个物项的外部场景的场景图像，其中所述场景图像是借助安置于由所述用户佩戴的眼镜上的面向前的场景相机实时捕获的；在所述用户正通过所述眼镜感知所述外部场景时实时捕获所述用户的眼睛的眼睛图像，其中所述眼睛图像是借`助安置于所述眼镜上的视线追踪相机捕获的；基于所述眼睛图像而实时产生视线方向信息；及至少部分地基于所述视线方向信息而识别所述外部场景内的所述多个物项中所述用户正注视的一者。

　　[0005]在另一方面中，一种头戴式视线追踪设备包含:眼镜框架，其包含用于啮合用户的耳朵的镜腿；镜片元件，其安装到所述眼镜框架，所述镜片元件至少部分地透明使得所述用户可通过所述镜片元件感知外部场景且至少部分地反射；场景相机，其安装到所述眼镜框架且面向前定向以捕获所述外部场景的场景图像；视线追踪相机，其安装到所述眼镜框架且经定位以作为从所述镜片元件中的一者的反射而捕获所述用户的眼睛的眼睛图像；及处理系统，其通信地耦合到所述场景相机及所述视线追踪相机以接收并使所述眼睛图像与所述场景图像相关以追踪所述用户观看何人或何物。

　　[0017]图1及2根据一实施例图`解说明实例性头戴式视线呈可佩戴计算装置的形式。尽管图1将眼镜102图解说明为头戴式视线追踪装置的实例，但可另外或替代地使用其它类型的可佩戴计算装置。如图1中所图解说明，眼镜102包括若干框架元件，包含镜片框架104及106以及中心框架支撑件(或鼻托)108、镜片元件110及112以及镜腿114及116。中心框架支撑件108以及镜腿114及116经配置以分别经由用户的鼻子及耳朵将眼镜102固定到用户的面部。框架元件104、106及108以及镜腿114及116中的每一者可由塑料或金属的实心结构形成，或可由类似材料的空心结构形成以便允许布线及组件互连件在内部经路由通过眼镜102。镜片元件110及112中的每一者充分透明(例如，至少部分地透明)以允许用户片元件而观察其环境的外部场景。镜片元件110及112中的每一者还可由可适宜地显示经投影图像或图形的任何材料形成。组合所述镜片元件的这两个特征可促进其中经投影图像或图形叠加于如用户通过镜片元件感知的现实世界视图上的扩增现实或抬头显示器。

　　[0019]装置100还可包含板上计算系统118、场景相机(例如，摄像机)120、视线。将板上计算系统118展示为定位于眼镜102的镜腿114上；然而，板上计算系统118可提供于眼镜102的其它部分上。举例来说，板上计算系统118可包含处理器及存储器。板上计算系统118可经配置以接收并分析来自场景相机120及手指可操作触摸垫124、126 (以及可能地来自其它感测装置、用户接口或两者)的数据且产生用于从镜片元件110及112输出到用户的眼睛的图像。

　　[0020]将场景相机120展示为面向前的且定位于眼镜102的延伸的镜腿114上；然而，场景相机120可提供于眼镜102的其它部分(例如，框架元件104、106或108上。场景相机120可经配置而以各种分辨率或以不同帧速率捕获由用户通过镜片元件110及112观察的外部场景的图像。举例来说，可将具有小形状因子的许多摄像机(例如在蜂窝电话或网络相机中使用的那些)集成到装置100中以实施场景相机120。虽然图1图解说明仅一个场景相机120，但可使用更多场景相机，且每一场景相机可经配置以捕获相同视图或捕获不同视图。举例来说，场景相机120可面向前以捕获由用户感知的现实世界视图的至少一部分。可接着使用由场景相机120捕获的此面向前的图像来实施如下文所论述的视线追踪或甚至产生其中计算机产生的图像显现为与由用户感知的外部场景或现实世界视图交互的扩增现实。 [0021]视线经定位以获取用户的眼睛的眼睛图像(例如，视频图像)。可接着分析这些眼睛图像以产生可用于确定用户的注视方向的视线方向信息。可使所述视线获取的场景图像相关以确定用户在通过镜片元件110及112观察外部场景时直接观看什么物项(例如，人、地点或事物)。视线的所图解说明实施例安置于镜腿114的内侧上且实质上面向前以经由从镜片元件110的反射来记录眼睛图像。或者，视线上充分向前定位成向后成角度以直接面向用户的眼睛并从外围有利点获取用户的眼睛的直接图像(例如，无反射)。虽然图1及2图解说明定位于眼镜102的右侧上的单个视线，但其它实施例可包含具有其它位置(例如，定位于框架元件104、106、108、114及116中的任一者上)的多个视线追踪相机(例如，用以记录每一眼睛的视频图像的相机)。

　　[0024]展示手指可操作触摸垫124、126安装于眼镜102的镜腿114、116上。手指可操作触摸垫124、126中的每一者可由用户用来输入命令。手指可操作触摸垫124、126可经由电容性感测、电阻感测或表面声波过程以及其它可能性来感测手指的位置及移动中的至少一者。手指可操作触摸垫124、126可能能够感测沿平行于垫表面或在垫表面平面内的方向、沿法向于垫表面的方向或此两个方向的手指移动，且还可能够感测所施加的压力的水平。手指可操作触摸垫124、126可由一个或一个以上半透明或透明绝缘层及一个或一个以上半透明或透明导电层形成。手指可操作触摸垫124、126的边缘可形成为具有凸起、凹进或经粗糙化表面，以便在用户的手指触及手指可操作触摸垫124、126的边缘时向用户提供触觉反馈。手指可操作触摸垫124、126中的每一者可独立地操作且可提供不同功能。[0025]图2图解说明图1的装置100的替代视图。如图2中所展示，镜片元件110及112可充当显示元件。眼镜102可包含耦合到镜腿116的内侧表面且经配置以将显像130投影到镜片元件112的内侧表面上的第一投影仪128。另外或替代地，第二投影仪132可耦合到镜腿114的内侧表面且经配置以将显像134投影到镜片元件110的内侧表面上。

　　[0026]镜片元件110及112可充当光投影系统中的组合器且可包含反射从投影仪128及132投影到其上的光的涂层。在一些实施例中，可不使用特殊涂层(例如，当投影仪128及132为扫描激光装置时)。[0027]在替代实施例中，还可使用其它类型的显示元件。举例来说，镜片元件110、112自身可包含:透明或半透明矩阵显示器(例如电致发光显示器或液晶显示器)、用于将图像递送到用户的眼睛的一个或一个以上波导或能够将对焦近眼图像递送到用户的其它光学元件。对应显示驱动器可安置于框架元件104及106内以用于驱动此矩阵显示器。替代地或另外，可使用激光或LED源及扫描系统来将光栅显像直接描绘到用户的眼睛中的一者或一者以上的视网膜上。也存在其它可能性。

　　[0029]因此，装置138可包含处理器146、显示系统148、相机系统144及存储器150。举例来说，显示系统148可为光学透视显示器、光学环视显示器或视频透视显示器。举例来说，相机系统144可包含用以获取外部场景(现实世界)图像的面向前的摄像机系统(例如，场景相机)及用以获取眼睛图像的视线接收数据、预处理所述数据、将所述数据缓冲于存储器150中及/或将所述数据发射到远程装置142。处理器146还可从远程装置142接收数据且配置所述数据以用于在显示器148上显示。举例来说，处理器146可为任何类型的处理器，例如微处理器或数字信号处理器。

　　[0031]远程装置142可为经配置以与装置138通信的任何类型的计算装置或发射器，包含膝上型计算机、移动电线可含有用以实现通信链路140的硬件，例如处理器、发射器、接收器、天线图解说明为无线连接；然而，也可使用有线连接。举例来说，通信链路140可为经由串行总线(例如通用串行总线或并行总线)的有线链路。有线连接也可为专有连接。通信链路140还可为使用(例如)Bluetooth ?无线 (包含任何IEEE 802.11修订版)中所描述的通信协议、蜂窝式技术(例如GSM、CDMA, UMTS, EVDO, WiMAX或LTE)或Zigbee馨技术以及其它可能性的无线可接入因特网或万维网从而可以接入各种类型的通信服务(例如，社交连网、照片共享、地址簿等)。举例来说，远程装置142可经由网络165接入服务器系统160。网络165可表示局域网、广域网、城域网或因特网。服务器系统160可提供各种处理服务，例如视觉搜索能力、web搜索能力、数据库服务、对社交连网服务的接入或其它。举例来说，可追踪从装置138路由的在服务器系统160处接收的数据并将其存录到数据库170中。

　　[0033]在一个实施例中，装置138为头戴式视线为智能电线获取的数据图像的实时存录及图像搜索。在此实例中，远程装置138可保持于佩戴装置138的用户的口袋中且运行用于经由无线交互的应用程序软件。所述应用程序软件可从装置138接收场景图像及视线方向信息、预处理数据并将所述数据转发到服务器160上。远程装置142可经由WiFi链路或蜂窝式网络数据链路将数据发射到服务器系统160。在接收后，服务器系统160可即刻处理所述数据、提供响应数据且甚至在每用户的基础上将所接收数据存录到数据库170中。因此，服务器系统160可与多个装置138通信。虽然图3图解说明装置138使用远程装置142作为媒介与服务器系统160通信，但在其它实施例中，如果装置138可以自身接入网络165 (例如并入有WiFi或蜂窝式网络收发器)，那么可绕过远程装置142。

　　[0035]在过程框405中，场景相机120获取如由佩戴装置100的用户观察的现实世界的外部场景的场景图像。在一个实施例中，一场景图像为连续场景图像视频流的单个帧。可使用多种不同标准化成像编解码器(例如，MPEG、MPEG-4、JPEG图像系列等)或专有成像协议来捕获场景图像。所述场景图像可为由用户观察的任何事物的图像且因此可包含多个物项。举例来说，如果用户正坐在办公桌处，那么用户的外部场景可包含例如键盘、鼠标、桌上型计算机、监视器、若干本书籍、墙上的一个或一个以上图片等各种物项。这些物项的图像将因此包含在由面向前的场景相机120获取的场景图像内。可连续实时地获取所述场景图像，从而记录由用户观察的每件事物。

　　[0036]在过程框410中，视线感知外部场景时实时获取用户的眼睛的眼睛图像。视线获取场景图像同时地获取眼睛图像，且将两个图像流彼此时间键控或同步。所述眼睛图像包含用户的眼睛的图像，其可作为直接图像来获取或经由从镜片元件110及112中的一者或一者以上的反射来获取。所述场景图像及眼睛图像两者可在一者或两者发射到服务器系统160之前被暂时缓冲到存储器150中。在一些实施例中，场景图像及眼睛图像可在被导出之前在装置138处由处理器146 (或板上计算系统118)预处理。

　　[0037]在过程框415中，分析眼睛图像以产生视线方向信息。在一个实施例中，可基于眼睛图像内的瞳孔位置而产生所述视线方向信息。举例来说，如果瞳孔位于眼睛图像的中心，那么此位置可与笔直向前的注视方向相关。或者，如果瞳孔位于眼睛图像的中心底部处，那么此位置可与笔直向下的注视方向相关。在操作之前，可要求用户执行校准测试，在所述校准测试中指示用户沿各个方向观看或观看各种物体或在镜片元件110及112中显示的虚拟物体。在校准期间，可接着将每一眼睛图像内的瞳孔位置校准到在场景图像中捕获的对应物项。[0038]在过程框420中，使用从眼睛图像提取的注视信息来确定用户正直接凝视或注视外部场景内的哪一物项。举例来说，可从注视信息推断注视方向，接着使用所述注视方向来选择对应所捕获场景图像内的局部化区域。可接着使用其它技术来分析此局部化区域以锁定到用户可能正注视的特定物项上。可使用例如搜索几何形状、对比点等各种技术来确定用户正注视场景图像的局部化区域内的哪一物项。

　　[0039]在过程框425中，一旦识别出可追踪物项，只要用户继续沿物项的方向注视，所述物项就将继续由板上计算系统118追踪，或者所述物项超出视图或在连续场景图像内不再可充分辨别以致无法追踪。物项追踪可为在用户不知晓的情况下或至少在不将可辨别追踪队列呈现给用户的情况下执行的后台处理任务。在替代实施例中，可使用投影仪128及/或132给用户呈现描画在用户的现实世界视图中的物项上(例如，方框、突出显示等)的视觉队列。

　　[0040]在过程框430中，装置100 (或装置138)将信息发射到服务器系统160使得可针对特定用户产生注视日志175。注视日志175可作为用户在观察时段、一天、一周或甚至数月及数年的过程内观看什么物项、何时观看各种物项、观看各种物项达多久及甚至观看各种物项有多热情的历史日志而操作。发射到服务器系统160的信息可包含场景图像(或其经剖析/经压缩版本)、眼睛图像及/或注视信息。除注视信息之外，也可收集可从其推断在观察特定物项时用户的情绪的瞳孔扩张信息并将其发射到服务器系统160。在一个实施例中，代替眼睛图像自身，将经预处理注视信息发射到服务器系统160。类似地，在一些实施例中，并不发射由场景相机120获取的所有场景图像。而是，可使用各种带宽节省技术，例如发射每第N个场景图像、发射具有后续改变向量的关键帧、仅发射场景图像的从视线方向信息识别的局部化部分、在确定场景图像已充分改变时发射选择场景图像等。

　　[0042]图5A到是根据一实施例图解说明用于视线追踪的服务器侧处理的流程图。过程500、501、502及503中的每一者可由图3中所图解说明的服务器系统160执行。过程框中的一些或所有过程框在过程500、501、502及503中的每一者中出现的次序不应认为是限制性。而是，受益于本发明的所属领域的技术人员将理解，所述过程框中的一些过程框可以用未图解说明的多种次序或甚至并行地执行。此外，过程500、501、502及503可全部由服务器系统160连续且同时地执行。

　　[0043]首先参考图5A，在过程框505中，服务器系统160从视线)接收场景图像。所述场景图像为由用户在佩戴视线追踪装置时观察的外部场景的图像。在一个实施例中，在用户正佩戴给定视线追踪装置时实时从所述装置连续地接收场景图像。在过程框510中，从视线追踪装置接收视线方向信息。可实时从视线追踪装置连续地接收视线方向信息。可随着每一场景图像接收新的视线追踪信息集合，或可以其它方式将视线方向信息键控(例如，时间键控、序列键控等)到从视线追踪装置接收的连续场景图像流。[0044]在过程框515中，服务器系统160对场景图像执行图像辨识算法以识别用户的外部场景内的物项。在一个实施例中，仅对如通过视线方向信息所确定认为用户正直接观看的物项执行图像辨识。在另一实施例中，对如通过视线方向信息所确定在用户正注视处附近的多个物项执行图像辨识算法。在又一实施例中，对所捕获场景图像内易于接受视觉搜索的所有物项执行图像辨识算法。

　　[0045]如果视觉搜索产生可识别物项，那么将每一所识别物项作为一条目存录到用户的注视日志175中(过程框520)。因此，注视日志175可包含由用户在佩戴视线追踪装置时看到的如通过图像辨识算法识别的所识别物项的列表。可给注视日志175内的每一所识别物项标引额外信息，例如，按照视线方向信息用户是否直接观看所识别物项，按照视线方向信息所识别物项是否仅进入用户的外围视图，用户直接观看所识别物项达多久或所识别物项在用户的视图内达多久，用户何时(日期与时间)观看所识别物项等。在一个实施例中，用户是否直接观看所识别物项的指示是基于视线方向信息及用户是否直接观看所识别物项达滤除扫视视图的阈值时间周期两者而确定的。在一个实施例中，如果视线追踪装置配备有GPS接收器，那么可甚至连同位置信息(例如，GPS位置信息)一起来标引每一所识别物项。当然，也可在视线追踪装置发射场景图像的时间从本地小区发射塔或WiFi热点位置获取位置信息。可产生注视日志175并将其本地存储于服务器系统160处或将其归档到数据库170中。

　　[0046]一旦开始用由用户观察(直接地或外围地)的所识别物项填充注视日志170，服务器系统160便可为用户提供对个人观察历史搜索特征的接入(过程框525)。换句话说，用户可将个人观察历史查询提交到服务器系统160。举例来说，用户可查询其在过去是否已看到特定物项且如果已看到那么在何时、何处及多久一次。个人观察历史搜索特征可为用户提供对其决策制定过程的深入了解。作为一实例，用户可能发现其自身渴求特定的食物类型或餐馆。通过搜索其注视日志，用户可看到其是否已成为针对所述食物类型或餐馆的最近广告的受众。所述个人观察历史搜索特征可用于由广告商观察历史影响的列表并为用户在制定购买决策时提供对其自己的决策制定过程的深入了解。

　　[0047]转到图5B，过程501根据一实施例描述可由服务器系统160实施的情绪状态追踪特征。除视线方向信息之外，还可`分析由视线获取的眼睛图像以得出瞳孔扩张信息。瞳孔扩张可与情绪状态(例如，惊奇、兴趣等)相关。在一个实施例中，板上计算系统118可分析眼睛图像以确定瞳孔扩张并接着产生瞳孔扩张信息。此瞳孔扩张信息可接着连同场景图像及视线方向信息一起从视线追踪装置发射并在服务器系统160处接收(过程框530)。与视线方向信息一样，可实时产生瞳孔扩张信息并将其键控到实时场景图像。在过程框535中，服务器系统160可在用户观察其外部场景内的所识别物项时基于瞳孔扩张信息而推断用户的一个或一个以上情绪状态。在过程框540中，可将情绪状态指示与注视日志175中标引到在搜集相关联瞳孔扩张信息时观察到的所识别物项的条目包含在一起。

　　[0048]转到图5C，过程502根据一实施例描述可由服务器系统160实施的潜在搜索特征。在服务器系统160从视线追踪装置接收到场景图像(例如，图5A中的过程框505)时，其可对场景图像内的所有可识别物项执行图像辨识算法，而非仅对用户已直接将其视线固定于其上的物项执行图像辨识算法。换句线可对用户的外围视图内的可识别物项执行视觉搜索。由于用户可能尚未有意识地注意到这些物项，因此将这些物项的视觉搜索称为潜在预搜索。可接着使用用户的外围视图中的物项来对潜在预搜索进行播种(过程框545)，而不管用户最终是否直接观看给定物项。可对这些潜在预搜索的结果进行排队(过程框550)。假如用户直接观看所识别物项及/或在用户请求后，则可接着快速存取经排队潜在搜索结果(过程框555)。举例来说，当用户直接观看正由系统追踪的所识别物项时，用户可通过用特定眼睛姿势发信号或经由装置100上的手指可操作触摸垫124、126而触发信息搜索(例如，(Wikipedia)搜索、谷歌(Google)搜索等)以获得关于正追踪的所识别物项的一般或特定背景信息。可接着在抬头显示器(例如，镜片元件110及112)中快速地将信息搜索结果送达给用户。因此，潜在预搜索可改进视觉搜索以通过在物项首先进入用户的外围视图时于其到达用户的直接视线之前触发视觉搜索来识别物项并加速对由用户提交的所识别物项的可能信息搜索。在一个实施例中，一旦潜在预搜已识别出特定物项，便还可作为潜在预搜索而自动地触发信息搜索，且也对信息结果进行排队以用于快速按需用户检索。 [0049]转到图5D，过程503根据一实施例描述可由服务器系统160实施的每视线付费广告特征。在服务器系统160执行图像辨识算法以识别所接收场景图像内的物项(例如，图5A中的过程框515)之后，服务器系统160可接着确定所识别物项中的任一者是否为广告(过程框560)。在一个实施例中，服务器系统160可将所识别物项与广告商或广告活动的列表进行比较以查看所述广告是否为针对每视线付费计费登记的。在每视线付费的广告方案下，基于用户是否实际上观察广告商的广告而向广告商收费(过程框565)。每视线付费的广告不需要限制于在线广告，而是可扩展到常规广告媒体，包含广告牌、杂志、报纸及其它形式的常规印刷媒体。因此，本文中所描述的视线追踪系统提供以类似于通俗在线广告方案的方式追踪离线广告并对其进行计费的机制。每视线付费的广告方案的额外特征可包含取决于以下各项而设定计费阈值或缩放计费费用:用户是否直接观看给定广告物项、是否观看所述给定广告物项达一个或一个以上指定持续时间及/或用户在观察特定广告时的所推断情绪状态。此外，可将所推断情绪状态信息提供给广告商(或许收取额外费用)，使得广告商可判断其广告活动的成功性。举例来说，如果广告商想要产生引起注意的具冲击性的广告或发人深思的广告，那么所推断情绪状态信息及/或注视持续时间可为用以确定活动对于现实世界消费者的成功性的有价值度量。

　　[0050]可在许多用户内积累通过上文所描述的视线追踪方案搜集的度量中的任一者以创建分批视线追踪信息。可接着基于所述分批视线追踪信息而产生分析信息(例如，关于每用户、每物项、每广告的注视统计)并将其提供给广告商以收取额外费用。所述分析信息可有助于广告商来细化并改进其广告。举例来说，广告商可能对哪些特定广告往往吸引并保持用户的视线以及用户的基于瞳孔扩张信息的视线类型(例如，带情绪的视线)或热情度感兴趣。

　　[0053]图6是根据一实施例图解说明头戴式视线中所图解说明的头戴式视线的一个可能实施方案。装置600的所图解说明实施例包含两个部分反射且部分透明镜片元件601及一框架组合件，所述框架组合件包含鼻托605、左镜腿610、右镜腿615、场景相机620及视线。在此实施例中，镜片元件601包含反射元件的阵列，所述反射元件准许外部光630通过镜片元件601使得用户可感知外部场景，同时将眼睛图像635反射到视线是根据一实施例图解说明头戴式视线中所图解说明的头戴式视线的另一可能实施方案。装置700的所图解说明实施例包含两个部分反射且部分透明镜片元件701及一框架组合件，所述框架组合件包含鼻托705、左镜腿710、右镜腿715、场景相机720及视线。在此实施例中，镜片元件701为波导，其包含安置于所述波导中或上的反射元件的阵列，所述反射元件准许外部光730通过所述波导的一部分使得用户可感知外部场景，同时将眼睛图像735反射到视线的所反射光导引到视线]依据计算机软件及硬件来描述上文所解释的过程。所描述的技术可构成在有形机器(例如，计算机)可读存储媒体内体现的机器可执行指令，所述机器可执行指令在由机器执行时将致使所述机器执行所描述的操作。另外，所述过程可在例如专用集成电路(“ASIC”)等硬件内体现。

　　1.一种方法，其包括: 从捕获由佩戴头戴式装置的用户观察的外部场景的所述头戴式视线追踪装置接收场景图像，所述场景图像经由网络在服务器处接收； 从所述头戴式视线追踪装置连同所述场景图像一起接收视线方向信息，所述视线方向信息指示所述用户在观察所述外部场景时正注视所述外部场景中的何处，所述视线方向信息经由所述网络在所述服务器处接收； 对所述场景图像执行图像辨识算法以识别所述外部场景内由所述用户观察的物项；及 产生追踪由所述用户观察的所述所识别物项的注视日志。

　　16.根据权利要求1所述的方法，其中所述头戴式视线追踪装置包括眼镜，所述眼镜包含啮合所述用户的耳朵的镜腿、啮合所述用户的鼻子的鼻托及所述用户通过其观察所述外部场景的镜片， 其中所述场景图像是在所述用户观察所述外部场景时借助安置于所述眼镜上的至少一个面向前的场景相机实时捕获的， 其中所述视线方向信息是基于所述用户的至少一个眼睛的眼睛图像而产生的，所述眼睛图像是在所述用户观察所述外部场景时借助安置于所述眼镜上的至少一个视线追踪相机实时捕获的。

　　18.一种有形机器可读存储媒体，其提供在由机器执行时将致使所述机器执行包括以下各项的操作的指令: 从捕获由佩戴头戴式装置的用户观察的外部场景的所述头戴式视线追踪装置接收场景图像，所述场景图像经由网络在服务器处接收； 从所述头戴式视线追踪装置连同所述场景图像一起接收视线方向信息，所述视线方向信息指示所述用户在观察所述外部场景时正注视所述外部场景中的何处，所述视线方向信息经由所述网络在所述服务器处接收； 对所述场景图像执行图像辨识算法以识别所述外部场景内由所述用户观察的物项；及 产生追踪由所述用户观察的所述所识别物项的注视日志。

　　24.根据权利要求18所述的有形机器可读媒体，其进一步提供在由所述机器执行时将致使所述机器执行包括以下各项`的进一步操作的指令: 对由所述用户观察的所述物项的至少一部分执行潜在预搜索以产生潜在搜索结果，其中所述潜在预搜索是在所述相关联物项在所述用户的外围视图中时且在所述用户未在每搜索基础上进行肯定请求的情况下自动触发的； 高速缓存所述潜在搜索结果；及 在请求后，即刻将所述经高速缓存潜在搜索结果中的选定搜索结果提供到所述用户。