一个简单笔式交互系统的实现

集中特定特征的值。这种横向的处理过程产生了按照确定度 进 行排序的几何图形序列。
2 手势设计
为支持自然交互 , 必须以用户为中心 , 按照人们的手写习惯 进行手 势设计 , 只有这 样 , 当 人们用手势 勾画时 , 才能使动 作从 人们的意识中消失 , 从而 使人们 集中注 意力去 思考。利用 手势 交互是非常有效的交 互手段。 由于一些无法预知的因素 , 用户作图过程中 , 很可能出现原 先绘制的图形 过大 或过 小的 情况 , 此 时需 要对 图形 进行 调整。 本文设计了一笔划 的调整 图形的手 势。只需 画一直 线 , 与 此手 势相交的边就会参照 手势末端 点的位 置作相应 的调整 , 非 常简 单易用 ( 如图 1 所示 ) 。
Abstrac t
A ccord ing to the user cen tred design notion, using recogn ition algor ithm o f fuzzy log ic proposed by Fonseca and Jo rge ,
in th is
paper it in troduces the design and the rea lization of an interaction system wh ich can recogn ize basic geo m etric figures and si m ple gestu res . T he syste m adopts pen based app lication developm ent platfo r m PenU I fro m the Institute of So ftware , the Ch inese A cade m y o f Sc ience as the bottom support . The recogn ition a lgor ithm used is a si m ple approach to recogn ise mu lti stoke geo m e tric ske tches . It uses temporal ad jacency and g loba l geom etr ic properties of figures to recognize so m e si m ple vocabulary o f geome try, in it there are t w o k inds o f lines : so lid line and dashed line . K eywords P en input techn ique Fuzzy log ic M ulti stroke shape G esture M etaphor 的笔式交互作图工具。用户可用传统纸笔熟悉的手势勾画基 本 几何图形 , 几乎无需熟悉工具的使用。
0 引
言
在仅使用鼠标与 键盘输入的 CAD 系统中 , 由于缺乏连 续信 息的输入机制 , 要求使用者提供精确的输入 , 因而工程人员往往 仅在他们 对 于 设 计 有了 比 较 精 确 而 详 尽 的 考虑 之 后 才 使 用 CAD 系统进行绘制。在刚开始进行设 计时 , 他们更 习惯使 用笔 和纸来描绘模糊的概 念与意图 , 等到 这些意 图明朗 化和精 确化 之后再用 CAD 绘制出来。 这样一 来 , 设计 信息流 产生 了中断 , 概念设计与后续设计过程无法 得到自然的接续 ; 同时 , 将设计中 间结果从一种媒介转换到另一 种媒介 , 也增加了额外的工作量 , 提高了生产成本。 计算机支持的笔 输入草图 绘制技 术是 CAD 技术 的完 善和 发展 , 已经成为近几年 CA D 技术领域的重要研究热点和发 展前 沿。一方面基于草图设 计本身 在创新 设计中 的重要 性 , 它 是创 新探索过程中进行思 维的重要 媒介和 载体 , 是人类 有限意 念再 现能力的一种延伸 , 对于创新设计具有非常重要的价值 ; 另一方 面它综合了纸上手绘 草图和 CAD 造型系统各自的 优势特征 , 为 设计创意表达提供了 一个轻巧、 智能、 自然的草图绘制界面 [ 1] 。 计算机支持的草 图绘制技术允许用户可以像在纸上草绘一 样 , 通过输入笔自由地表达头脑中一闪而过的概念形象 , 得到的 模糊草图可以自动规 整 , 转 换为规则 几何造 型能够 理解的 几何 图形 [ 2] 。 基于以上分析 , 本文结合 纸笔的 易用性 和计算 工具的 易修 改和易存储的特点 , 通过一种识别算法 , 设计并实现了一个简单
THE REALIZAT I ON OF A SI M PLE PEN I NTERACT I ON SYSTEM
Chen X in sheng H ua Q ingy i
( School of Inf or m a tion Sc ience and T echnology, N orthw e st U niversity, X i an 710027, Shaanxi, China )
我们经常需要移动或旋转图形, 这就需要一个选择手势。选 择手势 : 将界面上的某一对象设置成为当前活动的对象。然后用户 就可以随意移动、 旋转图形, 当然这时候也可以调整图形大小。
3 识别算法
3 . 1 算法概要
对于几何图形识别 , 本文采用了一种与笔划数目、 顺序无关 的模糊逻辑识别 算法 [ 5, 6] , 实 现了 对简 单几 何图 形直 线、 箭头、 三角形、 矩形、 圆、 椭圆、 菱形的分类。其中这些图形分为实 线和 虚线类型。 这种识别算法主 要基于三 个思想。 首先 , 它完全 地依 赖于 从输入图形中提取的全局几何 特征。因 仅仅是为了识别几何实 体 , 识别主要是依靠几何 信息。第 二 , 为 了加强 识别性 能 , 通过 一棵决策树的特有 的规则 来过滤掉 不期望 的图形。 第三 , 为了 克服草图的不确定和不精确性 , 使用模糊逻辑来识别图形 , 因此 可以自然地处理模糊 性。 图形的识别与图 形的旋转 , 尺 度的变 化和笔划 数无 关。如 在图 3 中所描述的识别工作是通过查询 每个决策树节点上模糊
图 3 决策树
3 . 2 特征提取
用一个数字化的手写 板 , 从 第一个 笔按下 事件到 最后一 个
图 1 调整矩形
用户在作图过程中 , 由于考虑不成熟等因素 , 随时可能需要 删除某些部分。按照人们日常 的习惯 ( 如图 2 所 示 ), 本文 设计 了两笔划画叉的手 势来删 除想要去 掉的图 形。用户 删除时 , 只 需在所要删除的图形上画一个 叉 , 而不需要显式地转换模式 : 先 选择 , 后删除。
笔抬起事件经过一定间隔通过收集笔划信息开始识别过程 。接 下来 , 我们计算输入点集的 凸包。利用 凸包来 计算两 个特殊 的 多边形。使用一个简单的三点算法识别凸包的最大面积的内 接 三角形和外接矩形。最后 , 计 算出每一 个多边 形的面 积和周 长 以便评估其特征和与每个图形的相似度。 为了从图形中辨别出圆和直线 , 我们用比例因 子 ( thinness) ( P ch2 ) /A ch , 这里的 A ch 是 凸包 的面积 , ( Pch2 ) 是 凸包 周长 的 平方。圆的比例因子是最 小的 , 因它是 包围一 个给定 区域的 具 有最小周长 的 平面 图形 , 这 个 比值 大 致为 4p。另 一 种极 端 情 况 , 直 线的比例因子接近无穷大 c 。 我们辨别三角形通过 凸包的 最大内 接三角 形的 面积 ( A lt)
1 笔输入技术
笔式交互模拟人们数千年来形成并熟悉的纸 笔交互环境来 构造界面的呈现方式。首先我们从交互特征上来分析笔和鼠 标 的区别 [ 3] 。鼠标是一种视觉和动 作的分 析的设备 , 用 户必须 注 视屏幕上的光标运动同时判断处于视线范围之外 的鼠标运动情 况。这种视觉和动作的分离造成用户需要更多的注意力去协 调 两者的关系。而在纸笔交互方式下 , 用户视觉和动作统一 , 大 大 地减轻了用户的认知 负担。另外 从运动 形式上 来说 , 操作鼠 标 要运用小 臂和腕部肌 肉 , 运 动幅度较 大 , 而 且鼠标重量 大、 稳定 性好 , 因此做直线运动快速准确 , 适合 M enu 的选 择和点击 。笔 的操作主要靠手指和手腕运动 , 运动幅度一般较小 , 并且由于 笔 非常轻巧 , 适合 小范围的曲线运动 , 因此用笔可以轻易地进行 勾 画 , 从 而完成各种 G esture的 动作。对于 鼠标 来说 , 这些 勾画 动 作都是不可想象的。 以纸笔为 隐 喻 !的笔 交互技 术具有 以下特 点 [ 4] : ( 1 ) 笔 作 为输入工具既可以完成指 点绘制 功能 ; 也可以 进行文 字输入 和 手势输入 ; 融合 了鼠标和键盘的输入功能 , 减少了用户在两种 输
图
2
与凸包的面积 ( A ch) 之比 来判定。 三角形 ( A lt/A ch) 比 值趋 于 1 , 其他图形 ( A lt/A ch) 比要小。 类似地 , P er为外接矩形的 周长。对 于矩形 , 外接 矩形的 周 长与凸包的周长特别 接近 , 因此 通过 ( P ch /P er) 矩 形与椭 圆、 菱 形区分出来。 我们发现椭圆与菱 形最难辨 别。我们 用更复 杂的比 , 其 中 包括 凸 包、 最 大 内 接 三 角 形 和 内 接 矩 形 的 面 积。 这 个 比 ( A ch2 ) /( A e r * A lt) 将椭圆与菱形 区分开 , 对于椭圆该比的值 要 大于菱形的值。因为菱形面积大概是三角形面积的两倍。若 面 积比 ( A lt/A er) 的值低于 50% 那么这个对象则是菱形 , 否则该图 形不能被识别。为了保持上面的关系 , 识别菱形的时候 , 必须 对 菱形设定为约束的几何图形 ( 例如不被旋转 ) 。 我们用 ( ( Pch* N Strks) /L en) 来 辨 别虚 线 和实 线 , 这 里 的 N Strks 是草图的笔划数。因 虚线 图形有 大量 笔划组 成 , 每个 笔 划的长度都非常小 , 虚线图形 这个比值 相对于 封闭图 形的比 值 更大。