Image Based Modeling from a Simgle Image
単一画像からの3次元モデル生成手法

1980年代から図法幾何学を応用したインタラクティブな透視図の作図、2次元投影図から3次元形状復元の研究をしてきました。単一画像から3次元形状モデルを生成する手法として、図学の作図方法をもとにして2次元上で透視図を作図する手法を提案し、その透視図から3次元形状を復元する方法や単一写真画像から視点を求める手法を提案し、3次元モデルを幾何学的に正しく合成する手法を提案しました。本研究を進めるきっかけは図学(図法幾何学)の透視図作図法です。図学は、紙の上に定規やコンパスを利用して透視図を作図する方法を扱っています。定規は直線、コンパスは円を描く道具ですが、この機能をコンピュータで行うことは直線描画や円の描画、さらには、これらの交点計算などを行うことを作図の手法に従って用いれば、透視図を描くことができます。さらに、ホーエンベルグの著書(技術者のための構成幾何学」には、透視図から、立体の形状を求める作図方法が示されています。これをコンピュータの計算に置き換えることによって、一枚の画像から、立体を復元するアルゴリズムを提案できると考えました。
本研究の成果である対話型透視図作図手法」は、透視図を用いた線画イラスト描画システムとして共同研究をしていた(株)笹徳印刷からPC用のソフトウエアとして販売されました。

1. 近藤邦雄, 木村文彦,田嶋太郎,手描き透視図の視点推定とその応用,情報処理学会論文誌 29(7), pp.686-693, 1988.7.15
2. 近藤邦雄, 木村文彦,田嶋太郎, レンダリングのための対話型透視図作図手法,情報処理学会論文誌 29(8), pp.721-728, 1988.8.15
3. 近藤邦雄,田嶋太郎, 木村文彦,レンダリングのための対話型透視図作画法, 情報処理学会,グラフィクスとCAD研究会,1986.7.113.
4．近藤邦雄,田嶋太郎, 木村文彦,手描き透視図の視点推定とその応用, 情報処理学会,グラフィクスとCAD研究会シンポジウム,1986.12

これらの1986年に研究発表した10年後の1996年のSIGGRAPHでP. E. Debevecらが一枚の写真から形状復元する手法を提案しています。また、Y. Horryらは、一枚の画像にユーザが指定したメッシュに基づいて、3次元的な背景を推定し、一部制約はあるが、視点を動かしてアニメーションを生成することを提案しています。


1．　 P. E. Debevec and C. J. Taylor and J. Malik. Modeling and Rendering Architecture From Photographs: A Hybrid Geometry- and Image-Based Approach. In Proceedings of SIGGRAPH 96, pp. 11-20, 1996.
http://www.pauldebevec.com/Research/debevec-siggraph96-paper.pdf

2． Y. Horry, K.-I. Anjyo and K. Arai. Tour into the Picture : Using a Spidery Mesh Interface to Make Animation from a Single Image. In Proceedings of SIGGRAPH 97, pp. 225-232, 1997.
http://dl.acm.org/citation.cfm?id=258854

一枚の画像から立体を復元するにはいろいろな制約がありますが、その制約をユーザがうまく与えることなどして、形状を求める方法のほか、陰影などの画像に含まれる情報を利用した研究もあります。ただしこのような手法は、形状認識に応用されていることが多く、モデリングや映像制作への応用は行われていない時期でした。

B. K. P. Horn, “Shape from Shading, a Method for Obtaining the Shape of a Smooth Opaque Objectfrom One View,” Ph. D. Thesis, Department of ElectTical Engineering, MIT, 1970.
http://people.csail.mit.edu/bkph/AIM/AITR-232-OPT.pdf
M. Bichsel,A. P. Pentland,A Simple Algorithm for Shape from Shading,　In IEEE Proceedings of Computer Vision and Pattern Recognition, pp.459-465,1992
http://crcv.ucf.edu/papers/shah/99/ZTCS99.pdf

我々の単一画像から3次元形状を求める研究は、1990年代になって、スケッチインタプリタ―としてスケッチを手書き入力しながら3次元形状を得るという手法や、大日本印刷との共同研究である写真の中に新たな製品をはめ込んだり、色変更をしたりするシステム開発をして、特許取得まで発展しました。

Sketch Interpreter for Polygon Mesh

図法幾何学を応用したインタラクティブな透視図の作図、2次元投影図から3次元形状復元の研究をもとに手描きスケッチをしながら3次元形状を生成する手法を提案しました。多面体(直方体)を最初に与えておいて、それを切断したり、その面を基準にしてスケッチして直方体を追加したりする手法を提案しました。

1. 杉下悟,近藤邦雄,佐藤尚,島田静雄, ３次元形状生成のためのスケッチインターフェース, 情報処理学会,第48回全国大会講演論文集 3-313,1994
2. S. SUGISHITA, K. KONDO, H. SATO, S. SHIMADA, F. KIMURA, Interactive Freehand Sketch Interpreter for Geometric Modelling, Proc. of the 6th Inter. Conf. on Human-Computer Interaction,vol.1, pp.561-566, 1995
3. SUGISHITA S., KONDO K., SATO H., SHIMADA S. Sketch Interpreter System for Geometric Modelling, Proc. of ICCAGD, Vol.??, pp.??, 1995
4. XU Z.,S. SUGISHITA, K. KONDO, H. SATO, S. SHIMADA, Free-form Surfaces Generation in Freehand Sketch Interpreter System, CADEM'95, Xi'an, pp. 267-272, 1995
5. S. SUGISHITA, K. KONDO, H. SATO, S.SHIMADA, Sketch Interpreter for geometric modelling, Annals of Numerical Mathematics 3, pp.361-372,1996
6. K.MATSUDA,S.SUGISHITA, XU Z., K.KONDO, H.SATO, S.SHIMADA, Freehand Sketch System for 3D Geometric Modeling, Shape Modeling International, pp.55-62, 1997.3
7. Zheng XU, K.KONDO, H.SATO, S.SHIMADA, A 3D Interactive Interface for Geometric Modeling, International Technical Conference On Circuits/ Systems Computers & Communications, pp.711-714, 1997.7
8. 杉下　悟, 徐　 崢,松田浩一, 近藤邦雄,佐藤　尚, 島田静雄, フリーハンドスケッチによる３次元形状入力法, グラフィックスとＣＡＤシンポジウム論文集, pp.1-8, 1995
9. 松田　浩一, 杉下　悟,徐　崢, 近藤　邦雄,佐藤　尚, 島田　静雄, 対話型スケッチシステムのためのユーザインタフェース, 第11回ヒューマン・インタフェース・シンポジウム, pp.69-76,1995
10. 杉下　悟, 近藤　邦雄,佐藤　尚, 島田　静雄,スケッチ入力による３次元幾何モデルの作成,情報処理学会, 第50回全国大会講演論文集(2), pp.413－414,1995

このような我々の1990年代の対話的にフリーハンドスケッチをしながら3次元形状を生成する研究は、1999年のSIGGRAPHで五十嵐健夫先生により発表されたTeddyによって、その後、大きく注目される分野として研究がとても盛んになりました。
文献：Takeo Igarashi, Satoshi Matsuoka, Hidehiko Tanaka, "Teddy: A Sketching Interface for 3D Freeform Design" ACM SIGGRAPH'99, Los Angels, pp.409-416,1999,
Takeo Igarashi, John F. Hughes, "Smooth Meshes for Sketch-based Freeform Modeling", ACM Symposium on Interactive 3D Graphics, ACM I3D'03, Monterey, California, April 27-30, pp.139-142, 2003

精密工学会でこれらの手法や関連研究を整理する機会を得て、「デジタルスタイルデザイン」海文堂(2008）という書籍の一部に掲載されました。これをきっかけに、さらにサーベイ論文としてまとめる機会を2005年に設計工学会から頂きました。その後、このサーベイをもとに2008年にICGGで招待講演をしました。この講演を聞いていたミラノ工科大学のLuigi先生に大変興味を持っていただき、ミラノ工科大学150周年記念シンポジウムでも招待講演をすることができました。このときの講演で最後に紹介したスケッチモデリングはメディアサイエンス専攻の渡辺先生らとの共同研究でした。このミラノ工科大学の招待講演の内容を出版することになり、2014年に渡辺先生と共著でインタラクティブスケッチモデリングのサーベイと我々の研究紹介をまとめることができました。
1. 近藤邦雄,工業デザインのためのフリーハンドスケッチを用いたインタラクティブモデリング,日本設計工学会,設計工学,Vol.41,No.1 ,pp.11-21,2005.12
2. KONDO　Kunio,　Interactive Geometric Modeling using Freehand Sketches, International Society for Geometry and Graphics, 2008.8　（Invited talk）
3. Kunio KONDO, INTERACTIVE SKETCH INTERPRETER FOR GEOMETRIC MODELING, The visual language of technique, between science and art: heritage and expectations in research and teaching ( Politecnico di Milano, Italy),2013.6（Invited talk）
4. Kunio Kondo, Taichi Watanabe, Interactive Sketch Interpreter for Geometric Modeling, The Visual Language of Technique, Volume 2, Heritage and Expectations in Research, Springer-Verlag, 2014.10
http://www.springer.com/new+%26+forthcoming+titles+(default)/book/978-3-319-05340-0

Sketch Interpreter using a 3D Sketch Surface
　3次元平面のスケッチ面を設定して、その面上に図形を描きながら3次元モデルを生成する手法を提案しました。3次元空間上に自由に描くことは容易であると思われますが、意図した形状を描くには、平面などの上に描くという制限があったほうが良いという考えから研究が始まっています。
1. XU Z.,S. SUGISHITA, K. KONDO, H. SATO, S. SHIMADA, Free-form Surfaces Generation in Freehand Sketch Interpreter System, CADEM'95, Xi'an, pp. 267-272, 1995
2. Zheng XU, K.KONDO, H.SATO, S.SHIMADA, A 3D Interactive Interface for Geometric Modeling, International Technical Conference On Circuits/ Systems Computers & Communications, pp.711-714, 1997.7
仮想現実感などの研究が進んでいますが、空間内で意図した位置を的確に示すことはむつかしいです。コンピュータに対してユーザの意図をどの程度曖昧さを持って入力できるかも大きな課題といえます。

Sketch Interpreter using Freehand Sketch Lines


逐次清書を利用した3次元モデルのスケッチ入力手法
１. 松田　浩一, 杉下　悟,徐　崢, 近藤　邦雄,佐藤　尚, 島田　静雄, 対話型スケッチシステムのためのユーザインタフェース, 第11回ヒューマン・インタフェース・シンポジウム, pp.69-76,1995
2. 松田 浩一, 小森 望, 近藤邦雄,３次元形状入力のための逐次清書を用いたスケッチインタフェース,精密工学会, 1997年度秋期大会学術講演論文集 ,pp.475, 精密工学会, 1997.10
3. 松田浩一, 近藤邦雄, 3次元形状入力のためのスケッチインタプリタシステム,第14回NICOGRAPH/ MULTIMEDIA論文コンテスト論文集, pp.17-26,1998
4. 小森望 , 松田浩一 , 近藤邦雄 , 3次元形状入力のためのペンベースインターフェース ,情報処理学会, 第56回 全国大会 , 講演論文集(分冊4),pp.84-85 ,1998

5. 松田浩一, 近藤邦雄, ペンベースインタフェースによる曲線の逐次清書法,情報処理学会, 第56回 全国大会 , (講演論文集(分冊4),pp.84-85) ,1998
6. 松田浩一, 近藤邦雄, 木村文彦, 手書き入力インタフェースを用いた3次元形状の直接制御法 日本図学会,1999年度大会（東京）学術講演論文集, pp.145-150, 1999.5
7. 松田浩一, 小森望, 近藤邦雄, 木村文彦, 3次元形状モデリングのためのフリーハンドによる直接制御法 ,情報処理学会, 研究報告(ヒューマンインタフェース), 99-HI-83, pp.13-18, 1999.5
8. 松田浩一, 近藤邦雄, 木村文彦, スケッチ情報を利用した3次元形状制御法 ,情報処理学会研究報告(グラフィクスとCAD),99-CG-96, pp.55-60, 1999.8

●博士論文
松田浩一,逐次清書によるスケッチ情報を用いた3次元形状入力手法,2000
http://iss.ndl.go.jp/books/R100000002-I000000355966-00

Sketch Interpreter using Section Lines
断面線入力による曲面モデリングの研究

1. 松田浩一, 近藤邦雄, スケッチ情報を利用した手描きによる細分割曲面生成法, 情報処理学会,情報処理学会論文誌, Vol.41, No.3, pp.551-558,1999
2. 松田浩一,近藤邦雄, 手描き断面線を用いた細分割曲面生成手法,日本図学会, 図学研究, Vol.34, No.1, pp.17-22,1999
上記2つは2000年にもあるので、チェックが必要

3. K. Kondo, H. Shizuka, W. Liu, K. Matsuda,A Sketch Interpreter System with Shading and Cross Section Lines, Journal for Geometry and Graphics, Volume 9, No.2, pp.177-189, 2005
4. Haruki Shizuka, Weizhong Liu, Kunio Kondo, Koichi Matsuda, A Sketch Interpreter System with Shading and Cross Section Lines by Freehand Drawing, International Society for Geometry and Graphics, Proceeding of International Conference on Geometry and Graphics, pp.357-362 ,2004.8
5. 松田浩一,近藤邦雄 ,曲線の重ね書き入力を用いた3次元形状入力法 ,情報処理学会,第58回（平成11年前期）全国大会講演論文集第4分冊, pp.187-188, 1999.3

Sketch Interpreter by Shading Control

Shadingを利用した3次元モデル生成
1. K. Kondo, H. Shizuka, W. Liu, K. Matsuda,A Sketch Interpreter System with Shading and Cross Section Lines, Journal for Geometry and Graphics, Volume 9, No.2, pp.177-189, 2005
2. 松田浩一,鈴木俊博,静春樹,近藤邦雄,スケッチインタプリタシステム:手描き陰影による3 次元形状制御法,情報処理学会,情報処理学会論文誌, Vol.44,No.11,pp.2547-2555, 2003.11,
3. Haruki Shizuka, Weizhong Liu, Kunio Kondo, Koichi Matsuda, A Sketch Interpreter System with Shading and Cross Section Lines by Freehand Drawing, International Society for Geometry and Graphics, Proceeding of International Conference on Geometry and Graphics, pp.357-362 ,2004.8

4. 鈴木俊博,　松田浩一,　近藤邦雄, 手描きスケッチにおける陰影表現を用いた3次元形状制御法,日本図学会, 本部例会,　2001.12
5. 鈴木俊博,近藤邦雄,松田浩一, 手描きスケッチにおける陰影表現を利用したスケッチインタプリタ, 情報処理学会, 第64回（平成14年前期）全国大会講演論文集第4分冊, pp.779-780, 2002.3
6. 静 春樹,鈴木俊博,近藤邦雄,手描きスケッチにおける陰影表現を用いた３次元形状制御手法,情報処理学会,グラフィクスとCAD研究会, 2002-CG-108,108-2,pp.7-12,2002.8
7. 静　春樹,松田　浩一,近藤邦雄 ,手描き断面線と陰影表現を用いた3次元形状入力手法,画像電子学会,情報処理学会,Visual Computing /グラフィクスと CAD 合同シンポジウム 2004, pp.25-30, 2004.6,
8. 戸津　光,松田　浩一, 近藤邦雄,　Weizhong Liu ,手描き陰影による曲面形状の制御法,芸術科学会,2004年第3回NICOGRAPH春季大会論文&アート部門コンテスト ,pp.31-32 ,2004.5

Sketch Interpreter using Topology Library

3次元形状の投影図を利用して、スケッチをしながら意図した形状を決めていくときの、スケッチラインのトポロジーを分析して、そのトポロジーをもとに3次元形状に対する切断や追加などの処理を行う手法を提案しています。ポリゴン形状に対して本手法を利用しながら、細分割曲面の生成にも展開しています。スケッチ情報を分析して部分的な形状認識をトポロジーテンプレートで行うことに特徴があります。


1. Weizhong Liu, Kunio Kondo, Jun Mitani,3D Geometric Modeling Using 2D Template Topology Library, The Society for Art and Science, Proceedings of NICOGRAPH International 2005, pp.95-100,2005.4
2. Weizhong Liu, Kunio Kondo, Jun Mitani, Geometric Modeling by Using Freehand Sketch Input with Template Topology Library, Applications of Digital Techniques in Industrial Design Engineering-CAID&CD'2005, Proceedings of the 6th international conference on Computer-Aided Industrial Design & Conceptual Design, pp. 135-140 ,2005.5
3. Weizhong Liu, Kunio Kondo, Jun Mitani, An Interactive Sketch-based Modeling System using a Topology Library and Subdivision Surfaces,Eurographics,2nd Eurographics Workshop on Sketch-based Interfaces and Modeling (SBM2005), Eurographics Symposium Proceedings,pp.89-98,2005.8
4. Weizhong Liu, Kunio Kondo, Jun Mitani, Geometric Modeling using 2D template by Freehand Drawings,日本図学会,2005年度大会学術講演論文集, pp. 81-86, 2005.5
5. Weizhong Liu, Kunio Kondo, Jun Mitani, A Freehand Sketch Interpreter System for Constructing 3D Solid Models. インタラクション2005, 情報処理学会シンポジウムシリーズ. Vol. 2005, No.4, pp.159-160, 2005.2


●博士論文
Weizhong Liu，A 3D sketch interpreter system using template library and subdivision methods for geometric modeling（形状モデリングのためのテンプレートライブラリと細分割手法を用いたスケッチインタプリターシステムの構築），2005

http://iss.ndl.go.jp/books/R100000002-I000008132651-00

Sketch Interpreter using Implisit Surface

MPU陰関数曲面を用いて形状を表現し、それに対して、スケッチラインを描くことにより、内外判定をして、切断を行うことや、変形や拡大などの機能も取り入れたモデリングシステムを提案しました。この形状データは、STLデータにも変換ができることから、光造形システムによってモデルを制作しました。
1. Kunio Kondo, Taichi Watanabe, Interactive Sketch Interpreter for Geometric Modeling, The Visual Language of Technique, Volume 2, Heritage and Expectations in Research, Springer-Verlag, 2014.10
http://www.springer.com/new+%26+forthcoming+titles+(default)/book/978-3-319-05340-0
2. 黄檗 雅也,大竹 豊,金井 崇,近藤 邦雄,MPU陰関数曲面を用いたスケッチモデリングシステム,画像電子学会,情報処理学会,　Visual Computing /グラフィクスと CAD 合同シンポジウム 2006,2006.6
3. 黄檗 雅也,大竹 豊・金井 崇,近藤 邦雄,陰関数曲面を用いた集合演算によるスケッチモデリングシステム ,日本図学会,2006年度大会学術講演論文集,2006.5
4. 黄檗雅也,大竹豊,金井崇,近藤邦雄 ,インタラクティブスケッチによる陰関数曲面モデリング,画像電子学会 ,ビジュアルコンピューティングワークショップ2006, 2006.10
5 黄檗雅也, 大竹豊, 金井崇, 道川隆士, 近藤邦雄, 断面線を用いた陰関数曲面の生成, 日本図学会, 2007年度大会学術講演論文集, 2007.5

1. 近藤邦雄,黄檗雅也,大竹豊,金井崇,道川隆士,日本図学会第2回デジタルモデリングコンテスト入選, フリーハンドスケッチによる3次元形状モデリング, 2008

Sketch Interpreter with History Management of Strokes


1. Ryota Takeuchi, Taichi Watanabe, Koji Mikami, Kunio Kondo, Proposal of digital sculpting with history management of strokes,芸術科学会論文誌,Vol.11, No.4, 2012.12
2.Ryota Takeuchi, Taichi Watanabe, Koji Mikami, Kunio Kondo, Proposal of digital sculpting with history management of strokes, NICOGRAPH International 2012, 2012

●博士論文
竹内亮太，ストローク履歴を活用した3次元形状モデリング手法の研究,2012
博士（メディアサイエンス）