Comprehensible Rendering
形状理解を助ける3次元形状表現

インタラクティブレンダリング、絵画表現、リアルタイムCG強調表現などを研究しています。NPRというキーワードがない時代から、この3次元形状表現分野を研究してきました。1985年の情報処理学会創立25周年記念論文賞を受賞した論文は、学会誌「情報処理」に掲載れていますが、初めて「カラー印刷」をした論文となりました。この論文は「グラフィクスとCAD研究会」の推薦であり、当時主査であった 川合慧先生が論説をまとめて書いています。この中は、グラフィクスと情報処理、グラフィクスの諸要素、対話の重要性と技法について述べており、そのあとに「形状表現のためのレンダリング」の重要性と意味をまとめていただいています。「対話型グラフィクスが持つフィードバック・ループ上の高品質情報の実現を、3次元形状という最も研究が遅れていた分野において達成した」と書いていただいています。
http://id.nii.ac.jp/1001/00005725/
さらに、この論文は、情報処理学会「50年のあゆみ」の「コンピュータグラフィックス」の節においても、先駆的な研究として評価されています。ただし世界的にみれば、英語論文である文献1，3が引用されることが多いです。

１. Kunio KONDO, Fumihiko KIMURA, Taro TAJIMA , An Interactive Rendering Technique for 3-D Shapes,　EUROGRAPHICS’85, pp.341-352,1985
2. 近藤邦雄, 田嶋太郎,木村文彦, インタラクティブレンダリングシステムによる3次元形状の表現, 情報処理学会,情報処理,Vol.26,No.11, 1985,　(情報処理学会創立25周年記念論文賞)
3. Kondo, K., Kimura, F., and Tajima, T. An Interactive Rendering System with Shading. In Japan Annual Reviews in Electronics, Computers ~ Telecommunications 18, Computer Science and Technologies, Kitagawa, T. (Ed.), Ohmsha and North-Holland, Tokyo, pp. 255-271, 1988
4. 近藤邦雄, 穂坂　衛,木村文彦, 田嶋太郎, 曲面の形状感の表現, 精機学会,秋期大会　1981.11　
5. 近藤邦雄,木村文彦, 曲面の形状感の表現　第1報, 第1報中間調を用いた図の作成,精機学会,精密機械, 第49巻,第12号1983.12

この分野の研究は、1990年にSIGGRAPHでNon Photorealistic Rendering（NPR)というセッションが初めて作られるおよそ10年前から開始しています。たとえば、次の1990年の論文にも上記の研究論文3が引用されています。
Takafumi Saito, Tokiichiro Takahashi， Comprehensible rendering of 3-D shapes,SIGGRAPH '90 Proceedings of the 17th annual conference on Computer graphics and interactive techniques，pp.197-206,1990

このSIGGRAPH後にNPRの研究が大きく注目され、写実的な表現が中心であったCG研究の新たな分野として発展することとなりました。
　この研究は名古屋大学教養部図学教室の田嶋太郎先生のもとで行ってきました。さらに、東京大学穂坂衛先生、木村文彦先生にも博士論文執筆のために研究指導をしていただくという機会をいただきました。木村先生の研究室には毎月のようにお邪魔して、ご指導いただくという貴重な時間をいただきました。このとき、カセットテープレコーダーでご指導中録音して、帰宅後に文章にして手紙で送るということをしてきました。おかげで、研究の進め方や論文のまとめ方の資料もまとまりました。

●博士論文：
近藤邦雄、インタラクティブレンダリングによる3次元形状表現に関する研究（東京大学にて1988年工学博士）
http://iss.ndl.go.jp/books/R100000002-I000000216087-00
この博士論文は、 このページでも見ることができます。

Interactive Rendering
インタラクティブレンダリングシステム
現在では一般的なソフトウエアとして利用できるペイントソフト、フォトレタッチソフトですが、1600万色を表示できるディスプレイが一台で1000万円位した1980年当初は、研究で利用できる貴重な実験装置でした。文献1，2、3では、濃淡表現ができるインタラクティブなペイントシステムを提案しました。文献4では、2本のBezier曲線で囲まれる領域にshading計算をするための手法を提案しており、これによってなめらかな濃淡表現を可能にしました。また、文献5ではこのような濃淡表現を利用するために、数百枚の絵画を分析して、shadingのルールを提案しました。この分析時には書籍の絵画を一枚づつカメラで撮影した写真に対して、それらの特徴を事細かに書いていき、共通的な部分をまとめていました。この分析によってさまざまな濃淡表現を整理してアルゴリズムを提案することができました。またこの分析やアルゴリズムはデザイナーにもヒアリングしてまとめています。このシステムは、(株)笹徳印刷との共同研究であり、当時まだコンピュータグラフィックスを利用したパンフレットは珍しいことからいろいろと活用されました。また、国内外の学会会議のポスターにも活用されました。このBezier曲線を利用したsoft shadingをもう少し厳密に考えていけば、Bezier Clippingと同じような手法を見つけられたかもしれないと、Bezier Cilpping法の内容を理解したあとから思いました。

1. 近藤邦雄,田嶋太郎,木村文彦, Computer　Aided　Renderingの技術,情報処理学会, グラフィクスとCAD研究会シンポジウム,1984.12
2. 近藤邦雄,田嶋太郎,木村文彦,曲面の形状感の表現　第2報ペイントシステムCARPの作成,精密工学会,精密機械,Vol.51,No.61, 1985.6
3. Kunio KONDO, Fumihiko KIMURA, Taro TAJIMA , An Interactive Rendering Technique for 3-D Shapes,　EUROGRAPHICS’85, pp.341-352,1985
4. 近藤邦雄, 田嶋太郎, 木村文彦,レンダリングのための濃淡表現アルゴリズム,日本図学会, 図学研究,Vol.39, 1986.9
5. 近藤邦雄,木村文彦, 田嶋太郎,絵画における濃淡表現の分類と計算機による濃淡表現法,日本図学会,図学研究,Vol.40,1987.3

このような絵画風の研究は、次のような水墨画や墨絵の研究にも展開しています。
1.Tomoyuki Nishita, Shinichi Takita, and Eihachiro Nakamae,Display Algorithm of Brush Strokes using Bezier Functions,, CGI'93; Proc. of Computer Graphics International 1993, pp.244-257, 1993-6
2. Qinglian Guo, Tosiyasu L. Kunii,Modeling the Diffuse Paintings of ‘Sumie', Modeling in Computer Graphics, IFIP Series on Computer Graphics 1991, pp 329-338,1991
Adobe Photoshopは現在よく知られたフォトレタッチソフトですが、発売は1990年であり、本研究をはじめとする1980年代の多くのカラー画像生成手法の研究成果が活用されていると思います。

また、このレンダリングシステムはアパレル分野でも注目され、八王子市にある東京都繊維工業試験場の加藤陽一氏らがこのシステムを試験場のコンピュータに移植し、活用していただきました。さらに笹徳印刷はこのシステムをパーソナルコンピュータ(NEC PC9800シリーズ)に移植し、広く活用することを進め、このシステムの評価実験をしていただいた愛知県立芸術大学野崎悠子先生らに長く利用していただきました。
1985年にEutrographicsの後に訪問したドイツのダルムシュタット大学で学会会議用に制作した画像をみて、3次元モデルを利用したレンダリング結果と勘違いされました。これは、提案システムの描画機能が3次元モデルを表現するためにも適していたことを示すいい例です。

1. 加藤陽一,　近藤邦雄, コンピュータ・グラフィックスのアパレル産業への応用, 情報処理学会,情報処理, Vol.29 No.10 ,1988.10

Pen & Ink Rendering
Pen & Ink　レンダリング

この研究は1980年初期から始めており、1981年に「曲面の形状感の表現」というタイトルで発表しています。コンピュータグラフィックスの研究が写実的な画像生成に注目が集まっているときに、線図形で表現する目的を「形状の感じ」をきちんと伝えることができるように表現することを目標に線図形の表現技術を研究しました。形状をより良く表す方法、手描き風のイラストレーションを描くための方法、線分の太さ変化を表現する方法、手描きでは面倒なドットや線による陰影表現を研究してきました。2010年以降、リアルタイムで輪郭線の太さ変化を誇張する手法に関係する研究を大学院生が取り組んできました。

(1)線画レンダリング
1. 旭昌宏, 近藤邦雄, 島田静雄, 佐藤尚, イラスト図作画支援システムの開発 ,　第 7 回 NICOGRAPH 論文コンテスト, pp. 22-31, 1991　
2. 近藤邦雄, 穂坂　衛, 田嶋太郎,形状の感じを表わす線画レンダリング, 昭和54,55年度科学研究費報告書「幾何モデルとその応用に関する研究」,1980
3. 近藤邦雄, 穂坂　衛,木村文彦, 田嶋太郎, 曲面の形状感の表現, 精機学会,秋期大会　1981.11　

(2)ドット・ラインシェーディング
1.S. SHIMADA, K. KONDO, A. KANBARA, H. SATO, S. SHIMADA, Interactive Rendering Tool for Technical Illustration, Proc. of ICECGDG'94, pp.762-766, 1994
2. A.. KANBARA, K.. KONDO, H.. SATO, S. SHIMADA, Interactive Rendering System for Line Drawing by Dot and Line Shading in M. Gigante and T L Kunii (eds.), INSIGHT THROUGH COMPUTER GRAPHICS, World Scientific, pp. 172-179, 1996.
3. 近藤 邦雄,神原 章, 佐藤 尚, 島田 静雄, 尚　鴬武, レンダリングのための対話型線画表現法, 日本図学会,図学研究第55号, pp.11-15, 1992
4. 尚鳳武,近藤邦雄,佐藤尚,島田静雄, 3次元形状のための対話型線画表現システム,日本図学会, 1991年度大会研究発表会,1991
5. 神原　章, 近藤　邦雄,佐藤　尚,島田　静雄, PostScript を用いたテクニカルイラストレーション作画システムの構築,情報処理学会, 全国大会講演論文集 第44回平成4年前期(2), pp.343-344, 1992.2.24
6. 神原　章,近藤　邦雄,佐藤　尚,島田　静雄, 高品位白黒画像によるレンダリング手法, 情報処理学会, グラフィクスとCAD研究会, 63(1992-CG-058),pp.97-103, 1992.8
7. 神原章,近藤邦雄,佐藤尚,島田静雄, 3次元形状表現のための白黒画像の描画法, 情報処理学会, 情報処理学会論文誌 Vol. l34,No. 8, pp. 1762—1769,1993
8. 神原章,近藤邦雄,佐藤尚,島田静雄, 高品位白黒画像の濃淡制御法, 情報処理学会, 第46回全国大会講演論文集 2-363,1993
9. 島田繁広,近藤邦雄,佐藤尚,島田静雄,神原章, ドット・ラインシェーディングによる白黒画像のための強調描画手法,情報処理学会, グラフィクスと CAD シンポジウム論文集, pp.41-47, 1994
10. 関谷 英明, 島田 繁広,近藤 邦雄, 佐藤 尚,島田 静雄,モノクロレンダリングのためのテクスチャ描画アルゴリズム,情報処理学会,第50回全国大会講演論文集(2), pp.347-348,1995
11. 島田繁広,関谷英明,近藤邦雄,佐藤尚,島田静雄,3次元形状のための白黒画像の強調描画手法,Visual Computing'95, pp.108-109,1995
12. 関谷 英明, 島田 繁広,近藤 邦雄, 佐藤 尚,モノクロレンダリングのためのテクスチャ描画手法,　情報処理学会,グラフィックスとCAD研究会報告,Vol.95, No.78,pp.81-87,1995

(3) アニメ調輪郭線のリアルタイムレンダリング
1. 松尾隆志, 三上浩司, 渡辺大地, 近藤邦雄,リアルタイム3DCG における物体の形状を考慮した輪郭線の誇張表現手法の提案,芸術科学会,第2.回NICOGRAPH論文コンテスト論文集,DVD(II-2) ,2010.9
2. 松尾隆志,三上浩司,渡辺大地,近藤邦雄,リアルタイム3DCGにおける物体の形状を考慮した輪郭線の誇張表現手法の提案,芸術科学会, 芸術科学会論文誌,第10巻 ,第4号, pp.251-262,2011.12
3. 松尾隆志,渡辺大地,近藤邦雄,三上浩司, アニメ調輪郭線のリアルタイムレンダリング　－連続した太さ変化のある輪郭線表現－,コンピュータエンタテインメントソフトウェア協会（CESA）,CEDEC2011,2011.9
4. 松尾隆志,三上浩司,渡辺大地,近藤邦雄,形状の特徴や動的な変形を考慮したリアルタイム3DCGにおける輪郭線の誇張表現手法,映像情報メディア学会,映像情報メディア学会誌,Vol.67, No.2,2013.3

1980年代からこのような分野に取り組んで、手描き風のイラストレーション描画手法をNICOGRAPH1991で発表しできました。この時期Line　Drawingや輪郭線描画の研究は新しく、卒業研究生が新しいアイデアをもとに実装し描画実験などをすることによって、学会誌論文に掲載されることがありました。
　このようなline Drawingに関連する研究は、1990年以降にNPRの分野として多くの研究者が取り組んでおり、その成果は90年代のSIGGRAPHなどで多数発表されています。
文献：

さらに、2000年以降、コンピュータの性能の向上とゲームにおける表現の拡大によって、輪郭線描画の研究もリアルタイム性が求められてきました。メディア学部のゲーム研究は幅広く、CG技術の研究も扱われており、リアルタイム３DCGにおける輪郭線の誇張表現にも展開してきました。

Enhanced Outline Redering
3次元モデルの輪郭線描画手法


3次元形状の理解を助ける表現に輪郭線の描画を行うことが有効な手法のひとつです。1990年のSIGGRAPHで形状理解を助ける手法として提案されています。本研究では、輪郭線の色の変更、太さの変更を行うことができるなどの特徴があります。対象立体の形状は、ポリゴンや細分割曲面です。また、1990年代から取り組んだ手法はトゥーンレンダリングへの応用に展開しました。また、2010年代になり、リアルタイムの輪郭線描画手法にも発展しています。
(1)形状特徴表現のためのエッジ強調描画
1. 望月義典, 近藤邦雄,形状特徴表現のためのエッジ強調描画手法, 情報処理学会,情報処理学会論文誌, Vol.40, No.3, pp.1148-1155,1998
2. Yoshinori Mochizuki, Kunio Kondo, Hisashi Sato , Enhanced Edge Rendering for Comprehensible Image, Proceedings of the 8th ICECGDG, Vol.1, pp.194-199,1998
3. 望月 義典,近藤邦雄, 細分割曲面の輪郭線描画手法, 情報処理学会,情報処理学会論文誌, Vol.41, No.3,pp.601-607 2000.3

4. 望月義典,近藤邦雄,佐藤尚,島田静雄,輪郭線描画による形状表現法,画像電子学会,Visual Computing’96予稿集,1996
5. 望月義典,近藤邦雄,佐藤尚,島田静雄,形状理解を容易にする特徴強調画像の生成,情報処理学会,第52回全国大会論文集,2-397,1996
6. 望月義典,近藤邦雄,佐藤尚,島田静雄,特徴強調描画法による形状表現法,日本図学会, 1997年度大会（東京）学術講演論文集,pp.83-86,1997
7. 望月 義典, 近藤 邦雄, 細分割曲面の輪郭線抽出描画手法, 日本図学会,1999年度大会研究発表会1999.5.8

この望月の研究は、金子満先生によりアニメのトゥーンレンダリングにおける輪郭線描画に応用されて、広く日本のアニメ表現の一つとして活用されるようになりました。
●博士論文
金子満：次世代アニメーション制作システムに関する研究，東京工業大学、1996
http://tdl.libra.titech.ac.jp/hkshi//ja/recordID/dissertation.bib/1000294450
文献：
1．金子満、中嶋正之、セルアニメタッチ画像生成のための3次元画像の2次元アルゴリズム、テレビジョン学会誌、Vol.49, No.10,pp.1288-1295,1995
2.金子満、中嶋正之、ノンフォトリアリスティックアニメーションの生成、情報処理学会グラフィクスとCAD研究会、76-4,pp.23-30,1995
この後、輪郭線描画の研究は、ゲームなどのリアルタイム表現における手法に発展しました。輪郭線の太さ変化も可能な手法を提案しています。
(2)リアルタイム3DCGにおける輪郭線の誇張表現
1. 松尾隆志,三上浩司,渡辺大地,近藤邦雄,形状の特徴や動的な変形を考慮したリアルタイム3DCGにおける輪郭線の誇張表現手法,映像情報メディア学会,映像情報メディア学会誌,Vol.67, No.2,2013.3
2. 松尾隆志,三上浩司,渡辺大地,近藤邦雄,リアルタイム3DCGにおける物体の形状を考慮した輪郭線の誇張表現手法の提案,芸術科学会, 芸術科学会論文誌,第10巻 ,第4号, pp.251-262,2011.12
3. 松尾隆志, 三上浩司, 渡辺大地, 近藤邦雄,リアルタイム3DCG における物体の形状を考慮した輪郭線の誇張表現手法の提案,芸術科学会,第26回NICOGRAPH論文コンテスト論文集,DVD(II-2) ,2010.9
4. 松尾隆志,渡辺大地,近藤邦雄,三上浩司, アニメ調輪郭線のリアルタイムレンダリング　－連続した太さ変化のある輪郭線表現－,コンピュータエンタテインメントソフトウェア協会（CESA）,CEDEC2011,2011.9
●博士論文
望月義典、エッジ描画による特徴強調表現とその応用,2000
http://dl.ndl.go.jp/info:ndljp/pid/3170777

Anime Perspective
アニメ　パース：　形状誇張のための投影変換

マンガやアニメには、透視投影をもとにした表現が多数使われています。しかしその描画方法は、透視投影計算とは異なる誇張した表現が行われている場合があります。本研究では、マンガやアニメの投影法を分析して、描画する対象の形状を誇張する手法を提案しました。投影法に基づく計算法は、カメラによる撮影をシミュレーションしているともいえます。多くの場面でこのような投影図は利用されますが、このような図のほかに、いろいろな目的に合わせて、投影法に従わず、人に示したい情報が伝えられるような表現方法がアニメや漫画、さらには、イラストなどの分野で使われています。本提案手法は、基本原理である投影法を改良していますが、このような単一のカメラを用いた研究以外にも多数のカメラを用いた研究、形状を変形する研究などがあります。

1．宮澤貴之,望月義典,近藤邦雄,佐藤尚,島田静雄, ３次元形状を誇張するための投影変換手法, テレビジョン学会, テレビジョン学会誌, Vol.50, No.10, pp.1543-1548,1996
2. 望月義典, 近藤邦雄, 宮澤貴之, 誇張表現制御のための投影変換,第14回NICOGRAPH/ MULTIMEDIA論文コンテスト論文集, pp.66-72,1998 , (第14回NICOGRAPH/MULTIMEDIA論文コンテスト奨励賞受賞)
3. 宮澤貴之,近藤邦雄,佐藤尚,島田静雄,形状を誇張するための投影変換図法,情報処理学会,第52回全国大会論文集,2-399,1996
4. 宮澤貴之,望月義典,近藤邦雄,佐藤尚,島田静雄,3次元形状を誇張するための投影変換手法, 1996年テレビジョン学会映像メディア部門冬季大会 講演予稿集, p.67, 1996.12
5. 宮澤貴之,佐藤宗幸,望月義典, 近藤邦雄,佐藤尚,島田静雄,３次元形状を誇張するための投影変換手法,日本図学会, 1997年度大会（東京）学術講演論文集,pp.77-82,1997

この研究は、細田の研究に発展するとともに、国内外で次のような地図の表現やマルチプロジェクションなどの研究に発展しています。これから分かるように、多くの研究者が研究するNPRの一つの分野になりました。
文献：

Illustration from a Photogram
写真のイラストレーション変換

写真を入力して、イラストレーション風の画像を出力する手法を提案しました。ある大きさの領域を同じ色にして、その領域に輪郭線を描いたりすることができる機能があります。このような技術はデジタルカメラによるさまざまな写真加工フィルターに応用される手法であり、画像データが与えられたら、与えられた一定のパラメータによって、イラストレーションに変換することができます。イラストを描くという行為を楽しむ手法でなく、使いたいイラストを短時間で得たいような場合に使う技術です。


1. Yusuke HAMASAKI, Kunio KONDO, Image Generation Method using Synthesis and Control of Rendering Region, Asia Digital Art and Design Association, International Journal of ADADA, Vol.1, pp.31-36, 2004.4,
. Yusuke HAMASAKI, Kunio KONDO, Image Generation Method using Synthesis and Control of Rendering Region, Asia Digital Art and Design Association, Proceedings of the 1st annual conference of Asia Digital Art and Design Association, pp.70-71,2003.9
3. 濱崎雄介,近藤邦雄 ,実写画像をもとにしたイラストレーションの生成手法,画像電子学会・情報処理学会,Visual Computing/グラフィクスと CAD 合同シンポジウム 2003, pp.189 -194,2003.6,
4.濱崎雄介,近藤邦雄,領域分割と合成処理によるイラスト画像の生成手法 ,芸術科学会, NICOGRAPH2003,2003.5,

■公開ソフトウエアとサンプル画像(近日、公開予定)
このソフトウエアは、市民講座などでも配布をして利用していただきました。デジタルカメラで撮影した画像をBMPファイルに変換さえすれば、イラスト変換ができます。
また、このソフトは領域処理をしており、大まかな領域を求めることにも有用であり、各種の画像変換ソフトにも応用ができます。

Artistic Rendering
画像内容を考慮した抽象化に基づく絵画風レンダリング手法



(1)絵画分析と視覚パラメータによる絵画風画像生成
1. 米山孝史,源田悦夫,近藤邦雄,視覚パラメータに基づく絵画風画像生成手法, 日本図学会,図学研究, Vol.43, No.4, pp.13-21,2009.12　
2. Takashi Yoneyama, Kunio Kondo, Masaki Fujihata, Vision based Feature Analysis of Paintings and Parametric Transformation, Asia Digital Art and Design Association, Proceedings of the 3rd annual conference of Asia Digital Art and Design Association,pp.106-107,2005.12
3. Takashi Yoneyama, Kunio Kondo, Masaki Fujihata, Analysis of Paintings and Image Synthesis using 3D models, Asia Digital Art and Design Association, Proceedings of the 4th annual conference of Asia Digital Art and Design Association, pp.132-133,2006.12,
4. Takashi Yoneyama, Etsuo Genda, Kunio Kondo ,Proposal of Image Generation Methods based on the Process of Visual Information Processing, Asia Digital Art and Design Association, Proceedings of the 5th annual conference of Asia Digital Art and Design Association, 2007.12
5. Takashi Yoneyama, Etsuo Genda, Kunio Kondo, Painterly Renderings Using a Synthesis of Painting Styles Based on Visual Perception, proc. of VRCAI,DVD,2009.12
6. 米山孝史,近藤邦雄,藤幡正樹,視覚に基づく絵画の特徴分析とパラメータ変換の提案,画像電子学会 ,画像電子学会2006 年度第34 回年次大会予稿集, pp.7-8,2006.6
7. 近藤邦雄,米山孝史, 視覚に基づく絵画の特徴分析とパラメータ変換の提案, CREST21 Art シンポジウム「描く」を科学する, pp.19-26, 2006.1
8. 米山 孝史, 近藤 邦雄, 藤幡 正樹, 視覚モジュールに基づく絵画の特徴分析と画像生成手法,画像電子学会,情報処理学会, Visual Computing/グラフィクスと CAD 合同シンポジウム 2007, 2007.6

(2)抽象化に基づく3次元形状モデルの絵画風レンダリング
1. Takashi Yoneyama, Etsuo Genda, Kunio Kondo, Artistic Rendering of Buildings with Levels of Detail, Asia Digital Art and Design Association, Proceedings of the annual conference of Asia Digital Art and Design Association,　 2008.11
2. Takashi Yoneyama, Etsuo Genda, Kunio Kondo,Artistic Rendering of 3D Models with Levels of Abstraction, International Journal of ADADA, Asia Digital Art and Design Association,Vol.9-10,pp.13-20,2009.12
3. 米山孝史, 源田悦夫, 近藤邦雄, ,建築物を含む風景画・背景画の視覚に基づく特徴分析と画像生成手法, 日本図学会,2008年度日本図学会大会講演論文集, 2008.5


藤幡先生のもとでCREST研究を2007年まで実施した成果をもとに、九州大学大学院博士課程で、源田悦夫先生の指導により、この研究が発展しました。

●博士論文：
米山孝史，画像内容を考慮した抽象化に基づく3次元形状モデルのレンダリング手法に関する研究, 2010, 九州大学にて取得
https://ndlopac.ndl.go.jp/F/?func=full-set-set&set_number=856268&set_entry=000001&format=999