Kinari Nishiura,Eun-Hye Choi,Osamu Mizuno
不具合組合せ特定とは,組合せテストの各テストケースの実行結果の成否から,バグを含むと思わ れるパラメータ値の組合せを特定する問題である.本研究では,機械学習を用いて不具合組合せを自動分 類するための手法を提案し,その評価を行う.提案手法では,まず,組合せテストケースに含まれるパラ メータ値の組合せとテスト結果の成否を学習モデルとしたロジスティック回帰分析を行い,それによって 得られる回帰係数値から,各パラメータ値の組合せが不具合組合せである疑わしさを決定する.次に,各 パラメータ値の組合せの疑わしさから,その組合せが不具合組合せであるか否かを自動分類するために, 閾値決定法および最大距離分割法の 2 つのクラスタリング手法を適用する. 最後に,実際にバグを含む オープンソースプロジェクトのプログラム flex,grep,make のテストスイートに対して提案手法を適用し た比較評価実験を行うことで,提案手法の有効性を示す.
西浦 生成,崔 銀惠,水野 修
Kinari Nishiura,Eun-Hye Choi,Osamu Mizuno
764
情報処理学会論文誌
4
4
1215-1224
0
機械学習による不具合組み合わせ特定への自動分類法の提案と評価
59
2018
Masanari Kondo,Keita Mori,Osamu Mizuno,Eun-Hye Choi
ソフトウェアの不具合予測は,ソフトウェアに潜む不具合を予測することで効率的なレビューやテ ストを可能にしようとするソフトウェア品質保証活動の 1 つである.従来の多くのソフトウェアの不具 合予測では,ソースコード分析による不具合予測を行っているが,粒度が粗くまた不具合予測の結果の フィードバックが遅い.この問題を解決するために,ソフトウェアの変更がコミットされたときに,その 変更によって不具合が起きるかどうかを予測する手法が提案され,近年注目を集めている.ソフトウェア の変更コミットの不具合予測に関する既存研究では,その変更に対するメトリクス(たとえば,修正され たファイル数,追加されたコード行数など)を計算した後に機械学習や深層学習を適用している.それに 対して,本研究では,変更のソースコード片のみに対して深層学習を適用することで不具合を予測する手 法,Word-Convolutional Neural Network(W-CNN)を提案する.我々は,評価実験によって,変更ソー スコード片に対する深層学習を用いた不具合予測が可能であること,さらに,提案手法 W-CNN は先行研 究に比べて,学習の時間はかかるものの,不具合予測の精度が優れており,予測時間が短いことを示す.
近藤 将成,森 啓太,水野 修,崔 銀惠
Masanari Kondo,Keita Mori,Osamu Mizuno,Eun-Hye Choi
765
情報処理学会論文誌
4
4
1250-1261
0
深層学習によるソースコードコミットからの不具合混入予測
Just-in-Time Defect Prediction Applying Deep Learning to Source Code Changes
59
2018
Osamu Mizuno,Hideaki Hata
本論文では我々が提案するスパムフィ ルタを用いた不具合を含むソフトウェアモジュール (Fault-prone モジュール) 検出手法と従来行われてきた 手法との比較実験について述べる.また,比較結果の 考察から,状況に応じて利用するモデルを変更するこ とで実用的な予測結果が得られると予想し,その実証 実験を行った.その結果,不具合が出る可能性の高い 部分に重点的に提案手法を適用することで,不具合検 出精度が向上することを確認した.
水野 修,畑 秀明
Osamu Mizuno,Hideaki Hata
604
電子情報通信学会論文誌D
IEICE Transactions on Information and Systems
1
1
409-412
0
スパムフィルタを用いたFault-proneモジュール検出法の予測精度に関する従来法との比較評価
A Comparative Study on Fault-prone Module Prediction Between Spam-filter Based Approach and Complexity Metrics Based Approach
J94-D
2011
Daiki Watanabe,Kinari Nishiura,Osamu Mizuno
組み合わせテストによる不具合誘発パラメータ組み合 わせの特定は,ソフトウェア開発者が不具合誘発の原因 となる要因を特定する上で重要な役割を果たす.近年, 様々な研究者によって組み合わせテストの手法が数多く 提案されている.一方で,不具合の個数や不具合誘発条 件の複雑さ,用いるシステムの規模などで示されるある 特定の状況下において,実際どの手法を用いれば最も効 率よく正確に不具合誘発パラメータ組み合わせを特定で きるのかという疑問が抱かれる.本論文では,これまで に提案された 3 種類の従来手法を用いて,組み合わせテ ストにかかる処理時間,必要な追加テストケースとその 実行回数,不具合特定成功率といった 3 つの観点を中心 に比較評価を行った.実験の結果,用いたテストスイー トの変化による同一手法内でのデータの変化や,同一の テストスイートにおける 3 種類の従来手法の実験結果 の差異について収集することが出来た.また,得られた データを元に比較を行い,3 種類の従来手法の有用性の 差別化や,テストスイートの変化が引き起こす影響につ いての結論を示した.
渡辺 大輝,西浦 生成,水野 修
Daiki Watanabe,Kinari Nishiura,Osamu Mizuno
ソフトウェア・シンポジウム2018論文集
786
6
47-56
2
不具合誘発パラメータ組み合わせ特定三手法の比較評価
2018
Kinari Nishiura,Eun-Hye Choi,Osamu Mizuno
不具合組み合わせ特定とは,組み合わせテストの各テストケースの実行結果の成否から,バグを含むと思われるパラメータ値の組み合わせを特定する問題である.我々は,機械学習を用いた不具合組み合わせ特定に取り組んでいる.本研究では,まず,組み合わせテストケースに含まれるパラメータ値の組み合わせとテスト結果の成否をモデルとしたロジスティック回帰分析を行い,それによって得られた回帰係数値から,各パラメータ値の組み合わせが不具合組み合わせである疑わしさを決定する.次に,各パラメータ値の組み合わせの疑わしさから,それが不具合組み合わせであるか否かを自動分類するために,境界値決定法,最大距離分割法,K-means 法の 3 つのクラスタリング手法を適用する.最後に,実際にバグを含むオープンソースプロジェクトのプログラム flex,grep,make のテストスイートに対して提案法を適用した比較評価実験を行うことで,提案法の有効性を示す.
学生奨励賞受賞論文
西浦 生成,崔 銀惠,水野 修
Kinari Nishiura,Eun-Hye Choi,Osamu Mizuno
ソフトウェアエンジニアリングシンポジウム2017論文集 (SES2017)
762
8
東京都
情報処理学会
25-34
2
機械学習による不具合組み合わせ特定への自動分類法の提案と評価
2017
Masanari Kondo,Keita Mori,Osamu Mizuno,Eun-Hye Choi
ソフトウェアの不具合予測は,ソフトウェアに潜む不具合を予測することで効率的なレビューやテストを可能にしようとするソフトウェア品質保証活動の 1 つである.従来の多くのソフトウェアの不具合予測では,ソースコード分析による不具合予測を行なっているが,粒度が荒くまた不具合予測の結果のフィードバックが遅い.この問題を解決するために,ソフトウェアの変更がコミットされた時に,その変更によって不具合が起きるかどうかを予測する手法が提案され,近年注目を集めている.ソフトウェアの変更コミットの不具合予測に関する既存研究では,その変更に対するメトリクス (例えば,修正されたファイル数,追加されたコード行数など) を計算した後に機械学習や深層学習を適用している.それに対して,本研究では,変更のソースコード片のみに対して深層学習を適用することで不具合を予測する手法 (W - CNN) を提案する.我々は,評価実験によって,変更ソースコード片に対する深層学習を用いた不具合予測が可能であること,更に,提案手法 W - CNN は先行研究に比べて,学習の時間はかかるものの,不具合予測の精度が優れていることを示す.
最優秀論文賞受賞論文
近藤 将成,森 啓太,水野 修,崔 銀惠
Masanari Kondo,Keita Mori,Osamu Mizuno,Eun-Hye Choi
ソフトウェアエンジニアリングシンポジウム2017論文集 (SES2017)
763
8
東京都
情報処理学会
35-44
2
深層学習による不具合混入コミットの予測と評価
2017
Osamu Mizuno, Tohru Kikuno, Katsumi Inagaki, Yasunari Takagi, Keishi Sakamoto
本研究では,プロジェクトデータの分析に採用するコスト予測精度に関する分類
基準と,その分類で使用するしきい値について統計的仮説検定を用いて考察する.
まず,分類基準に関しては,コストの見積り誤差がマイナス方向に大きくふれた
プロジェクト(例えば,見積りよりも20\%少ないコストで終了したプロジェクト)
を成功プロジェクトと混乱プロジェクトのいずれとみるかの分類基準について議
論する.統計的仮説検定の結果,そうしたプロジェクトを混乱プロジェクトとす
ることの妥当性が確認できた.
次に,分類のしきい値については,幾つかの代表的なしきい値について実際にク
ラス分けをして,統計的仮説検定を行った.その分析の結果,$\pm10\%$をしき
い値として成功プロジェクトと混乱プロジェクトに分けるという開発現場で利用
されている基準値の妥当性が確認できた.
なお,これらの妥当性の確認はあくまでも今回の分析の対象としたプロジェクト
においてできたことであって,現時点では必ずしも一般化できる状況にはない.
水野修,菊野亨,稲垣勝巳,高木徳生,坂本啓司
ソフトウェアシンポジウム'98論文集
264
6
大阪
77-82
2
コスト見積り誤差評価の統計的仮説検定を用いた考察
1998
Osamu Mizuno,Shota Kuroda,Kazuhiro Ishihara,Daisuke Yamashita
水野 修,黒田 翔太,石原 一宏,山下 大輔
Osamu Mizuno,Shota Kuroda,Kazuhiro Ishihara,Daisuke Yamashita
900
電子情報通信学会
1
Copyright(C)2020 IEICE
SS2020-17
3
テキスト分類による不具合予測システムの実装と企業環境での評価
An Implementation of Text-classification Based Fault-prone Module Detection and Its Application to Industrial Environment
電子情報通信学会技術報告
2021
Ryosuke Morii,Osamu Mizuno,Tohru Kikuno
不具合が混入していそうなモジュール(Fault-prone(FP)モジュール)の検出はソフトウェアテストにおける重要な問題の一つである.これまでにも多くの研究が行われてきたが,それらの多くはソフトウェアメトリクスを利用して予測を行うため,メトリクスの収集環境が必要であった.そこで,我々は「Fault-prone フィルタリング」という手法を提案している.この手法ではモジュールを単にテキストと見なし,ベイズの定理を用いたテキスト分類技術を利用して予測を行うため,メトリクスの収集や測定を行う必要がない.
しかし,この手法のこれまでの実装ではモジュール単位でFPか否かの予測を行うことはできるが,モジュールのどの部分が不具合に関連していそうなのかという具体的な情報を入手することはできなかった.そこで本論文ではモジュール単位に加え,トークン単位でもFPか否かを予測し,ソースコード中における不具合の可能性が高いトークンを推定するツールを試作した.また,適用実験としてオープンソースソフトウェアeclipseの関連プロジェクトを対象とし,トークン単位での予測精度の測定を行った.
森井 亮介,水野 修,菊野 亨
Ryosuke Morii,Osamu Mizuno,Tohru Kikuno
電子情報通信学会技術研究報告
Technical Report of IEICE
530
5
宮崎市
64, SS2008-4
19-24
3
ソースコード中に含まれる不具合トークンをテキスト分類に基づいて推定するツールの試作と評価
Identifying Fault-Prone Tokens in Source Code Modules with Spam-Filtering Technique
108
2008
Takayasu Yagi,Osamu Mizuno,Tohru Kikuno
八木 隆裕,水野 修,菊野 亨
Takayasu Yagi,Osamu Mizuno,Tohru Kikuno
ソフトウェア信頼性研究会第4回ワークショップ論文集
508
6
松山市
35-43
3
SPAMフィルタを用いたFault-Proneモジュールの予測 -- 異なるプロジェクトの学習結果を利用した精度評価
2007
Osamu Mizuno, Shinji Kusumoto, Tohru Kikuno
実際のソフトウェア開発では,前の工程の作業が完全に終了しないうちに,次の工程の作業が見切り発車して並列実行されることが多い.こうした並列実行をした場合のソフトウェア品質への影響についてはほとんど議論がなされていない.一方,我々は拡張一般化確率ペトリネットを用いてソフトウェア開発プロセスを形式的にモデル化し,シュミュレ-ションによって評価する方法を提案している.本稿では,このモデルを開発プロセスの並列実行に適用し,開発時間,残存フォ-ルト数への影響を定量的に評価する.
水野 修,楠本 真二,菊野 亨
電子情報通信学会技術研究報告
249
5
77-78, SS97-9
33-40
3
ソフトウェア開発プロセスの並行実行に対する拡張一般化確率ネットに基づく評価
Application of Extended Generalized Stochastic Petri-net Model To Parallel Execution of Design and Coding Activities
97
1997
Daiki Watanabe
渡辺 大輝
Daiki Watanabe
781
卒業研究報告書, 京都工芸繊維大学
2
7
不具合誘発パラメータ組み合わせ特定三手法の比較評価
2018
Shota Okumura
奥村 祥太
Shota Okumura
754
卒業研究報告書, 京都工芸繊維大学
2
7
組み合わせテストによる設定テスト試行環境の作成と評価
2017
Keita Mori
森 啓太
Keita Mori
750
2
7
京都工芸繊維大学 大学院工芸科学研究科
深層学習による不具合混入コミットの予測モデルの提案とその評価
An Application of Deep Learning Based Classifier to Defect Prediction
2017
Tsuyoshi Fujiwara
藤原 剛史
Tsuyoshi Fujiwara
751
2
7
京都工芸繊維大学 大学院工芸科学研究科
ベイズ推定による優先度付き組み合わせテストの改良と不具合発見傾向の評価
Improvement of the Bayesian Inference Based Prioritized Combinatorial Testing and Assessment of the Tendency to Detect Faults
2017
Shunya Kawabata
河端 駿也
Shunya Kawabata
卒業研究報告書, 京都工芸繊維大学
681
2
7
開発者ネットワークに基づく開発者評価サービスの試作
2014
Yoshitaka Matsumura
松村 好剛
Yoshitaka Matsumura
先端科学技術演習報告書, 京都工芸繊維大学
666
2
7
テキストフィルタに基づく不具合検出手法の細粒度リポジトリへの適用と評価
2012
Yuta Yamada
山田 悠太
Yuta Yamada
卒業研究報告書, 京都工芸繊維大学
630
2
7
テキスト分類に基づく不具合混入モジュール予測法に対する細粒度学習の適用評価
2011
Masanari Kondo,Keita Mori,Osamu Mizuno,Eun-Hye Choi
近藤 将成,森 啓太,水野 修,崔 銀惠
Masanari Kondo,Keita Mori,Osamu Mizuno,Eun-Hye Choi
784
情報処理学会論文誌
Trans. of Information Processing Society of Japan
4
4
1250-1261
8
特選論文: 深層学習によるソースコードコミットからの不具合混入予測
Specially Selected Paper: Just-In-Time Defect Prediction Applying Deep Learning to Source Code Changes
59
2018
Masanari Kondo,Keita Mori,Osamu Mizuno,Eun-Hye Choi
近藤 将成,森 啓太,水野 修,崔 銀惠
Masanari Kondo,Keita Mori,Osamu Mizuno,Eun-Hye Choi
NPO法人 ASTER
772
3
8
NPO法人 ASTER
善吾賞: 深層学習による不具合混入コミットの予測と評価(SES2017発表論文)
2018
Kinari Nishiura,Eun-Hye Choi,Osamu Mizuno
西浦 生成,崔 銀惠,水野 修
Kinari Nishiura,Eun-Hye Choi,Osamu Mizuno
ソフトウェアエンジニアリングシンポジウム2017 (SES2017)
767
8
8
学生奨励賞: 機械学習による不具合組み合わせ特定への自動分類法の提案と評価
2017
Masanari Kondo,Keita Mori,Osamu Mizuno,Eun-Hye Choi
近藤 将成,森 啓太,水野 修,崔 銀惠
Masanari Kondo,Keita Mori,Osamu Mizuno,Eun-Hye Choi
ソフトウェアエンジニアリングシンポジウム2017 (SES2017)
768
8
8
最優秀論文賞: 深層学習による不具合混入コミットの予測と評価
2017