nuluh/thesis
1
0
Fork 0
Code Issues 47 Pull Requests Actions Packages Projects Releases 1 Wiki Activity

feat(images): add inference and scree plot images for model evaluation

Browse Source
This commit is contained in:
Rifqi D. Panuluh
2025-10-13 00:17:51 +00:00
parent e1e0b07944
commit 0017d686b6
15 changed files with 101 additions and 32 deletions
Download Patch File Download Diff File Expand all files Collapse all files

91
latex/chapters/id/04_results.tex
View File

@@ -70,7 +70,7 @@ total variansi data.
\begin{figure}[H]
\centering
\includegraphics[width=.75\textwidth]{chapters/img/sensor1/scree_plot.png}
\includegraphics[width=.75\textwidth]{chapters/img/scree_plot.png}
\caption{Diagram \textit{scree} hasil analisis PCA pada dataset $\mathcal{D}_A$ dan $\mathcal{D}_B$.}
\label{fig:scree_plot}
\end{figure}
@@ -208,35 +208,35 @@ dengan skema \textit{stratified 5-fold cross-validation} menghasilkan total 1000
Setiap kombinasi dievaluasi menggunakan metrik akurasi rata-rata
pada data validasi.
\subsection{Evaluasi Keseluruhan}
Distribusi akurasi seluruh kandidat model ditunjukkan pada
Gambar~\ref{fig:grid_hist}.
Sebagian besar kombinasi menghasilkan akurasi di atas~95\%,
menunjukkan bahwa fitur STFT memiliki daya klasifikasi yang kuat
terhadap kondisi struktur.
% \subsection{Evaluasi Keseluruhan}
% Distribusi akurasi seluruh kandidat model ditunjukkan pada
% Gambar~\ref{fig:grid_hist}.
% Sebagian besar kombinasi menghasilkan akurasi di atas~95\%,
% menunjukkan bahwa fitur STFT memiliki daya klasifikasi yang kuat
% terhadap kondisi struktur.
\begin{figure}[H]
\centering
% \includegraphics[width=.65\textwidth]{figures/grid_hist.pdf}
\caption{Distribusi akurasi validasi silang dari 225 kombinasi parameter $(C,\gamma,n_{\text{components}})$.}
\label{fig:grid_hist}
\end{figure}
% \begin{figure}[H]
% \centering
% % \includegraphics[width=.65\textwidth]{figures/grid_hist.pdf}
% \caption{Distribusi akurasi validasi silang dari 225 kombinasi parameter $(C,\gamma,n_{\text{components}})$.}
% \label{fig:grid_hist}
% \end{figure}
\subsection{Pengaruh Jumlah Komponen PCA}
Rata-rata akurasi tertinggi untuk setiap nilai $n_{\text{components}}$
ditampilkan pada Gambar~\ref{fig:pca_acc_overall}.
Terlihat bahwa akurasi meningkat hingga mencapai puncak pada rentang
$n_{\text{components}} = 64$--$128$, kemudian menurun ketika jumlah komponen
dikurangi secara agresif.
Hal ini menunjukkan bahwa sekitar 10–25\% komponen utama sudah cukup
merepresentasikan informasi penting dari fitur STFT.
% \subsection{Pengaruh Jumlah Komponen PCA}
% Rata-rata akurasi tertinggi untuk setiap nilai $n_{\text{components}}$
% ditampilkan pada Gambar~\ref{fig:pca_acc_overall}.
% Terlihat bahwa akurasi meningkat hingga mencapai puncak pada rentang
% $n_{\text{components}} = 64$--$128$, kemudian menurun ketika jumlah komponen
% dikurangi secara agresif.
% Hal ini menunjukkan bahwa sekitar 10–25\% komponen utama sudah cukup
% merepresentasikan informasi penting dari fitur STFT.
\begin{figure}[H]
\centering
% \includegraphics[width=.7\textwidth]{figures/pca_acc_overall.pdf}
\caption{Rata-rata akurasi terhadap jumlah komponen PCA berdasarkan hasil pencarian \textit{grid}.}
\label{fig:pca_acc_overall}
\end{figure}
% \begin{figure}[H]
% \centering
% % \includegraphics[width=.7\textwidth]{figures/pca_acc_overall.pdf}
% \caption{Rata-rata akurasi terhadap jumlah komponen PCA berdasarkan hasil pencarian \textit{grid}.}
% \label{fig:pca_acc_overall}
% \end{figure}
\subsection{Peta Akurasi terhadap Parameter SVM}
Untuk setiap kanal sensor, peta akurasi terhadap parameter $C$ dan~$\gamma$
@@ -448,7 +448,7 @@ Optimasi model yang dilakukan yaitu dengan melakukan \textit{fine grid-search} p
\subsection{Diagram \textit{Fine Grid-Search Heatmap}}
Gambar~\ref{fig:svm_fine_heatmap} menunjukkan diagram \textit{heatmap} terhadap parameter \textit{fine grid-search} $C$ dan~$\gamma$ untuk masing-masing sensor. Akurasi tertinggi pada Sensor A diperoleh pada $C= \{\,2^{8}, \,2^{8.5}, \,2^{9}, \,2^{9.5}, \,2^{10}, \,2^{10.5},\,2^{11}, \,2^{11.5}, \,2^{12} \,\}$ dan $\gamma=2^{-9.5}$ dengan akurasi meningkat 0.15\% menjadi 99.54\%, sedangkan pada Sensor B diperoleh pada $C = \{\,2^{5},\,2^{5.5} \,\}$ dan $\gamma= \{\, 2^{-3},\, 2^{-3.5},\, 2^{-4}\,\}$ dengan akurasi meningkat 0.05\% menjadi 99.49\%. Hasil ini menunjukkan bahwa optimasi \textit{hyperparameter} lebih lanjut dapat meningkatkan performa model meskipun peningkatannya relatif kecil dibandingkan dengan model \textit{baseline}.
\begin{figure}
\begin{figure}[H]
\centering
\subfloat[Sensor A (PCA 32)]{\includegraphics[width=.48\textwidth]{chapters/img/sensor1/grid_fine_pca32.png}}
\centering
@@ -521,7 +521,40 @@ weighted avg & 0.99 & 0.99 & 0.99 & 17955.00 \\
\end{figure}
\section{Model \textit{Inference} dan Visualisasi Prediksi}
Setelah model \textit{fine grid-search} dievaluasi, dilakukan proses \textit{inference} pada data uji untuk memvisualisasikan prediksi model. Gambar~\ref{fig:inference_s1a} dan~\ref{fig:inference_s2a} menunjukkan hasil prediksi model pada Sensor A dan Sensor B dalam \textit{heatmap} dan grafik probabilitasnya.
Setelah model \textit{fine grid-search} dievaluasi, dilakukan proses \textit{inference} pada data uji untuk memvisualisasikan prediksi model. Gambar~\ref{fig:inference_undamaged}, \ref{fig:inference_damaged_17}, dan~\ref{fig:inference_damaged_30} menunjukkan beberapa hasil prediksi model pada Sensor A dan Sensor B dalam \textit{heatmap} dan grafik probabilitasnya.
Pada kasus struktur tanpa kerusakan (Gambar~\ref{fig:inference_undamaged}), model memberikan prediksi \textit{false-positive}, sehingga beberapa titik pada \textit{heatmap} menunjukkan probabilitas kerusakan hingga 50\% meskipun struktur sebenarnya dalam kondisi baik, sedangkan pada kasus kerusakan \textit{joint} 17 (Gambar~\ref{fig:inference_damaged_17}) dan \textit{joint} 30 (Gambar~\ref{fig:inference_damaged_30}), model berhasil mengidentifikasi lokasi kerusakan dengan probabilitas tinggi ($\approx 100\%$) pada area yang sesuai. Hal ini menunjukkan bahwa model memiliki kemampuan deteksi kerusakan yang baik, meskipun masih terdapat beberapa \textit{false-positive} pada kondisi tanpa kerusakan.
\begin{figure}[H]
\centering
\subfloat[Grafik probabilitas prediksi model pada Sensor A]{\includegraphics[width=.48\textwidth]{chapters/img/sensor1/pod_fine_s1a_undamaged.png}}\hfill
\subfloat[\textit{Heatmap} prediksi model pada Sensor A]{\includegraphics[width=.48\textwidth]{chapters/img/sensor1/inference_fine_s1a_undamaged.png}} \\[1ex]
\centering
\subfloat[Grafik probabilitas prediksi model pada Sensor B]{\includegraphics[width=.48\textwidth]{chapters/img/sensor2/pod_fine_s2a_undamaged.png}}\hfill
\subfloat[\textit{Heatmap} prediksi model pada Sensor B]{\includegraphics[width=.48\textwidth]{chapters/img/sensor2/inference_fine_s2a_undamaged.png}}
\caption{Hasil \textit{inference} model \textit{fine grid-search} pada data uji (\textit{Dataset} B) kasus struktur tidak rusak.}
\label{fig:inference_undamaged}
\end{figure}
\begin{figure}[H]
\centering
\subfloat[Grafik probabilitas prediksi model pada Sensor A]{\includegraphics[width=.48\textwidth]{chapters/img/sensor1/pod_fine_s1a_damaged17.png}}\hfill
\subfloat[\textit{Heatmap} prediksi model pada Sensor A]{\includegraphics[width=.48\textwidth]{chapters/img/sensor1/inference_fine_s1a_damaged17.png}} \\[1ex]
\centering
\subfloat[Grafik probabilitas prediksi model pada Sensor B]{\includegraphics[width=.48\textwidth]{chapters/img/sensor2/pod_fine_s2a_damaged17.png}}\hfill
\subfloat[\textit{Heatmap} prediksi model pada Sensor B]{\includegraphics[width=.48\textwidth]{chapters/img/sensor2/inference_fine_s2a_damaged17.png}}
\caption{Hasil \textit{inference} model \textit{fine grid-search} pada data uji (\textit{Dataset} B) kasus kerusakan \textit{joint} 17.}
\label{fig:inference_damaged_17}
\end{figure}
\begin{figure}[H]
\centering
\subfloat[Grafik probabilitas prediksi model pada Sensor A]{\includegraphics[width=.48\textwidth]{chapters/img/sensor1/pod_fine_s1a_damaged30.png}}\hfill
\subfloat[\textit{Heatmap} prediksi model pada Sensor A]{\includegraphics[width=.48\textwidth]{chapters/img/sensor1/inference_fine_s1a_damaged30.png}} \\[1ex]
\centering
\subfloat[Grafik probabilitas prediksi model pada Sensor B]{\includegraphics[width=.48\textwidth]{chapters/img/sensor2/pod_fine_s2a_damaged30.png}}\hfill
\subfloat[\textit{Heatmap} prediksi model pada Sensor B]{\includegraphics[width=.48\textwidth]{chapters/img/sensor2/inference_fine_s2a_damaged30.png}}
\caption{Hasil \textit{inference} model \textit{fine grid-search} pada data uji (\textit{Dataset} B) kasus kerusakan \textit{joint} 30.}
\label{fig:inference_damaged_30}
\end{figure}
% \section{Efisiensi Komputasi}
% \subsection{Perbandingan Waktu Latih}