697 lines
40 KiB
TeX
697 lines
40 KiB
TeX
\chapter{Hasil Penelitian dan Pembahasan}
|
||
Bab ini menyajikan hasil dari proses ekstraksi fitur, analisis eksplorasi data,
|
||
pengembangan model klasifikasi, serta evaluasi kinerja model.
|
||
Hasil yang diperoleh selanjutnya dianalisis untuk menilai kemampuan model dengan fitur yang telah diekstraksi
|
||
dalam mendeteksi dan mengklasifikasikan lokasi kerusakan struktur \textit{grid}.
|
||
% \section{Pendahuluan Singkat}
|
||
% Bab ini menyajikan hasil evaluasi model untuk prediksi lokasi kerusakan berbasis fitur domain waktu dan frekuensi yang diekstrak dari STFT. Tujuan utama evaluasi adalah menguji apakah kombinasi fitur waktu--frekuensi dapat meningkatkan kinerja klasifikasi dibandingkan masing-masing domain secara terpisah, serta menilai kelayakan pendekatan sensor terbatas untuk penerapan di lapangan.
|
||
|
||
% Secara ringkas, kami menampilkan: (i) performa utama pada data uji, (ii) analisis per-kelas dan pola kesalahan, (iii) studi ablation dan sensitivitas mencakup fitur, parameter STFT, serta jumlah/posisi sensor, dan (iv) uji robustness serta implikasi implementasi. Detail metodologi eksperimen telah diuraikan pada Bab Metodologi; bagian ini berfokus pada temuan empiris dan interpretasinya.
|
||
|
||
\section{Hasil Ekstraksi Fitur STFT}
|
||
Bagian ini menyajikan contoh hasil transformasi STFT yang diterapkan
|
||
pada sinyal percepatan dari sensor atas dan bawah.
|
||
Analisis dilakukan untuk memastikan konsistensi pola spektral
|
||
dan kesetaraan ukuran data antar kelas sebelum proses pelatihan model.
|
||
|
||
Gambar~\ref{fig:stft-undamaged} memperlihatkan hasil STFT gabungan (\textit{aggregated}) untuk seluruh titik join tanpa kerusakan (kelas 0).
|
||
\begin{figure}[htbp]
|
||
\centering
|
||
\begin{minipage}{0.48\textwidth}
|
||
\centering
|
||
\includesvg[width=\textwidth, pretex=\tiny]{chapters/img/sensor1/stft-undamaged-1}
|
||
% \caption{Caption for the first image.}
|
||
% \label{fig:image1}
|
||
\end{minipage}\hfill
|
||
\begin{minipage}{0.48\textwidth}
|
||
\centering
|
||
\includesvg[width=\textwidth, pretex=\tiny]{chapters/img/sensor2/stft-undamaged-2}
|
||
% \caption{Caption for the second image.}
|
||
% \label{fig:image2}
|
||
\end{minipage}
|
||
\caption{STFT tanpa kerusakan (undamaged). Sensor A (kiri) dan Sensor B (kanan)}
|
||
\label{fig:stft-undamaged}
|
||
\end{figure}
|
||
|
||
Gambar~\ref{fig:stft-damaged-multiple-a} dan Gambar~\ref{fig:stft-damaged-multiple-b} memperlihatkan hasil STFT gabungan (\textit{aggregated}) untuk seluruh titik join dengan kerusakan (kelas 1--6). Setiap 513 segmen waktu merepresentasikan kolom sensor yang ditinjau.
|
||
\begin{figure}[htbp]
|
||
\centering
|
||
\includesvg[width=\textwidth, pretex=\tiny, inkscapelatex=true]{chapters/img/sensor1/stft-damaged-multiple-1.svg}
|
||
\caption{STFT sensor A dengan kerusakan (damaged $d_1$\textemdash $d_6$).}
|
||
\label{fig:stft-damaged-multiple-a}
|
||
\end{figure}
|
||
\begin{figure}[htbp]
|
||
\centering
|
||
\includesvg[width=1\textwidth, pretex=\tiny, inkscapelatex=true]{chapters/img/sensor2/stft-damaged-multiple-2.svg}
|
||
\caption{STFT sensor B dengan kerusakan (damaged $d_1$\textemdash $d_6$).}
|
||
\label{fig:stft-damaged-multiple-b}
|
||
\end{figure}
|
||
|
||
|
||
\section{Analisis Eksplorasi Data}
|
||
\label{sec:eda}
|
||
|
||
Sebelum tahap pelatihan model dilakukan, diperlukan analisis eksplorasi
|
||
untuk memahami distribusi dan karakteristik data fitur hasil ekstraksi
|
||
STFT pada himpunan $\mathcal{D}_A$ dan $\mathcal{D}_B$.
|
||
Analisis ini bertujuan untuk menilai sejauh mana fitur yang diperoleh
|
||
mampu merepresentasikan perbedaan kondisi struktur
|
||
serta menentukan parameter reduksi dimensi yang sesuai
|
||
pada tahap pemodelan berikutnya.
|
||
|
||
\subsection{Analisis Komponen Utama (PCA)}
|
||
Transformasi \gls{pca} diterapkan terhadap data fitur berdimensi
|
||
$513$ untuk mengevaluasi proporsi variansi yang dapat dijelaskan
|
||
oleh setiap komponen utama.
|
||
Dengan menghitung \textit{explained variance ratio}, diperoleh
|
||
diagram \textit{scree} seperti pada Gambar~\ref{fig:scree_plot},
|
||
yang menunjukkan kontribusi masing-masing komponen terhadap
|
||
total variansi data.
|
||
|
||
\begin{figure}[H]
|
||
\centering
|
||
\includegraphics[width=.75\textwidth]{chapters/img/scree_plot.png}
|
||
\caption{Diagram \textit{scree} hasil analisis PCA pada dataset $\mathcal{D}_A$ dan $\mathcal{D}_B$.}
|
||
\label{fig:scree_plot}
|
||
\end{figure}
|
||
|
||
Dari Gambar~\ref{fig:scree_plot} terlihat bahwa \textit{explained ratio cumulative} 0.95 dicapai pada sekitar 300 komponen utama,
|
||
% Sebagai contoh, sepuluh komponen pertama menjelaskan sekitar
|
||
% $\alpha\%$ variansi kumulatif pada kanal sensor~A
|
||
% dan $\beta\%$ pada kanal sensor~B.
|
||
% Hasil ini menunjukkan bahwa terdapat redundansi di antara fitur-fitur
|
||
% frekuensi yang diekstraksi, sehingga reduksi dimensi
|
||
% dapat dilakukan tanpa kehilangan informasi signifikan.
|
||
|
||
\subsection{Reduksi Dimensi Sebelum Visualisasi}
|
||
Sebelum diterapkan metode reduksi dimensi non-linear seperti \gls{tsne}
|
||
dan \gls{pacmap}, \text{standard scaler}terlebih dahulu dilakukan pada data \textit{train split} yang kemudian reduksi dimensi linear diterapkan
|
||
menggunakan \gls{pca} untuk menghilangkan derau (\textit{noise}) dan mengurangi kompleksitas
|
||
fitur STFT yang berdimensi tinggi ($513$ dimensi).
|
||
Langkah ini umum digunakan untuk meningkatkan stabilitas dan efisiensi
|
||
proses embedding \parencite{JMLR:v9:vandermaaten08a}.
|
||
|
||
Pada penelitian ini, beberapa nilai komponen PCA digunakan \\
|
||
($n_\text{components}\in\{512,128,32,8\}$)
|
||
untuk menilai pengaruh tingkat reduksi terhadap hasil proyeksi t-SNE
|
||
dan PaCMAP.
|
||
Gambar~\ref{fig:pca_tsne_pacmap_A} dan~\ref{fig:pca_tsne_pacmap_B} memperlihatkan contoh visualisasi
|
||
dua dimensi hasil reduksi berurutan PCA $\rightarrow$ t-SNE dan
|
||
PCA $\rightarrow$ PaCMAP pada Sensor A dan B
|
||
% $\mathcal{D}_A$.
|
||
|
||
\begin{figure}[H]
|
||
\centering
|
||
\subfloat[PCA=512]{\includegraphics[width=.24\textwidth]{chapters/img/sensor1/tsne_original.png}}
|
||
\subfloat[PCA=16]{\includegraphics[width=.24\textwidth]{chapters/img/sensor1/tsne_pca16.png}}
|
||
\subfloat[PCA=8]{\includegraphics[width=.24\textwidth]{chapters/img/sensor1/tsne_pca8.png}}
|
||
\subfloat[PCA=4]{\includegraphics[width=.24\textwidth]{chapters/img/sensor1/tsne_pca4.png}} \\[1ex]
|
||
\subfloat[PCA=512]{\includegraphics[width=.24\textwidth]{chapters/img/sensor1/pacmap_original.png}}
|
||
\subfloat[PCA=16]{\includegraphics[width=.24\textwidth]{chapters/img/sensor1/pacmap_pca16.png}}
|
||
\subfloat[PCA=8]{\includegraphics[width=.24\textwidth]{chapters/img/sensor1/pacmap_pca8.png}}
|
||
\subfloat[PCA=4]{\includegraphics[width=.24\textwidth]{chapters/img/sensor1/pacmap_pca4.png}}
|
||
\caption{Visualisasi hasil reduksi bertahap pada $\mathcal{D}_A$ dengan PCA $\rightarrow$ t-SNE (baris atas)
|
||
dan PCA $\rightarrow$ PaCMAP (baris bawah).}
|
||
\label{fig:pca_tsne_pacmap_A}
|
||
\end{figure}
|
||
|
||
\begin{figure}[H]
|
||
\centering
|
||
\subfloat[PCA=512]{\includegraphics[width=.24\textwidth]{chapters/img/sensor2/tsne_original.png}}
|
||
\subfloat[PCA=16]{\includegraphics[width=.24\textwidth]{chapters/img/sensor2/tsne_pca16.png}}
|
||
\subfloat[PCA=8]{\includegraphics[width=.24\textwidth]{chapters/img/sensor2/tsne_pca8.png}}
|
||
\subfloat[PCA=4]{\includegraphics[width=.24\textwidth]{chapters/img/sensor2/tsne_pca4.png}} \\[1ex]
|
||
\subfloat[PCA=512]{\includegraphics[width=.24\textwidth]{chapters/img/sensor2/pacmap_original.png}}
|
||
\subfloat[PCA=16]{\includegraphics[width=.24\textwidth]{chapters/img/sensor2/pacmap_pca16.png}}
|
||
\subfloat[PCA=8]{\includegraphics[width=.24\textwidth]{chapters/img/sensor2/pacmap_pca8.png}}
|
||
\subfloat[PCA=4]{\includegraphics[width=.24\textwidth]{chapters/img/sensor2/pacmap_pca4.png}}
|
||
\caption{Visualisasi hasil reduksi bertahap pada $\mathcal{D}_B$ dengan PCA $\rightarrow$ t-SNE (baris atas)
|
||
dan PCA $\rightarrow$ PaCMAP (baris bawah).}
|
||
\label{fig:pca_tsne_pacmap_B}
|
||
\end{figure}
|
||
|
||
Hasil pada Gambar~\ref{fig:pca_tsne_pacmap_A} dan~\ref{fig:pca_tsne_pacmap_B} menunjukkan bahwa
|
||
pengurangan jumlah komponen PCA hingga 8 dimensi
|
||
masih mempertahankan pemisahan antar kelas secara visual,
|
||
sedangkan reduksi lebih jauh (misalnya $n_\text{components}=4$)
|
||
menyebabkan beberapa klaster saling tumpang tindih (\textit{overlap}).
|
||
|
||
Eksplorasi data ini mendukung pemilihan nilai $n_\text{components}$
|
||
sebagai salah satu parameter penting yang diuji dalam
|
||
pencarian \textit{grid} pada tahap optimasi model untuk mengurangi kompleksitas model dan efisiensi komputasi.
|
||
|
||
% \subsection{Visualisasi Ruang Fitur Non-Linear}
|
||
% Selain PCA, digunakan dua metode reduksi dimensi non-linear,
|
||
% yaitu \gls{tsne} dan \gls{pacmap},
|
||
% untuk memvisualisasikan struktur data dalam ruang dua dimensi.
|
||
% Kedua metode ini memproyeksikan vektor fitur berukuran $513$
|
||
% ke bidang dua dimensi dengan mempertahankan hubungan jarak
|
||
% antar sampel secara lokal.
|
||
|
||
% \begin{figure}[H]
|
||
% \centering
|
||
% % \subfloat[t-SNE pada $\mathcal{D}_A$]{%
|
||
% % \includegraphics[width=.48\textwidth]{chapters/img/sensor1/tsne_A.png}
|
||
% % }\hfill
|
||
% \subfloat[t-SNE pada $\mathcal{D}_B$]{%
|
||
% \includegraphics[width=.48\textwidth]{chapters/img/sensor1/tsne_B.png}
|
||
% }\\[1ex]
|
||
% \subfloat[PaCMAP pada $\mathcal{D}_A$]{%
|
||
% \includegraphics[width=.48\textwidth]{chapters/img/sensor1/pacmap_A.png}
|
||
% }\hfill
|
||
% \subfloat[PaCMAP pada $\mathcal{D}_B$]{%
|
||
% \includegraphics[width=.48\textwidth]{chapters/img/sensor1/pacmap_B.png}
|
||
% }
|
||
% \caption{Visualisasi dua dimensi hasil reduksi dimensi non-linear
|
||
% menggunakan t-SNE dan PaCMAP pada fitur STFT sensor A dan B.
|
||
% .}
|
||
% \label{fig:tsne_pacmap}
|
||
% \end{figure}
|
||
|
||
% Pada Gambar~\ref{fig:tsne_pacmap} tampak bahwa setiap kelas
|
||
% ($d_0$--$d_6$) membentuk klaster yang relatif terpisah,
|
||
% menandakan bahwa fitur hasil STFT memiliki kemampuan diskriminatif
|
||
% terhadap kondisi struktur.
|
||
% Beberapa tumpang tindih antar klaster (khususnya antara $d_i$ yang berdekatan)
|
||
% masih muncul akibat kemiripan respons getaran pada lokasi
|
||
% yang berdekatan, namun pola pemisahan antar kelompok
|
||
% masih terlihat jelas.
|
||
|
||
\subsection{Interpretasi dan Implikasi}
|
||
Hasil eksplorasi ini menunjukkan bahwa:
|
||
\begin{enumerate}
|
||
\item Variansi utama data dapat dijelaskan oleh sejumlah kecil komponen PCA, sehingga reduksi dimensi berpotensi meningkatkan efisiensi komputasi tanpa kehilangan informasi penting.
|
||
\item Visualisasi t-SNE dan PaCMAP memperlihatkan bahwa fitur STFT mampu mengelompokkan kondisi struktur yang cukup baik sesuai label kerusakan, mendukung validitas pemilihan STFT sebagai metode ekstraksi fitur.
|
||
\item Perbedaan antara kanal sensor~A ($\mathcal{D}_A$) dan sensor~B ($\mathcal{D}_B$) tidak signifikan,
|
||
sehingga keduanya dapat diperlakukan sebagai dua sumber informasi
|
||
komplementer pada tahap pelatihan model.
|
||
\end{enumerate}
|
||
|
||
Temuan ini menjadi dasar untuk menentukan jumlah komponen PCA yang akan digunakan pada \textit{grid search} saat optimasi \textit{hyperparameter} model SVM.
|
||
|
||
\section{Hasil \textit{Coarse Grid-Search}}
|
||
\label{sec:grid-results}
|
||
|
||
Setelah proses ekstraksi fitur dan pembentukan dataset berlabel,
|
||
tahap berikutnya adalah melakukan pencarian \textit{grid}
|
||
untuk mengoptimalkan parameter model \gls{svm}
|
||
dengan kernel \gls{rbf}.
|
||
Tiga parameter yang dioptimalkan adalah:
|
||
\begin{enumerate}
|
||
\item jumlah komponen utama \(\,n_{\text{components}}\,\) pada reduksi dimensi \gls{pca},
|
||
\item parameter regulasi \(C\),
|
||
\item parameter kernel \(\gamma\).
|
||
\end{enumerate}
|
||
|
||
Total kombinasi parameter yang diuji berjumlah \(5\times5\times8 = 200\) kandidat model
|
||
dengan skema \textit{stratified 5-fold cross-validation} menghasilkan total 1000 kali \textit{fitting}.
|
||
Setiap kombinasi dievaluasi menggunakan metrik akurasi rata-rata
|
||
pada data validasi.
|
||
|
||
% \subsection{Evaluasi Keseluruhan}
|
||
% Distribusi akurasi seluruh kandidat model ditunjukkan pada
|
||
% Gambar~\ref{fig:grid_hist}.
|
||
% Sebagian besar kombinasi menghasilkan akurasi di atas~95\%,
|
||
% menunjukkan bahwa fitur STFT memiliki daya klasifikasi yang kuat
|
||
% terhadap kondisi struktur.
|
||
|
||
% \begin{figure}[H]
|
||
% \centering
|
||
% % \includegraphics[width=.65\textwidth]{figures/grid_hist.pdf}
|
||
% \caption{Distribusi akurasi validasi silang dari 225 kombinasi parameter $(C,\gamma,n_{\text{components}})$.}
|
||
% \label{fig:grid_hist}
|
||
% \end{figure}
|
||
|
||
% \subsection{Pengaruh Jumlah Komponen PCA}
|
||
% Rata-rata akurasi tertinggi untuk setiap nilai $n_{\text{components}}$
|
||
% ditampilkan pada Gambar~\ref{fig:pca_acc_overall}.
|
||
% Terlihat bahwa akurasi meningkat hingga mencapai puncak pada rentang
|
||
% $n_{\text{components}} = 64$--$128$, kemudian menurun ketika jumlah komponen
|
||
% dikurangi secara agresif.
|
||
% Hal ini menunjukkan bahwa sekitar 10–25\% komponen utama sudah cukup
|
||
% merepresentasikan informasi penting dari fitur STFT.
|
||
|
||
% \begin{figure}[H]
|
||
% \centering
|
||
% % \includegraphics[width=.7\textwidth]{figures/pca_acc_overall.pdf}
|
||
% \caption{Rata-rata akurasi terhadap jumlah komponen PCA berdasarkan hasil pencarian \textit{grid}.}
|
||
% \label{fig:pca_acc_overall}
|
||
% \end{figure}
|
||
|
||
\subsection{Peta Akurasi terhadap Parameter SVM}
|
||
Untuk setiap kanal sensor, peta akurasi terhadap parameter $C$ dan~$\gamma$
|
||
pada konfigurasi PCA terbaik ($n_{\text{components}}=128$)
|
||
ditunjukkan pada Gambar~\ref{fig:svm_heatmap_A} dan~\ref{fig:svm_heatmap_B}. Terlihat bahwa area akurasi tinggi terbentuk pada
|
||
nilai \(C\) menengah dan \(\gamma\) kecil,
|
||
yang menandakan keseimbangan antara margin yang cukup lebar
|
||
dan kompleksitas model yang moderat.
|
||
|
||
\begin{figure}
|
||
\centering
|
||
\subfloat[Baseline]{\includegraphics[width=.48\textwidth]{chapters/img/sensor1/grid_original.png}}\hfill
|
||
\subfloat[PCA=256]{\includegraphics[width=.48\textwidth]{chapters/img/sensor1/grid_pca256.png}}\hfill \\[1ex]
|
||
\subfloat[PCA=128]{\includegraphics[width=.48\textwidth]{chapters/img/sensor1/grid_pca128.png}}\hfill
|
||
\subfloat[PCA=64]{\includegraphics[width=.48\textwidth]{chapters/img/sensor1/grid_pca64.png}}\hfill \\[1ex]
|
||
\subfloat[PCA=32]{\includegraphics[width=.48\textwidth]{chapters/img/sensor1/grid_pca32.png}}\hfill
|
||
\subfloat[PCA=16]{\includegraphics[width=.48\textwidth]{chapters/img/sensor1/grid_pca16.png}}\hfill \\[1ex]
|
||
\subfloat[PCA=8]{\includegraphics[width=.48\textwidth]{chapters/img/sensor1/grid_pca8.png}}\hfill
|
||
\subfloat[PCA=4]{\includegraphics[width=.48\textwidth]{chapters/img/sensor1/grid_pca4.png}}\hfill
|
||
\caption{\textit{Heatmap mean test score} terhadap parameter $C$ dan~$\gamma$ untuk setiap komponen utama PCA pada Sensor A ($\mathcal{D}_A$).}
|
||
\label{fig:svm_heatmap_A}
|
||
\end{figure}
|
||
|
||
\begin{figure}
|
||
\centering
|
||
\subfloat[Baseline]{\includegraphics[width=.48\textwidth]{chapters/img/sensor2/grid_original.png}}\hfill
|
||
\subfloat[PCA=256]{\includegraphics[width=.48\textwidth]{chapters/img/sensor2/grid_pca256.png}}\hfill \\[1ex]
|
||
\subfloat[PCA=128]{\includegraphics[width=.48\textwidth]{chapters/img/sensor2/grid_pca128.png}}\hfill
|
||
\subfloat[PCA=64]{\includegraphics[width=.48\textwidth]{chapters/img/sensor2/grid_pca64.png}}\hfill \\[1ex]
|
||
\subfloat[PCA=32]{\includegraphics[width=.48\textwidth]{chapters/img/sensor2/grid_pca32.png}}\hfill
|
||
\subfloat[PCA=16]{\includegraphics[width=.48\textwidth]{chapters/img/sensor2/grid_pca16.png}}\hfill \\[1ex]
|
||
\subfloat[PCA=8]{\includegraphics[width=.48\textwidth]{chapters/img/sensor2/grid_pca8.png}}\hfill
|
||
\subfloat[PCA=4]{\includegraphics[width=.48\textwidth]{chapters/img/sensor2/grid_pca4.png}}\hfill
|
||
\caption{\textit{Heatmap mean test score} terhadap parameter $C$ dan~$\gamma$ untuk setiap komponen utama PCA pada Sensor B ($\mathcal{D}_B$).}
|
||
\label{fig:svm_heatmap_B}
|
||
\end{figure}
|
||
|
||
\subsection{Analisis Efisiensi Model pada \textit{Coarse Grid-Search}}
|
||
\label{sec:efficiency_analysis}
|
||
Selain mempertimbangkan akurasi rata-rata (\textit{mean test score})
|
||
sebagai satu-satunya metrik evaluasi, penelitian ini juga memperhitungkan
|
||
waktu pelatihan rata-rata (\textit{mean fit time}) untuk menilai efisiensi komputasi.
|
||
Hal ini penting karena peningkatan akurasi sering kali diikuti dengan
|
||
kenaikan waktu pelatihan yang tidak proporsional, sehingga diperlukan
|
||
kompromi antara performa dan kompleksitas.
|
||
|
||
Untuk mengukur keseimbangan tersebut, didefinisikan metrik efisiensi:
|
||
\begin{equation}
|
||
E_i = \frac{S_i}{T_i^{\alpha}},
|
||
\label{eq:efficiency_metric}
|
||
\end{equation}
|
||
dengan:
|
||
\begin{itemize}
|
||
\item $S_i$ = rata-rata skor akurasi hasil 5-\textit{fold cross-validation} (0–1),
|
||
\item $T_i$ = rata-rata waktu pelatihan per iterasi (dalam detik),
|
||
\end{itemize}
|
||
|
||
Metrik $E_i$ menggambarkan rasio akurasi terhadap biaya waktu pelatihan.
|
||
Semakin besar nilai $E_i$, semakin efisien model tersebut atau
|
||
model mampu mencapai akurasi tinggi dengan waktu pelatihan yang relatif singkat.
|
||
|
||
% \begin{figure}[H]
|
||
% \centering
|
||
% % \includegraphics[width=.7\textwidth]{figures/efficiency_score.pdf}
|
||
% \caption{Perbandingan metrik efisiensi ($E_i$) dan akurasi rata-rata ($S_i$)
|
||
% terhadap jumlah komponen PCA.}
|
||
% \label{fig:efficiency_score}
|
||
% \end{figure}
|
||
|
||
\begin{table}[H]
|
||
\centering
|
||
\begin{tabular}{rrrrrr}
|
||
\toprule
|
||
$n_{\text{components}}$ & $C (\log{2})$ & $\gamma (\log{2})$ & $S_i$ & $T_i$ & $E_i (\times10^{-3})$ \\
|
||
\midrule
|
||
4 & 5 & -5 & 0.80764 & 11.22306 & 71.96291 \\
|
||
8 & 5 & -5 & 0.97076 & 10.88293 & 89.20027 \\
|
||
16 & 5 & -5 & 0.99116 & 10.53770 & 94.05832 \\
|
||
32 & 10 & -10 & 0.99394 & 10.45783 & 95.04296 \\
|
||
64 & 10 & -10 & 0.99631 & 13.46819 & 73.97505 \\
|
||
128 & 5 & -10 & 0.99728 & 13.43715 & 74.21849 \\
|
||
256 & 5 & -10 & 0.99756 & 17.84189 & 55.91131 \\
|
||
512 & 5 & -10 & 0.99763 & 31.24036 & 31.93410 \\
|
||
\bottomrule
|
||
\end{tabular}
|
||
\caption{Hasil ringkasan nilai maksimum \textit{mean test score} untuk setiap konfigurasi $n_{\text{components}}$ pada Sensor A ($\mathcal{D}_A$).}
|
||
\label{tab:efficiency_summary_A}
|
||
\end{table}
|
||
|
||
\begin{table}[H]
|
||
\centering
|
||
\begin{tabular}{rrrrrr}
|
||
\toprule
|
||
$n_{\text{components}}$ & $C (\log{2})$ & $\gamma (\log{2})$ & $S_i$ & $T_i$ & $E_i (\times10^{-3})$ \\
|
||
\midrule
|
||
4 & 5 & -5 & 0.87845 & 13.77282 & 63.78107 \\
|
||
8 & 0 & -5 & 0.98051 & 12.51643 & 78.33758 \\
|
||
16 & 5 & -5 & 0.99443 & 10.90890 & 91.15776 \\
|
||
32 & 5 & -10 & 0.99596 & 13.42619 & 74.18057 \\
|
||
64 & 5 & -10 & 0.99735 & 11.40759 & 87.42906 \\
|
||
128 & 5 & -10 & 0.99728 & 14.54694 & 68.55632 \\
|
||
256 & 5 & -10 & 0.99777 & 20.27980 & 49.20029 \\
|
||
512 & 5 & -10 & 0.99791 & 39.63068 & 25.18027 \\
|
||
\bottomrule
|
||
\end{tabular}
|
||
\caption{Hasil ringkasan nilai maksimum \textit{mean test score} untuk setiap konfigurasi $n_{\text{components}}$ pada Sensor B ($\mathcal{D}_B$).}
|
||
\label{tab:efficiency_summary_B}
|
||
\end{table}
|
||
|
||
Hasil pada Tabel~\ref{tab:efficiency_summary_A} dan Tabel~\ref{tab:efficiency_summary_B} menunjukkan bahwa,
|
||
meskipun nilai akurasi tertinggi dicapai pada
|
||
$n_{\text{components}} = 512$ untuk kedua kanal sensor,
|
||
puncak nilai metrik efisiensi dicapai pada
|
||
$n_{\text{components}} = 32$ dengan $E = 0.9504$ untuk Sensor A ($\mathcal{D}_A$) dan $n_{\text{components}} = 16$ dengan $E = 0.9116$ untuk Sensor B ($\mathcal{D}_B$).
|
||
Artinya, pengurangan dimensi hingga 32 komponen untuk Sensor A dan 16 komponen untuk Sensor B
|
||
menghasilkan model yang hampir seakurat konfigurasi berdimensi penuh,
|
||
namun dengan waktu pelatihan yang berkurang lebih dari 75\%.
|
||
% Kompromi ini dianggap sebagai titik optimum antara performa dan efisiensi.
|
||
|
||
Berdasarkan kombinasi akurasi, waktu pelatihan, dan metrik efisiensi,
|
||
konfigurasi dengan $n_{\text{components}}=32$ untuk Sensor A dan $n_{\text{components}}=16$ untuk Sensor B dipilih sebagai
|
||
\textit{baseline} optimal untuk model akhir.
|
||
Model \textit{baseline} ini akan digunakan sebagai acuan pada tahap evaluasi model dan pencarian \textit{hyperparameter} lanjutan (\textit{fine grid-search})
|
||
yang dibahas pada subab berikutnya.
|
||
|
||
|
||
\section{Evaluasi Model \textit{Baseline}}
|
||
\label{sec:baseline_performance}
|
||
Model \textit{baseline} yang digunakan diperoleh dari \textit{coarse grid-search} pada subab \ref{sec:efficiency_analysis} adalah SVM dengan kernel RBF, 32 komponen PCA, dan parameter $C=2^{10}$, $\gamma=2^{-10}$ untuk Sensor A, sedangkan untuk Sensor B adalah SVM dengan kernel RBF, 16 komponen PCA, dan parameter $C=2^{5}$, $\gamma=2^{-5}$. Pada bagian ini, dilakukan evaluasi performa model \textit{baseline} dengan data uji yang berbeda (\textit{Dataset} B).
|
||
|
||
|
||
\subsection{Metrik Klasifikasi}
|
||
Metrik klasifikasi model \textit{baseline} pada dataset pengujian disajikan pada Tabel~\ref{tab:metrics-baseline_A} dan~\ref{tab:metrics-baseline_B}.
|
||
|
||
\begin{table}[htbp]
|
||
\centering
|
||
\caption{\textit{Classification report} model \textit{baseline} pada Sensor A}
|
||
\label{tab:metrics-baseline_A}
|
||
\begin{tabular}{lrrrr}
|
||
\toprule
|
||
& precision & recall & f1-score & support \\
|
||
\midrule
|
||
0 & 0.99 & 0.98 & 0.99 & 2565.00 \\
|
||
1 & 0.99 & 1.00 & 1.00 & 2565.00 \\
|
||
2 & 1.00 & 1.00 & 1.00 & 2565.00 \\
|
||
3 & 1.00 & 1.00 & 1.00 & 2565.00 \\
|
||
4 & 1.00 & 1.00 & 1.00 & 2565.00 \\
|
||
5 & 1.00 & 1.00 & 1.00 & 2565.00 \\
|
||
6 & 0.99 & 1.00 & 0.99 & 2565.00 \\
|
||
accuracy & 1.00 & 1.00 & 1.00 & 1.00 \\
|
||
macro avg & 1.00 & 1.00 & 1.00 & 17955.00 \\
|
||
weighted avg & 1.00 & 1.00 & 1.00 & 17955.00 \\
|
||
\bottomrule
|
||
\end{tabular}
|
||
\end{table}
|
||
|
||
\begin{table}[htbp]
|
||
\centering
|
||
\caption{\textit{Classification report} model \textit{baseline} pada Sensor B}
|
||
\label{tab:metrics-baseline_B}
|
||
\begin{tabular}{lrrrr}
|
||
\toprule
|
||
& precision & recall & f1-score & support \\
|
||
\midrule
|
||
0 & 0.98 & 0.99 & 0.99 & 2565.00 \\
|
||
1 & 0.99 & 1.00 & 0.99 & 2565.00 \\
|
||
2 & 1.00 & 1.00 & 1.00 & 2565.00 \\
|
||
3 & 1.00 & 1.00 & 1.00 & 2565.00 \\
|
||
4 & 1.00 & 1.00 & 1.00 & 2565.00 \\
|
||
5 & 1.00 & 1.00 & 1.00 & 2565.00 \\
|
||
6 & 1.00 & 1.00 & 1.00 & 2565.00 \\
|
||
accuracy & 1.00 & 1.00 & 1.00 & 1.00 \\
|
||
macro avg & 1.00 & 1.00 & 1.00 & 17955.00 \\
|
||
weighted avg & 1.00 & 1.00 & 1.00 & 17955.00 \\
|
||
\bottomrule
|
||
\end{tabular}
|
||
\end{table}
|
||
|
||
Hasil ini menunjukkan bahwa model \textit{baseline} kedua sensor mencapai akurasi 99\%. Nilai \textit{recall} yang relatif tinggi (99.0\%) menunjukkan bahwa model lebih sensitif untuk mendeteksi kelas kerusakan, meskipun nilai \textit{precision} yang sedikit lebih rendah, menunjukkan bahwa ada beberapa \textit{false-positive} yang dihasilkan.
|
||
|
||
\subsection{\textit{Confusion Matrix}}
|
||
\begin{figure}[H]
|
||
\centering
|
||
\includegraphics[width=0.8\textwidth]{chapters/img/sensor1/cm_baseline_s1a_eval.png}
|
||
\caption{\textit{Confusion matrix} model \textit{baseline} SVM (RBF) pada Sensor A}
|
||
\label{fig:confusion-matrix-baseline_A}
|
||
\end{figure}
|
||
|
||
\begin{figure}[H]
|
||
\centering
|
||
\includegraphics[width=0.8\textwidth]{chapters/img/sensor2/cm_baseline_s2a_eval.png}
|
||
\caption{\textit{Confusion matrix} model \textit{baseline} SVM (RBF) pada Sensor B}
|
||
\label{fig:confusion-matrix-baseline_B}
|
||
\end{figure}
|
||
|
||
Dari Gambar~\ref{fig:confusion-matrix-baseline_A} dan~\ref{fig:confusion-matrix-baseline_B}, terlihat bahwa kedua model minim kesalahan klasifikasi, dengan sebagian besar prediksi berada di diagonal utama. Beberapa kesalahan klasifikasi minor terjadi paling banyak antara kelas 0 dengan kelas 1 dan kelas 6.
|
||
|
||
|
||
\section{\textit{Fine Grid-Search}}
|
||
Optimasi model yang dilakukan yaitu dengan melakukan \textit{fine grid-search} pada rentang \textit{hyperparameter} model \textit{baseline} yang digunakan pada Subab~\ref{sec:baseline_performance}. Untuk Sensor A dengan $n_{\text{components}} = 32$ rentang parameter yang dicari adalah
|
||
\begin{align*}
|
||
C &= \{\, 2^8,\, 2^{8.5},\, \ldots,\, 2^{12} \,\} \\
|
||
\gamma &= \{\, 2^{-12},\, 2^{-11.5},\, \ldots ,\, 2^{-8} \,\},
|
||
\end{align*}sedangkan Sensor B dengan $n_{\text{components}} = 16$ rentang parameter yang dicari adalah
|
||
\begin{align*}
|
||
C &= \{\, 2^3,\, 2^{3.5},\, \ldots,\, 2^{7} \,\} \\
|
||
\gamma &= \{\, 2^{-7},\, 2^{-6.5},\, \ldots ,\, 2^{-3} \,\}.
|
||
\end{align*}. Pada proses ini, \textit{standard scaler} dan \textit{stratified k-fold cross validation} dengan $k=5$ tetap digunakan untuk menjaga konsistensi evaluasi model, sehingga total kombinasi parameter yang diuji adalah \(9\times9 = 81\) kandidat model dengan total 405 kali \textit{fitting}.
|
||
|
||
\subsection{Diagram \textit{Fine Grid-Search Heatmap}}
|
||
Gambar~\ref{fig:svm_fine_heatmap} menunjukkan diagram \textit{heatmap} terhadap parameter \textit{fine grid-search} $C$ dan~$\gamma$ untuk masing-masing sensor. Akurasi tertinggi pada Sensor A diperoleh pada $C= \{\,2^{8}, \,2^{8.5}, \,2^{9}, \,2^{9.5}, \,2^{10}, \,2^{10.5},\,2^{11}, \,2^{11.5}, \,2^{12} \,\}$ dan $\gamma=2^{-9.5}$ dengan akurasi meningkat 0.15\% menjadi 99.54\%, sedangkan pada Sensor B diperoleh pada $C = \{\,2^{5},\,2^{5.5} \,\}$ dan $\gamma= \{\, 2^{-3},\, 2^{-3.5},\, 2^{-4}\,\}$ dengan akurasi meningkat 0.05\% menjadi 99.49\%. Hasil ini menunjukkan bahwa optimasi \textit{hyperparameter} lebih lanjut dapat meningkatkan performa model meskipun peningkatannya relatif kecil dibandingkan dengan model \textit{baseline}.
|
||
\begin{figure}[H]
|
||
\centering
|
||
\subfloat[Sensor A (PCA 32)]{\includegraphics[width=.48\textwidth]{chapters/img/sensor1/grid_fine_pca32.png}}
|
||
\centering
|
||
\subfloat[Sensor B (PCA 16)]{\includegraphics[width=.48\textwidth]{chapters/img/sensor2/grid_fine_pca16.png}}
|
||
\caption{\textit{Heatmap mean test score} terhadap \textit{fine grid-search parameter} $C$ dan~$\gamma$}
|
||
\label{fig:svm_fine_heatmap}
|
||
\end{figure}
|
||
|
||
\section{Evaluasi Model \textit{Fine Grid-Search}}
|
||
Model \textit{fine grid-search} dilatih pada \textit{dataset} A dan perlu dievaluasi performanya dengan data uji yang berbeda (\textit{dataset} B) untuk mengukur peningkatan performa dibandingkan model \textit{baseline}.
|
||
\subsection{Metrik Klasifikasi}
|
||
Hasil performa model \textit{fine grid-search} pada data uji disajikan pada Tabel~\ref{tab:metrics-fine-a} dan~\ref{tab:metrics-fine-b}.
|
||
|
||
\begin{table}
|
||
\centering
|
||
\caption{\textit{Classification report} model Sensor A}
|
||
\label{tab:metrics-fine-a}
|
||
\begin{tabular}{lrrrr}
|
||
\toprule
|
||
& precision & recall & f1-score & support \\
|
||
\midrule
|
||
0 & 0.99 & 0.99 & 0.99 & 2565.00 \\
|
||
1 & 0.99 & 1.00 & 0.99 & 2565.00 \\
|
||
2 & 1.00 & 1.00 & 1.00 & 2565.00 \\
|
||
3 & 1.00 & 1.00 & 1.00 & 2565.00 \\
|
||
4 & 1.00 & 1.00 & 1.00 & 2565.00 \\
|
||
5 & 1.00 & 1.00 & 1.00 & 2565.00 \\
|
||
6 & 1.00 & 1.00 & 1.00 & 2565.00 \\
|
||
accuracy & 1.00 & 1.00 & 1.00 & 1.00 \\
|
||
macro avg & 1.00 & 1.00 & 1.00 & 17955.00 \\
|
||
weighted avg & 1.00 & 1.00 & 1.00 & 17955.00 \\
|
||
\bottomrule
|
||
\end{tabular}
|
||
\end{table}
|
||
|
||
\begin{table}
|
||
\centering
|
||
\caption{\textit{Classification report} model Sensor B}
|
||
\label{tab:metrics-fine-b}
|
||
\begin{tabular}{lrrrr}
|
||
\toprule
|
||
& precision & recall & f1-score & support \\
|
||
\midrule
|
||
0 & 0.98 & 0.97 & 0.98 & 2565.00 \\
|
||
1 & 0.99 & 1.00 & 1.00 & 2565.00 \\
|
||
2 & 1.00 & 1.00 & 1.00 & 2565.00 \\
|
||
3 & 1.00 & 1.00 & 1.00 & 2565.00 \\
|
||
4 & 0.99 & 1.00 & 1.00 & 2565.00 \\
|
||
5 & 1.00 & 1.00 & 1.00 & 2565.00 \\
|
||
6 & 0.98 & 0.99 & 0.99 & 2565.00 \\
|
||
accuracy & 0.99 & 0.99 & 0.99 & 0.99 \\
|
||
macro avg & 0.99 & 0.99 & 0.99 & 17955.00 \\
|
||
weighted avg & 0.99 & 0.99 & 0.99 & 17955.00 \\
|
||
\bottomrule
|
||
\end{tabular}
|
||
\end{table}
|
||
|
||
\subsection{\textit{Confusion Matrix}}
|
||
\begin{figure}[H]
|
||
\centering
|
||
\includegraphics[width=.8\textwidth]{chapters/img/sensor1/cm_fine_s1a_eval.png}
|
||
\caption{\textit{Confusion matrix} model \textit{fine grid-search} pada Sensor A}
|
||
\label{fig:cm_fine_s1a_eval}
|
||
\end{figure}
|
||
\begin{figure}[H]
|
||
\centering
|
||
\includegraphics[width=.8\textwidth]{chapters/img/sensor2/cm_fine_s2a_eval.png}
|
||
\caption{\textit{Confusion matrix} model \textit{fine grid-search} pada Sensor B}
|
||
\label{fig:cm_fine_s2a_eval}
|
||
\end{figure}
|
||
|
||
\section{Model \textit{Inference} dan Visualisasi Prediksi}
|
||
Setelah model \textit{fine grid-search} dievaluasi, dilakukan proses \textit{inference} pada data uji untuk memvisualisasikan prediksi model. Gambar~\ref{fig:inference_undamaged}, \ref{fig:inference_damaged_17}, dan~\ref{fig:inference_damaged_30} menunjukkan beberapa hasil prediksi model pada Sensor A dan Sensor B dalam \textit{heatmap} dan grafik probabilitasnya.
|
||
|
||
Pada kasus struktur tanpa kerusakan (Gambar~\ref{fig:inference_undamaged}), model memberikan prediksi \textit{false-positive}, sehingga beberapa titik pada \textit{heatmap} menunjukkan probabilitas kerusakan hingga 50\% meskipun struktur sebenarnya dalam kondisi baik, sedangkan pada kasus kerusakan \textit{joint} 17 (Gambar~\ref{fig:inference_damaged_17}) dan \textit{joint} 30 (Gambar~\ref{fig:inference_damaged_30}), model berhasil mengidentifikasi lokasi kerusakan dengan probabilitas tinggi ($\approx 100\%$) pada area yang sesuai. Hal ini menunjukkan bahwa model memiliki kemampuan deteksi kerusakan yang baik, meskipun masih terdapat beberapa \textit{false-positive} pada kondisi tanpa kerusakan.
|
||
|
||
\begin{figure}[H]
|
||
\centering
|
||
\subfloat[Grafik probabilitas prediksi model pada Sensor A]{\includegraphics[width=.48\textwidth]{chapters/img/sensor1/pod_fine_s1a_undamaged.png}}\hfill
|
||
\subfloat[\textit{Heatmap} prediksi model pada Sensor A]{\includegraphics[width=.48\textwidth]{chapters/img/sensor1/inference_fine_s1a_undamaged.png}} \\[1ex]
|
||
\centering
|
||
\subfloat[Grafik probabilitas prediksi model pada Sensor B]{\includegraphics[width=.48\textwidth]{chapters/img/sensor2/pod_fine_s2a_undamaged.png}}\hfill
|
||
\subfloat[\textit{Heatmap} prediksi model pada Sensor B]{\includegraphics[width=.48\textwidth]{chapters/img/sensor2/inference_fine_s2a_undamaged.png}}
|
||
\caption{Hasil \textit{inference} model \textit{fine grid-search} pada data uji (\textit{Dataset} B) kasus struktur tidak rusak.}
|
||
\label{fig:inference_undamaged}
|
||
\end{figure}
|
||
\begin{figure}[H]
|
||
\centering
|
||
\subfloat[Grafik probabilitas prediksi model pada Sensor A]{\includegraphics[width=.48\textwidth]{chapters/img/sensor1/pod_fine_s1a_damaged17.png}}\hfill
|
||
\subfloat[\textit{Heatmap} prediksi model pada Sensor A]{\includegraphics[width=.48\textwidth]{chapters/img/sensor1/inference_fine_s1a_damaged17.png}} \\[1ex]
|
||
\centering
|
||
\subfloat[Grafik probabilitas prediksi model pada Sensor B]{\includegraphics[width=.48\textwidth]{chapters/img/sensor2/pod_fine_s2a_damaged17.png}}\hfill
|
||
\subfloat[\textit{Heatmap} prediksi model pada Sensor B]{\includegraphics[width=.48\textwidth]{chapters/img/sensor2/inference_fine_s2a_damaged17.png}}
|
||
\caption{Hasil \textit{inference} model \textit{fine grid-search} pada data uji (\textit{Dataset} B) kasus kerusakan \textit{joint} 17.}
|
||
\label{fig:inference_damaged_17}
|
||
\end{figure}
|
||
\begin{figure}[H]
|
||
\centering
|
||
\subfloat[Grafik probabilitas prediksi model pada Sensor A]{\includegraphics[width=.48\textwidth]{chapters/img/sensor1/pod_fine_s1a_damaged30.png}}\hfill
|
||
\subfloat[\textit{Heatmap} prediksi model pada Sensor A]{\includegraphics[width=.48\textwidth]{chapters/img/sensor1/inference_fine_s1a_damaged30.png}} \\[1ex]
|
||
\centering
|
||
\subfloat[Grafik probabilitas prediksi model pada Sensor B]{\includegraphics[width=.48\textwidth]{chapters/img/sensor2/pod_fine_s2a_damaged30.png}}\hfill
|
||
\subfloat[\textit{Heatmap} prediksi model pada Sensor B]{\includegraphics[width=.48\textwidth]{chapters/img/sensor2/inference_fine_s2a_damaged30.png}}
|
||
\caption{Hasil \textit{inference} model \textit{fine grid-search} pada data uji (\textit{Dataset} B) kasus kerusakan \textit{joint} 30.}
|
||
\label{fig:inference_damaged_30}
|
||
\end{figure}
|
||
% \section{Efisiensi Komputasi}
|
||
|
||
% \subsection{Perbandingan Waktu Latih}
|
||
% \subsection{Perbandingan Waktu \textit{Inference}}
|
||
% \begin{table}[htbp]
|
||
% \centering
|
||
% \caption{Perbandingan waktu inference model \textit{baseline} dan \textit{preprocessing pipeline}}
|
||
% \label{tab:training-time}
|
||
% \begin{tabular}{lrr}
|
||
% \hline
|
||
% Iterasi & \textit{Baseline} (detik) & \textit{preprocessing pipeline} (detik)\\
|
||
% 1 & & 6.53 \\
|
||
% 2 & & 6.08 \\
|
||
% 3 & & 6.08 \\
|
||
% 4 & & 6.10 \\
|
||
% 5 & & 6.20 \\
|
||
% Rata-rata & & 6.20 \\
|
||
% \hline
|
||
% \end{tabular}
|
||
% \end{table}
|
||
|
||
% \section{}
|
||
% Model \textit{baseline} yang dilakukan dengan \textit{preprocessing pipeline} mengurangi waktu latih sekitar x \%, sedangkan waktu \textit{inference} tiap sampel berkurang sekitar x \%. Hal ini menunjukkan keefektifan PCA dalam mereduksi dimensi fitur dan \textit{standard scaler}, dengan begitu dapat mengurangi beban komputasi tanpa mengorbankan akurasi.
|
||
|
||
% Konfigurasi terbaik diperoleh pada kombinasi fitur waktu--frekuensi dengan SVM-\textit{[kernel]}, menghasilkan Akurasi sebesar \textit{[acc\_best]}\%, Macro-F1 sebesar \textit{[f1\_best]}\%, dan Kappa sebesar \textit{[kappa\_best]} pada data uji (Tabel~\ref{tab:main-results}). Dibandingkan baseline domain waktu saja, Macro-F1 meningkat sekitar \textit{[delta\_f1\_time]} poin persentase; dibandingkan domain frekuensi saja, peningkatan mencapai \textit{[delta\_f1\_freq]} poin persentase. Hasil ini mengindikasikan bahwa informasi pelengkap antara dinamika temporal dan spektral berkontribusi nyata terhadap separabilitas kelas.
|
||
|
||
% Performa pada metrik Balanced Accuracy dan Macro-Recall juga konsisten, menandakan model tidak terlalu bias pada kelas mayoritas. Nilai Kappa \textit{[kappa\_best]} mengindikasikan tingkat kesepakatan yang \textit{[moderat/tinggi]} melampaui kebetulan.
|
||
|
||
% \section{Analisis Per-Kelas dan Kesalahan}
|
||
% \begin{figure}[htbp]
|
||
% \centering
|
||
% % \includegraphics[width=0.8\textwidth]{img/confusion_matrix.pdf}
|
||
% \fbox{\begin{minipage}[c][0.30\textheight][c]{0.80\textwidth}\centering
|
||
% Placeholder Confusion Matrix
|
||
% \end{minipage}}
|
||
% \caption{Confusion matrix pada data uji. Isikan gambar aktual dari pipeline evaluasi.}
|
||
% \label{fig:cm}
|
||
% \end{figure}
|
||
|
||
% \begin{table}[htbp]
|
||
% \centering
|
||
% \caption{Metrik per-kelas pada data uji. Gunakan bila diperlukan untuk melengkapi Confusion Matrix.}
|
||
% \label{tab:per-class}
|
||
% \begin{tabular}{lccc}
|
||
% \hline
|
||
% Kelas & Precision & Recall & F1 \\
|
||
% \hline
|
||
% A & -- & -- & -- \\
|
||
% B & -- & -- & -- \\
|
||
% C & -- & -- & -- \\
|
||
% % ... tambah baris sesuai jumlah kelas
|
||
% \hline
|
||
% \end{tabular}
|
||
% \end{table}
|
||
|
||
% Confusion Matrix pada Gambar~\ref{fig:cm} menunjukkan pola salah klasifikasi yang dominan antara kelas \textit{[kelas\_A]} dan \textit{[kelas\_B]}. Dua kelas ini memiliki respons spektral yang mirip pada rentang \textit{[f\_low--f\_high]} Hz, sehingga kesalahan terutama terjadi ketika amplitudo sinyal rendah atau \textit{signal-to-noise ratio} menurun. Sebaliknya, kelas \textit{[kelas\_C]} memperlihatkan separasi yang baik dengan Recall \textit{[recall\_C]}\% dan F1 \textit{[f1\_C]}\% (Tabel~\ref{tab:per-class}).
|
||
|
||
% Analisis kesalahan kasus-per-kasus menunjukkan bahwa \textit{[proporsi\_\%]}\% prediksi keliru terjadi pada sampel dengan \textit{[ciri sinyal/condisi uji]} dan \textit{[konfigurasi sensor]}. Hal ini menyarankan perlunya \textit{[strategi perbaikan, mis. penambahan fitur bandpass tertentu atau penyeimbangan kelas]}.
|
||
|
||
% \section{Ablasi dan Sensitivitas}
|
||
% \subsection{Ablasi Fitur}
|
||
% \begin{figure}[htbp]
|
||
% \centering
|
||
% \includegraphics[width=0.75\textwidth]{example-image-a}
|
||
% \fbox{\begin{minipage}[c][0.22\textheight][c]{0.70\textwidth}\centering
|
||
% Placeholder Bar Chart: Time vs Freq vs Kombinasi
|
||
% \end{minipage}}
|
||
% \caption{Perbandingan performa berdasarkan jenis fitur.}
|
||
% \label{fig:ablation-features}
|
||
% \end{figure}
|
||
|
||
% Studi ablation pada Gambar~\ref{fig:ablation-features} menegaskan bahwa kombinasi fitur memberikan peningkatan \textit{[delta\_ablation]} poin persentase pada Macro-F1 dibandingkan fitur domain waktu saja. Hal ini mengindikasikan bahwa karakteristik harmonik dan komponen frekuensi transien yang ditangkap STFT berkontribusi pada pemisahan kelas yang lebih baik.
|
||
|
||
% \subsection{Parameter STFT dan Windowing}
|
||
% \begin{table}[htbp]
|
||
% \centering
|
||
% \caption{Sensitivitas terhadap parameter STFT pada data validasi.}
|
||
% \label{tab:stft-sensitivity}
|
||
% \begin{tabular}{lcccc}
|
||
% \hline
|
||
% Window & n\_fft & Overlap & Akurasi & Macro-F1 \\
|
||
% \hline
|
||
% Hann & -- & -- & -- & -- \\
|
||
% Hann & -- & -- & -- & -- \\
|
||
% (Tanpa window) & -- & -- & -- & -- \\
|
||
% \hline
|
||
% \end{tabular}
|
||
% \end{table}
|
||
|
||
% Eksperimen sensitivitas pada Tabel~\ref{tab:stft-sensitivity} memperlihatkan adanya \textit{trade-off} antara resolusi waktu dan frekuensi. Peningkatan \textit{n\_fft} cenderung memperhalus resolusi frekuensi namun mengurangi ketelitian temporal, sedangkan overlap yang lebih besar \textit{[overlap\_\% range]}\% membantu stabilitas estimasi fitur pada sinyal bising. Penggunaan window Hann memberikan kenaikan Macro-F1 sekitar \textit{[delta\_hann]} poin dibanding tanpa window, menegaskan peran pengurangan \textit{spectral leakage}.
|
||
|
||
% \subsection{Pendekatan Sensor Terbatas}
|
||
% \begin{figure}[htbp]
|
||
% \centering
|
||
% % placeholder
|
||
% \includegraphics[width=0.75\textwidth]{example-image-a}
|
||
% \fbox{\begin{minipage}[c][0.22\textheight][c]{0.70\textwidth}\centering
|
||
% Placeholder: Performa vs Jumlah/Posisi Sensor
|
||
% \end{minipage}}
|
||
% \caption{Dampak jumlah/konfigurasi sensor terhadap performa.}
|
||
% \label{fig:sensor-limited}
|
||
% \end{figure}
|
||
|
||
% Hasil pada Gambar~\ref{fig:sensor-limited} menunjukkan bahwa pengurangan dari \textit{[n\_sensors\_full]} menjadi \textit{[n\_sensors\_min]} sensor hanya menurunkan Macro-F1 sekitar \textit{[delta\_perf\_sensors]} poin, khususnya ketika sensor ditempatkan pada \textit{[posisi sensor terbaik]}. Ini mengindikasikan bahwa pendekatan sensor terbatas tetap layak untuk implementasi dengan biaya perangkat keras yang lebih rendah, selama pemilihan posisi sensor dioptimalkan.
|
||
|
||
% \section{Robustness dan Generalisasi}
|
||
% \begin{table}[htbp]
|
||
% \centering
|
||
% \caption{Ringkasan kinerja antar-fold (jika menggunakan k-fold).}
|
||
% \label{tab:kfold}
|
||
% \begin{tabular}{lcc}
|
||
% \hline
|
||
% Metrik & Rata-rata & Deviasi Standar \\
|
||
% \hline
|
||
% Macro-F1 & -- & -- \\
|
||
% Akurasi & -- & -- \\
|
||
% \hline
|
||
% \end{tabular}
|
||
% \end{table}
|
||
|
||
% Pada skema validasi silang \textit{k}-fold, variasi performa relatif rendah dengan simpangan baku Macro-F1 sebesar \textit{[std\_f1]} (Tabel~\ref{tab:kfold}), menandakan stabilitas model terhadap variasi subset data. Penambahan noise sintetis pada tingkat SNR \textit{[snr levels]} menunjukkan penurunan performa yang \textit{[ringan/sedang/bermakna]} sekitar \textit{[delta\_snr]} poin; augmentasi \textit{[jenis augmentasi]} membantu mengkompensasi sebagian penurunan tersebut.
|
||
|
||
% Pada skenario \textit{domain shift} \textit{[nama skenario]}, model mempertahankan Macro-F1 sebesar \textit{[f1\_shift]}\%, yang menunjukkan \textit{[derajat generalisasi]} terhadap kondisi yang berbeda dari data pelatihan.
|
||
|
||
% \section{Perbandingan dengan Pustaka/Baseline}
|
||
% Temuan kami selaras dengan tren yang dilaporkan oleh \textcite{abdeljaber2017}, khususnya mengenai pentingnya informasi frekuensi untuk mendeteksi lokasi kerusakan. Meskipun demikian, perbedaan \textit{setup} eksperimen (\textit{[jenis struktur/skenario uji]}, konfigurasi sensor, dan definisi kelas) membuat angka metrik tidak dapat dibandingkan secara langsung. Oleh karena itu, perbandingan difokuskan pada pola dan arah peningkatan, bukan nilai absolut.
|
||
|
||
% \section{Kompleksitas dan Implementasi}
|
||
% Model SVM dengan fitur \textit{[jenis fitur terbaik]} menawarkan waktu inferensi sekitar \textit{[t\_infer\_ms]} ms per sampel pada \textit{[perangkat/CPU/GPU]}. Tahap ekstraksi STFT memerlukan \textit{[t\_stft\_ms]} ms per segmen dengan parameter \textit{[n\_fft]}, overlap \textit{[overlap\_\%]}\%, dan window Hann. Secara keseluruhan, latensi ujung-ke-ujung diperkirakan \textit{[t\_end2end\_ms]} ms, yang \textit{[memadai/belum memadai]} untuk aplikasi \textit{[real-time/near real-time]}.
|
||
|
||
% Dengan \textit{[n\_sensors\_min]} sensor, kebutuhan komputasi dan bandwidth data berkurang \textit{[proporsi pengurangan]} dibanding konfigurasi penuh, yang memperbaiki kelayakan implementasi lapangan tanpa mengorbankan akurasi secara signifikan.
|
||
|
||
% \section{Ringkasan Bab}
|
||
% \begin{itemize}
|
||
% \item Konfigurasi terbaik (\textit{[konfigurasi terbaik]}) mencapai Akurasi \textit{[acc\_best]}\%, Macro-F1 \textit{[f1\_best]}\%, dan Kappa \textit{[kappa\_best]} pada data uji.
|
||
% \item Kesalahan dominan terjadi antara kelas \textit{[kelas\_A]} dan \textit{[kelas\_B]} karena kemiripan respons pada \textit{[f\_low--f\_high]} Hz; strategi \textit{[strategi perbaikan]} direkomendasikan.
|
||
% \item Ablasi menegaskan manfaat kombinasi fitur; window Hann dan parameter STFT \textit{[n\_fft, overlap]} memberi keseimbangan resolusi yang baik.
|
||
% \item Pendekatan sensor terbatas dengan \textit{[n\_sensors\_min]} sensor tetap layak dengan penurunan performa \textit{[delta\_perf\_sensors]} poin.
|
||
% \item Model menunjukkan stabilitas antar-fold (\textit{[std\_f1]}) dan ketahanan \textit{[terhadap noise/domain shift]} dengan penyesuaian \textit{[augmentasi/penalaan]}.
|
||
% \end{itemize} |