v2.9.0 🦅

2.9.0 [2023/09/22] "Autumn Rain Release"

Enhancements:

• Added an error message to indicate that when you can't load evtx files in Windows due to specifying a directory path with spaces in it, you need to remove the trailing backslash. (#1166) (@hitenkoku, thanks for the suggestion from @joswr1ght)
• Optimized the number of records to load at a time for performance. (#1175) (@YamatoSecurity)
• Replaced double backslashes in paths under the progress bar on Windows systems with single forward slashes. (#1172) (@hitenkoku)
• Made the Details field for count rules a string in the JSON output for easier parsing. (#1179) (@hitenkoku)
• Changed the default number of threads from number of CPUs to the estimate of the default amount of parallelism a program should use (std::thread::available_parallelism). (#1182) (@hitenkoku)

Bug Fixes:

• Fixed JSON fields would not be correctly parsed in rare cases. (#1145) (@hitenkoku)

Other:

• Removed the unmaintained hhmmss crate that uses an old time crate in order to pass the code coverage CI checks. (#1181) (@hitenkoku)

改善:

• ディレクトリパスの指定にバックスラッシュを使用すべきではないことを示すエラーメッセージを追加した。 (#1166) (@hitenkoku, 提案者: @joswr1ght)
• 一度に読み込むレコード数の最適化。(#1175) (@YamatoSecurity)
• プログレスバー内にあるバックスラッシュの表示をスラッシュに変更した。 (#1172) (@hitenkoku)
• JSON形式で出力する際に、countルールのDetailsフィールドを文字列にし、パースしやすくした。(#1179) (@hitenkoku)
• デフォルトのスレッド数をCPU数から、プログラムが使用すべきデフォルトの並列度の推定値(std::thread::available_parallelism)に変更した。(#1182) (@hitenkoku)

バグ修正:

• まれにJSONフィールドが正しくパースされない状態を修正した。(#1145) (@hitenkoku)

その他:

• CIを通すためにtimeクレートを利用している更新されていないhhmmssクレートを除外した。 (#1181) (@hitenkoku)

v2.8.0 🦅

2.8.0 [2023/09/01] "Double X Release"

New Features:

• Added support for HexToDecimal in the field mapping configuration files to convert hex values to decimal. (Useful for converting the original process IDs from hex to decimal.) (#1133) (@fukusuket)
• Added -x, --recover-records option to csv-timeline and json-timeline to recover evtx records through file carving in evtx slack space. (#952) (@hitenkoku) (Evtx carving feature is thanks to @forensicmatt)
• Added -X, --remove-duplicate-detections option to csv-timeline and json-timeline to not output any duplicate detection entries. (Useful when you use -x, include backup logs or logs extracted from VSS with duplicate data, etc...)
• Added a --timeline-offset option to csv-timeline, json-timeline, logon-summary, eid-metrics, pivot-keywords-list and search commands to scan just recent events based on a offset of years, months, days, hours, etc... (#1159) (@hitenkoku)
• Added a -a, --and-logic option in the search command to search keywords with AND logic. (#1162) (@hitenkoku)

Other:

• When using -x, --recover-records, an additional %RecoveredRecord% field will be added to the output profile and will output Y to indicate if a record was recovered. (#1160) (@hitenkoku)

新機能:

• フィールドマッピング設定に16進数値を10進数に変換するHexToDecimal機能に対応した。 (元の16進数のプロセスIDを変換するのに便利。) (#1133) (@fukusuket)
• csv-timelineとjson-timelineに-x, --recover-recordsオプションを追加し、evtxレコードの空領域でのファイルカービングによってevtxレコードを復元できるようにした。(#952) (@hitenkoku) (Evtxカービング機能は@forensicmattに実装された。)
• csv-timelineとjson-timelineに-X, --remove-duplicate-detectionsオプションを追加した。(-xを使用する場合、重複データのあるバックアップログを含める場合などに便利。) (#1157) (@fukusuket)
• csv-timeline、json-timeline、logon-summary、eid-metrics、pivot-keywords-list、searchコマンドに、直近のイベントだけをスキャンするための--timeline-offsetオプションを追加した。 (#1159) (@hitenkoku)
• searchコマンドに-a, --and-logicオプションを追加し、複数のキーワードをAND条件で検索できるようにした。 (#1162) (@hitenkoku)

その他:

• 出力プロファイルに、回復されたかどうかを示す %RecoveredRecord% フィールドを追加した。 (#1170) (@hitenkoku)

v2.7.0 🦅

v2.7.0 "SANS DFIR Summit Release"

🦅 New Features:

• Certain code numbers are now mapped to human-readable messages based on the .yaml config files in ./rules/config/data_mapping. (Example: %%2307 will be converted to ACCOUNT LOCKOUT). You can turn off this behavior with the -F, --no-field-data-mapping option. (#177) (@fukusuket)
• Added the -R, --remove-duplicate-data option in the csv-timeline command to replace duplicate field data with the string DUP in the %Details%, %AllFieldInfo%, %ExtraFieldInfo% columns to reduce file size. (#1056) (@hitenkoku)
• Added the -R, --remove-duplicate-data option to the json-timeline command to replace duplicate field data with the string DUP in the %Details%, %AllFieldInfo%, %ExtraFieldInfo% fields to reduce file size. (#1134) (@hitenkoku)
• Added the -P, --proven-rules option in csv-timeline and json-timeline commands. When used, Hayabusa will only load rules that have been proven to work. These are defined by rule ID in the ./rules/config/proven_rules.txt config file. (#1115) (@hitenkoku)
• Added the --include-tag option to csv-timeline and json-timeline commands to only load rules with the specified tags field. (#1108) (@hitenkoku)
• Added the --exclude-tag option to csv-timeline and json-timeline commands to exclude rules with specific tags from being loaded. (#1118) (@hitenkoku)
• Added --include-category and --exclude-category options to csv-timeline and json-timeline commands. When using --include-category, only rules with the specified category field will be loaded. --exclude-category will exclude rules from being loaded based on category. (#1119) (@hitenkoku)
• Added the computer-metrics command to list up how many events there are based on computer name. (#1116) (@hitenkoku)
• Added --include-computer and --exclude-computer options to csv-timeline, json-timeline, metrics, logon-summary and pivot-keywords-list commands. The --include-computer option only scans the specified computer(s). --exclude-computer excludes them. (#1117) (@hitenkoku)
• Added --include-eid and --exclude-eid options to csv-timeline, json-timeline, and pivot-keywords-list commands. The --include-eid option only scans the specified EventID(s). --exclude-eid excludes them. (#1130) (@hitenkoku)

🦅 Enhancements:

• Ignore corrupted event records with timestamps before 2007/1/31 when Windows Vista was released with the new .evtx log format. (#1102) (@fukusuket)
• When --output is set in the metrics command, the results will not be displayed to screen. (#1099) (@hitenkoku)
• Added the -C, --clobber option to overwrite existing output files in the pivot-keywords-list command. (#1125) (@hitenkoku)
• Renamed the metrics command to eid-metrics. (#1128) (@hitenkoku)
• Reduced progress bar width to leave room for adjustment of the terminal. (#1135) (@hitenkoku)
• Added support for outputing timestamps in the following formats in the search command: --European-time, --ISO-8601, --RFC-2822, --RFC-3339, --US-time, --US-military-time, -U, --UTC. (#1040) (@hitenkoku)
• Replaced the ETA time in the progress bar with elapsed time as the ETA time was not accurate. (#1143) (@YamatoSecurity)
• Added --timeline-start and --timeline-end to the logon-summary command. (#1152) (@hitenkoku)

🐛 Bug Fixes:

• The total number of records being displayed in the metrics and logon-summary commands differed from the csv-timeline command. (#1105) (@hitenkoku)
• Changed rule count by rule ID instead of path. (#1113) (@hitenkoku)
• --timeline-start and --timeline-end were not working correctly with the json-timeline command. (#1148) (@hitenkoku)
• --timeline-start and --timeline-end were not working correctly with the pivot-keywords-list command. (#1150) (@hitenkoku)

Other:

• The total count of unique detections are now based on rule IDs instead of rule file paths. (#1111) (@hitenkoku)
• Renamed the --live_analysis option to --live-analysis. (#1139) (@hitenkoku)
• Renamed the metrics command to eid-metrics. (#1128) (@hitenkoku)

変更点

🦅 新機能:

• ./rules/config/data_mappingにある.yaml設定ファイルに基づいて、特定のコード番号が人間が読めるメッセージにマッピングされるようになった。(例:%%2307は、ACCOUNT LOCKOUTに変換される)。この動作は-F, --no-field-data-mappingオプションで無効にできる。(#177) (@fukusuket)
• csv-timelineコマンドに-R, --remove-duplicate-dataオプションを追加し、%Details%、%AllFieldInfo%、%ExtraFieldInfo%列の重複フィールドデータをDUPという文字列に変換し、ファイルサイズの削減を行う。(#1056) (@hitenkoku)
• json-timelineコマンドに-R, --remove-duplicate-dataオプションを追加し、%Details%、%AllFieldInfo%、%ExtraFieldInfo%フィールドの重複フィールドデータをDUPという文字列に変換し、ファイルサイズの削減を行う。(#1134) (@hitenkoku)
• csv-timelineとjson-timelineコマンドに-P, --proven-rulesオプションを追加した。有効にすると、検知が証明されたルールしかロードされない。ロードされるルールは、./rules/config/proven_rules.txtの設定ファイルにルールIDで定義されている。 (#1115) (@hitenkoku)
• csv-timelineとjson-timelineコマンドに--include-tagオプションを追加し、指定したtagsフィールドを持つルールのみをロードするようにした。(#1108) (@hitenkoku)
• csv-timelineとjson-timelineコマンドに--exclude-tagオプションを追加し、指定したtagsフィールドを持つルールをロードしないようにした。(#1118) (@hitenkoku)
• csv-timelineとjson-timelineコマンドに--include-categoryと--exclude-categoryオプションを追加した。include-categoryは、指定されたcategoryフィールドのルールのみをロードする。--exclude-categoryは、指定されたcategoryフィールドを持つルールをロードしない。 (#1119) (@hitenkoku)
• コンピュータ名に基づくイベント数をリストアップするcomputer-metricsコマンドを追加した。(#1116) (@hitenkoku)
• csv-timeline、json-timeline、metrics、logon-summary、pivot-keywords-listコマンドに--include-computerと--exclude-computerオプションを追加した。include-computerは、指定されたcomputerの検知のみを出力する。--exclude-computerは、指定されたcomputerの検知を除外する。 (#1117) (@hitenkoku)
• csv-timeline、json-timeline、pivot-keywords-listコマンドに--include-eidと--exclude-eidオプションを追加した。include-eidは、指定されたEventIDのみを検知対象とする。--exclude-eidは、指定されたEventIDを検知対象から除外する。 (#1130) (@hitenkoku)

🦅 改善:

• 新しいログ形式の.evtxを使用するWindows Vistaがリリースされた2007年1月31日以前のタイムスタンプを持つ破損されたイベントレコードを無視するようにした。(#1102) (@fukusuket)
• metricsコマンドで--outputオプションを指定した時に標準出力に結果を表示しないように変更した。 (#1099) (@hitenkoku)
• csv-timeline コマンドと json-timeline コマンドに --tags オプションを追加し、指定した tags フィールドを持つルールのみでスキャンできるようにした。(#1108) (@hitenkoku)
• pivot-keywords-listコマンドに対して、出力ファイルを上書きするための-C, --clobberオプションを追加した。 (#1125) (@hitenkoku)
• metricsコマンドをeid-metricsに変更した。 (#1128) (@hitenkoku)
• 端末の調整に余裕を持たせるため、プログレスバーの幅を減らした。 (#1135) (@hitenkoku)
• searchコマンドで出力時間フォーマットのオプションをサポートした。(--European-time, --ISO-8601, --RFC-2822, --RFC-3339, --US-time, --US-military-time, -U, --UTC) (#1040) (@hitenkoku)
• プログレスバーのETA時間が正確でなかったため、経過時間に置き換えた。 (#1143) (@YamatoSecurity)
• logon-summaryコマンドで--timeline-startと--timeline-endオプションを追加した。 (#1152) (@hitenkoku)

🐛バグ修正:

• metricsとlogon-summaryコマンドのレコード数の表示がcsv-timelineのコマンドでのレコード数の表示と異なっている状態を修正した。 (#1105) (@hitenkoku)
• パスの代わりにルールIDでルール数を数えるように変更した。 (#1113) (@hitenkoku)
• json-timelineコマンドで--timeline-startと--timeline-endオプションが動作しなかったのを修正した。 (#1148) (@hitenkoku)
• pivot-keywords-listコマンドで--timeline-startと--timeline-endオプションが動作しなかったのを修正した。 (#1150) (@hitenkoku)

その他:

• ルールのIDベースでユニークな検出数をカウントするように修正した。 (#1111) (@hitenkoku)
• --live_analysisオプションを--live-analysisに変更した。 (#1139) (@hitenkoku)
• metricsコマンドをeid-metricsに変更した。 (#1128) (@hitenkoku)

v2.6.0 🦅

v2.6.0 "Ajisai Release"

🦅 New Features:

• Added support for '|all': keyword in sigma rules. (#1038) (@kazuminn)

🦅 Enhancements:

• Added %ExtraFieldInfo% alias to output profiles which will output all of the other fields that do not get outputted in Details. This is now included in the default standard output profile. (#900) (@hitenkoku)
• Added error messages for incompatible arguments. (#1054) (@YamatoSecurity)
• The output profile name is now outputted to standard output and in the HTML report. (#1055) (@hitenkoku)
• Added rule author names next to rule alerts in the HTML report. (#1065) (@hitenkoku)
• Made the table width shorter to prevent tables breaking in smaller terminal sizes. (#1071) (@hitenkoku)
• Added the -C, --clobber option to overwrite existing output files in csv-timeline, json-timeline, metrics, logon-summary, and search commands. (#1063) (@YamatoSecurity, @hitenkoku)
• Made the HTML report portable by embedding the images and inlining CSS. (#1078) (@hitenkoku, thanks for the suggestion from @joswr1ght)
• Speed improvements in the output. (#1088) (@hitenkoku, @fukusuket)
• The metrics command now performs word wrapping to make sure the table gets rendered correctly. (#1067) (@garigariganzy)
• search command results can now be outputted to JSON/JSONL. (#1041) (@hitenkoku)

🐛 Bug Fixes:

• MitreTactics, MitreTags, OtherTags fields were not being outputted in the json-timeline command. (#1062) (@hitenkoku)
• The detection frequency timeline (-T) would not output when the no-summary option was also enabled. (#1072) (@hitenkoku)
• Control characters would not be escaped in the json-timeline command causing a JSON parsing error. (#1068) (@hitenkoku)
• In the metrics command, channels would not be abbreviated if they were lowercase. (#1066) (@garigariganzy)
• Fixed an issue where some fields were misaligned in the JSON output. (#1086) (@hitenkoku)

変更点

🦅 新機能:

• Sigmaルールの'|all':キーワードに対応した。 (#1038) (@kazuminn)

🦅 改善:

• プロファイルに%ExtraFieldInfo%エイリアスを追加した。デフォルトのstandard出力プロファイルに含まれるようになった。(#900) (@hitenkoku)
• 互換性のない引数に対するエラーメッセージを追加した。 (#1054) (@YamatoSecurity)
• 標準出力とHTML出力にプロファイル名を出力する機能を追加した。 (#1055) (@hitenkoku)
• HTML出力のルールアラートにルール作者名を表示するように修正した。 (#1065) (@hitenkoku)
• 端末サイズが小さくてもテーブルが壊れないように、テーブル幅を短くした。 (#1071) (@hitenkoku)
• csv-timeline、json-timeline、metrics、logon-summary、searchコマンドに対して、出力ファイルを上書きするための-C, --clobberオプションを追加した。 (#1063) (@YamatoSecurity, @hitenkoku)
• HTML内にCSSと画像を組み込んだ。 (#1078) (@hitenkoku, 提案者: @joswr1ght)
• 出力時の速度向上。 (#1088) (@hitenkoku, @fukusuket)
• metricsコマンドは、テーブルが正しくレンダリングされるように、ワードラップを行うようになった。 (#1067) (@garigariganzy)
• searchコマンドでJSON/JSONLの出力できるようにした。 (#1041) (@hitenkoku)

🐛バグ修正:

• json-timelineコマンドを利用した出力で、MitreTactics、MitreTags、OtherTagsフィールドが出力されていない問題を修正した。 (#1062) (@hitenkoku)
• no-summaryオプションを使用した時にイベント頻度のタイムラインが出力されない問題を修正した。 (#1072) (@hitenkoku)
• json-timlineコマンドの出力に制御文字が含まれる問題を修正した。 (#1068) (@hitenkoku)
• metricsコマンドでは、チャンネル名が小文字の場合、省略されなかった。 (#1066) (@garigariganzy)
• JSON出力内でいくつかのフィールドがずれてしまっていた問題を修正した。 (#1086) (@hitenkoku)

v2.5.1 🦅

v2.5.1 - Mothers Day Release

🦅 Enhancements:

• Reduced memory usage by half when using newly converted rules. (#1047) (@fukusuket)

🐛 Bug Fixes:

• Data in certain fields such as AccessMask would not be separated by spaces when outputted from the details field. (#1035) (@hitenkoku)
• Output would be in color even if --no-color was used in the pivot-keywords-list command. (#1044) (@kazuminn)

変更点

🦅 改善:

• 新たに変換されたルールを使用する際のメモリ使用量を半分に削減した。(#1047) (@fukusuket)

🐛バグ修正:

• AccessMask等のフィールド内の情報が空白で区切られていなかった状態を修正した。 (#1035) (@hitenkoku)
• pivot-keywords-listコマンドで--no-colorを使用した場合でも、結果がカラーで出力された。 (#1044) (@kazuminn)

v2.5.0 🦅

v2.5.0 - Golden Week Release

🦅 Enhancements:

• Added -M, --multiline option to search command. (#1017) (@hitenkoku)
• Deleted return characters in the output of the search command. (#1003) (@hitenkoku)
• regex crate updated to 1.8 which allows unnecessary escapes in regular expressions reducing parsing errors. (#1018) (@YamatoSecurity)
• Deleted return characters in output of the csv-timeline command. (#1019) (@hitenkoku)
• Don't show new version information with the update-rules command when building a newer dev build. (#1028) (@hitenkoku)
• Sorted search timeline order. (#1033) (@hitenkoku)
• Enhanced pivot-keywords-list terminal output. (#1022) (@kazuminn)

🐛 Bug Fixes:

• Unconverted sigma rules that search for a string that end in a backslash would not be detected. Also |contains conditions would not match if the string was located in the beginning. (#1025) (@fukusuket)
• In versions 2.3.3-2.4.0, informational level alerts in the Results Summary would show the top 5 events twice instead of the top 10 events. (#1031) (@hitenkoku)

変更点

🦅 改善:

• searchコマンドに-M, --multilineオプションを追加した。 (#1017) (@hitenkoku)
• searchコマンドの出力での不要な改行やタブを削除した。 (#1003) (@hitenkoku)
• 正規表現の不要なエスケープを許容し、パースエラーを減らすregexクレートを1.8に更新した。(#1018) (@YamatoSecurity)
• csv-timelineコマンドの出力で不要な空白文字の削除を行った。 (#1019) (@hitenkoku)
• update-rulesコマンド使用時にハヤブサのバージョン番号の詳細を確認するようにした (#1028) (@hitenkoku)
• searchコマンドの結果を時刻順にソートした。 (#1033) (@hitenkoku)
• pivot-keywords-listのターミナル出力の改善。 (#1022) (@kazuminn)

🐛バグ修正:

• ruleで指定された値で\が最後の文字のときに、検知ができない問題を修正した。 (#1025) (@fukusuket)
• results summary内のInformationalレベルアラートの結果が同じ内容が2つ表示されている状態を修正した。 (#1031) (@hitenkoku)

v2.4.0 🦅

v2.4.0 "SANS Secure Korea Release"

🦅 New Features:

• Added search command to search for specified keywords in records. (#617) (@itiB, @hitenkoku)
• Added -r, --regex option in the search command to search for regular expressions. (#992) (@itiB)

🦅 Enhancements:

• Alphabetically sorted commands. (#991) (@hitenkoku)
• Added attribute information of Event.UserData to the output of AllFieldInfo in csv-timeline, json-timeline and search commands. (#1006) (@hitenkoku)
• Updated Aho-Corasick crate to 1.0. (#1013) (@hitenkoku)

🐛 Bug Fixes:

• Fixed timestamps that did not exist from being displayed in the event frequency timeline (-T, --visualize-timeline) in version 2.3.3. (#977) (@hitenkoku)

変更点

🦅 新機能:

• 指定されたキーワードに合致したレコードを検索するsearchコマンドを追加した。 (#617) (@itiB, @hitenkoku)
• 指定された正規表現に合致したレコードを検索する-r, --regexオプションをsearchコマンドに追加した。 (#992) (@itiB)
• Aho-Corasickクレートをバージョン1.0に更新した。 (#1013) (@hitenkoku)

🦅 改善:

• コマンドの表示順を辞書順に並べ替えた。 (#991) (@hitenkoku)
• csv-timeline, json-timeline, searchコマンドの AllFieldInfoの出力にEvent.UserDataの属性情報を追加した。 (#1006) (@hitenkoku)

🐛バグ修正:

• v2.3.3にて-T, --visualize-timelineデータの中に存在していないタイムスタンプがイベント頻度のタイムラインに出力するバグを修正した。 (#977) (@hitenkoku)

v2.3.3 🦅

v2.3.3 "Sakura Release"

🦅 Enhancements:

• Removed an extra space when outputting the rule level to files (CSV, JSON, JSONL). (#979) (@hitenkoku)
• Rule authors are now outputted in multiple lines with the -M, --multiline option. (#980) (@hitenkoku)
• Approximately 3-5% speed increase by replacing String with CoW. (#984) (@hitenkoku)
• Made sure text after the logo does not turn green with recent clap versions. (#989) (@hitenkoku)
• Added PowerShell Scriptblock extraction to jq docs. (#975) (@YamatoSecurity)

🐛 Bug Fixes:

• Fixed a crash when the level-tuning command was executed on version 2.3.0. (#977) (@hitenkoku)

変更点

🦅 改善:

• ファイル(CSV, JSON, JSONL)出力の際にルールのlevelの余分なスペースを削除した。 (#979) (@hitenkoku)
• -M, --multilineオプション利用時にルール作者名の出力を複数行出力対応をした。 (#980) (@hitenkoku)
• Stringの代わりにCoWを利用することで、約5%の速度向上を実現した。 (#984) (@hitenkoku)
• Clapの新バージョンでロゴ後のメッセージとUsageテキストの出力色が緑にならないように修正した。 (#989) (@hitenkoku)

🐛バグ修正:

• v2.3.0にてlevel-tuningコマンド実行時にクラッシュする問題を修正した。 (#977) (@hitenkoku)

v2.3.2 🦅

v2.3.2 "TMCIT Release-3"

🦅 Enhancements:

• Added -M, --multiline option in the csv-timeline command. (#972) (@hitenkoku)

変更点

🦅 改善:

• csv-timelineコマンドに-M, --multilineオプションを追加した。 (#972) (@hitenkoku)

v2.3.1 🦅

v2.3.1 "TMCIT Release-2"

🦅 Enhancements:

• Added double quotes in CSV fields of csv-timeline output to support multiple lines in fields. (#965) (@hitenkoku)
• Updated logon-summary headers. (#964) (@YamatoSecurity)
• Added short-hand option -D for --enable-deprecated-rules and -u for --enable-unsupported-rules. (@YamatoSecurity)
• Reordered option in Filtering and changed option help contents. (#969) (@hitenkoku)

🐛 Bug Fixes:

• Fixed a crash when the update-rules command was executed on version 2.3.0. (#965) (@hitenkoku)
• Fixed long underlines displayed in the help menu in Command Prompt and PowerShell prompt. (#911) (@YamatoSecurity)

変更点

🦅 改善:

• csv-timelineの出力のフィールドでダブルクォートを追加した。 (#965) (@hitenkoku)
• logon-summaryの見出しを更新した。 (#964) (@YamatoSecurity)
• --enable-deprecated-rulesの-Dショートオプションと--enable-unsupported-rulesの-uショートオプションを追加した。(@YamatoSecurity)
• Filteringセクションのオプションの表示順とヘルプの表示内容を修正した。 (#969) (@hitenkoku)

🐛バグ修正:

• v2.3.0にてupdate-rulesコマンド実行時にクラッシュする問題を修正した。 (#965) (@hitenkoku)
• コマンドプロンプトとPowerShellプロンプトではヘルプメニューのタイトルに長いアンダーバーが表示されていた問題が修正された。 (#911) (@YamatoSecurity)