綺麗にならないのは画像解像度の少なさが原因です。

一般的な印刷原稿用には350dpiがあれば充分ですが
「グレースケール」→「ハーフトーン」化の場合は
600~1200dpi(つまり、白黒線画原稿と同様の)の画像解像度が必要です。

何故かと言いますと
通常の工程では350dpiの画像(入力)に対して
2400dpiクラスのイメージセッタで網点を作成(出力)しています。
それと同じ事(=出力)をPhotoshopで行おうとするのですから、
イメージセッタと同等の解像度が必要なのです。

ただ、「網点を効果的に使いたい」などの目的でしたら
それほど細かな線数ではないと思いますから、2400dpi程の画像解像度も要りませんが
それでも、画像解像度が大きいほうが綺麗になります。